https://simonwillison.net/2023/Mar/11/llama/ https://simonwillison.net/2023/Mar/13/alpaca/ Simon Willison提到,很快大家都會有自己的ai助手。 看時間軸: 24th February 2023: LLaMA is announced, starts being shared with academic partners: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ 2nd March: Someone posts a PR with a BitTorrent link to the models: https://github.com/facebookresearch/llama/pull/73 10th March: First commit to llama.cpp by Georgi Gerganov: https://github.com/ggerganov/llama.cpp 11th March: llama.cpp now runs the 7B model on a 4GB RaspberryPi: https://twitter.com/miolini/status/1634982361757790209 12th March: npx dalai llama: https://cocktailpeanut.github.io/dalai/ 13th March (today): llama.cpp on a Pixel 6 phone: https://twitter.com/thiteanish/status/1635188333705043969 And now, Alpaca. https://crfm.stanford.edu/2023/03/13/alpaca ------------------------------------------ 詳細想法與內容就請看simon willison的部落格。 我是蠻認同這想法的,LLM(Large Language Model)很快就會普及。 https://cocktailpeanut.github.io/dalai/#/ 自動安裝的script都出了。LLaMA的Inference在現代多核CPU跑是可行的,現在優化速度也很快。 離ChatGPT,GPT4還有一段距離,但很夠用了,而且整個網路一起發展,可能很快就追上也不一定。我雖然最近超忙,但都想找時間看能不能移植到OpenCL。 我覺得LLM最大的好處是summerize(總結) 例如之前討論手刻Make的問題。 Make是偶而一用,真的容易忘記指令跟功能,也就不容易發現問題。 LLM在這就很適合幫忙,把make檔給它,解釋總結,很快就能發現問題,就不須要找很難找到的Make專家。 雖然LLM容易"hallucinate"但用LLM寫個簡單的Make檔案當個開頭也很好。 Code看不懂,用太多不明functions?LLM來幫忙。 ffmpeg參數太多太複雜?LLM寫給你。 這是當年google橫空出世讓網路好用起來。再一次大感動。大家真的可以好好追蹤這個發展。可以自己控制的LLM,可以發展的功能太多了。 -- ※ 發信站: 批踢踢實業坊(ptt-web.org.tw), 來自: 36.224.232.158 (臺灣) ※ 文章網址: https://ptt-web.org.tw/Soft_Job/M.1678856174.A.098
create8: 推 03/15 17:38
superpandal: 看過 沒試過 不過可以看別人的感想 03/15 18:09
superpandal: ffmpeg參數... 你還是要仔細看文檔 03/15 18:12
ptta: 這真的很神,從此regexp都給它寫 03/15 18:46
hizuki: 看看它能不能正確處理GNU make和舊Android Make的差異 03/15 18:49
Peycere: 我哥上包養網被我抓包.. 03/15 18:49
hizuki: make出問題,很多時候其實和shell環境有關,比如突然csh 03/15 18:50
superpandal: 寫regex會是不錯應用 但指令說實話一堆文檔沒有的 03/15 18:50
superpandal: 文檔沒有的 你也不知道可以這樣用 03/15 18:50
superpandal: makefile要分析整個專案了 03/15 18:51
superpandal: makefile可定義選項 03/15 19:04
vd422: 有人包養過洋鬼子嗎 03/15 19:04
Hsins: 而且有人用 4GB RAM 的樹莓派就跑起來了 03/15 19:40
superpandal: 觀望中 聽說效能不好 03/15 19:55
oopFoo: pc的效能不錯。RPI是10秒一個token,pc是秒內幾個token 03/15 20:22
oopFoo: declarative的程式,LLM比較會處理。只要補餵正確的資料, 03/15 20:23
oopFoo: android/gnu make都可以分析。最近看好多應用都蠻有趣的 03/15 20:30
lutano: 有錢人為啥都想包養 03/15 20:30
oopFoo: 當然沒有的功能,問LLM,它會幻想給你,但這是小問題 03/15 20:33
superpandal: 測了一下web demo時間很久又答非所問 03/15 20:39
superpandal: 還會error... 03/15 20:40
v86861062: 推推 03/15 22:33
CoNsTaR: 有沒有哪個 ai 是會分清楚什麼時候該幻想什麼時候不該幻 03/16 04:17
muiwo: 有人被洋鬼子包養過嗎 03/16 04:17
CoNsTaR: 想的 03/16 04:17
CoNsTaR: 以前問過 clang format 的 rule,ChatGPT 幻想了一個給 03/16 04:21
CoNsTaR: 我,我還問他這個 rule 是那個版本加入的,要怎麼用 etc 03/16 04:21
CoNsTaR: 結果所有東西都是他幻想出來的,浪費了我十分鐘 03/16 04:21
AzureRW: 做比較重要的東西時要叫他給出處 多方比較後才採用 03/16 07:36
sunuzo: 到底要多有錢才會想包養 03/16 07:36
AzureRW: 我想這也是為 03/16 07:36
AzureRW: 毛該禁止ai寫stack overflow跟wiki或技術文章 未來 03/16 07:36
AzureRW: 整個池子被污 03/16 07:36
AzureRW: 染之後可能會根本不知道哪裡是ai自己亂唬爛的 03/16 07:36
wsad50232: 原Po是Google派來的嗎? 03/16 08:28
UNIQC: 閨蜜上包養網還推薦我... 03/16 08:28
ouskit: 可以跑跟跑的好是兩回事 03/16 14:02
oopFoo: Meta說LLaMA-13B可比GPT3的175B。 03/16 15:35
oopFoo: 目前都是最簡單的CPU優化。剛開始Pixel6需要26秒/token 03/16 15:38
oopFoo: 前幾天已經5token/秒。各家版本飛速進步中。 03/16 15:39
oopFoo: LLMs的"幻想"是內建,目前沒辦法,只能後續查證。 03/16 15:40
dewaro: 包養? 03/16 15:40
lastpost: 這些直接問chatGPT就好了,為何要自己弄? 03/17 17:56
Hsins: 差別在一個是在大公司商用伺服器上,一個則是可以自己用消 03/17 18:13
Hsins: 費型主機搭建。當初 Hadoop 的興盛也是因為可以使用消費型 03/17 18:13
Hsins: 主機作為運算叢集,真的能發展起來的話是很有價值的 03/17 18:13
jay123peter: 推 03/17 22:36
Elfego: 現在包養網都這麼直接嗎 03/17 22:36
oopFoo: chatGPT是通用的chat,但自己的,如Alpaca你可以訓練特化 03/18 10:16
oopFoo: 的instruction tuning。更適合自己的用途。 03/18 10:17
oopFoo: https://github.com/antimatter15/alpaca.cpp 03/18 21:56
oopFoo: windows可以玩,自己編譯7B版,13B版應該很快就來了。 03/18 21:57