作者Qlily (lilyQ)
標題Re: [心得] WWDC24節錄-系統級個人助理面世
時間2024-06-13 05:42:57
※ 引述《KimomiKai (時雨大天使)》之銘言:
:
: Q:阿婆完全照搬OpenAI的GPT模型嗎?
: A:沒有,這次提供的是本地自家模型以串接的方式連動GPT模型,也提供用戶關閉此功
能
: 的選項
不call gpt的話,很多地方效果肯定沒有wwdc展示得這麼美好
: Q:除了本機端上的模型,發表會還有提到蘋果自家的私有雲端伺服器?
: A:是,相較於本機端的模型,阿婆保證自己的資料不會儲存在雲端上
即便不儲存,還是會被拿來訓練進來啊,而且客戶也無法驗證,就像那些畫師在吵的剽竊
問題,你沒證據大家都不知道
: ===
: Q:幹嘛不下放到A14以後的晶片使用?
: A:除開NPU算力足夠以外,對於AI自然語言模型的關鍵還是在於記憶體大小
還有就是不損失slm能力前提下,縮小模型和和各種加速方法
不然nv縮小ram用量和加速做心酸的嗎
優化rag架構解決上下文的效率也是一個大門
: 只有iPhone 15 Pro有達到8GB記憶體門檻,其餘以下設備未達的情況下,阿婆想保證這
項
: AI使用順暢易用,就只有提高使用門檻,畢竟在此之前iPhone等終端設備也有一些AI應
用
: (非生成式模型推理),勢必佔用記憶體,我想阿婆有所考量。
: ===
: Q:這次的AI相比他牌的AI有什麼優勢?
: A:其實發表會反覆提及到App Intents API,這個API直接決定了未來Siri能否達成非
常
: 順滑的使用體驗,畢竟這種系統底層的權限,現在只有封閉環境的阿婆有辦法大力整合
還是得賣自己個資
win11系統的copilot本質上也是在做這個
: 而且之後的開發者統一指標就是能否透過這個API讓系統得以間接使用手機內既有的資
訊
: 跳轉。
簡單講要完整體驗的話,記得送自己個資給apple/openai
gpt傳到sv強化訓練迭代,apple傳到自己sv顧慮隱私問題不訓練的話,跟openai比優勢在
哪?數據要找誰買來訓練自家蘋果ai?
蘋果有沒有那麼多sv和晶片應付客戶龐大的頻寬也是個問題,若想靠自研npu降低對nv的
依賴,目前npu也跟不上nv gpu+cuda的訓練效率,更不用說各種壓縮模型的加速,最後也
要考慮到台gg的產能能給蘋果多少?
如果還要有中日韓英,考慮因各語系結構邏輯差異和數據品質,勢必會擴大手機終端裡sl
m的大小,要就低精度笨模型塞在8Gram,不然就是跟進16Gram行列,順帶拉高產品價格。
mac和macbook則不太有ram問題,倒是可以放心local llm和系統rag的部分,只是也要等
各語系加強模型
況且哪來的訓練數據給apple?
光看台灣做的7b中文某T模型也很慘,各種中文資料卡在版權問題,也沒有足夠硬體從底
層做中文llm,32片H100是能幹嘛?
最後導致更多沒有高品質和廣泛領域的數據做訓練(且還是微調而已),微調效果也比純
英文llama3 7b還笨,之前還爆出用中國model微調台灣7b出包
更不用說在低精度的終端手機跑3b模型能有多少實用性,訓練中文的token相比英文也很
吃虧
中國方面則有很多很不錯的llm,蘋果他們對政治問題部分應該不用太擔心
以後想塞入這些各語言的slm提升用戶體驗擴大市場,slm容量也會大很多,進而更吃終端
的ram,不然就犧牲用戶數據訓練強化,到頭來還是得依靠用戶數據和nv才能保持市場領
先,靠自研npu還是不太樂觀
Rag整合到os底層固然不錯,但光靠npu和不拿客戶數據訓練肯定會落後很快
除非openai協助提供各語言的slm做整合或幫忙訓練,裝在apple sv補強各語系的問題
目前無論什麼情況都需要用戶數據去強化自家llm加強蘋果ai的使用體驗,年底新機發表
就見真章
//
個人見解大概是這樣,可能會有錯誤的部分也歡迎提出
--
※ 發信站: 批踢踢實業坊(ptt-web.org.tw), 來自: 61.228.186.204 (臺灣)
※ 文章網址: https://ptt-web.org.tw/iOS/M.1718228579.A.EDF
→ krousxchen: 中國的LLM餵的資料一堆錯的,有屁用?? 06/13 08:12
噓 ShineiNouzen: 不懂不用回。 06/13 09:03
噓 puritylife: 看第一句就可以整篇跳過了== 06/13 09:39
噓 hsiaoeddie: 完全是門外漢的言論欸,你沒有搞過AI 的話不要上來亂 06/13 12:45
→ hsiaoeddie: 講 06/13 12:46
推 Toth: 包養網到底在紅什麼? 06/13 12:46 → zingy: 我們可以等個一年再回來看,看看中國有什麼第一梯隊的大模 06/13 19:32
→ zingy: 型。 06/13 19:32
→ zingy: 一個限制知識和真相的環境,我很不期待它們在大模型上有未 06/13 19:35
→ zingy: 來。 06/13 19:35
→ zingy: 日本核廢水,中國的科學結論與全世界都不同,你想使用這樣 06/13 19:37
推 Asterix: 有人被包養嗎 06/13 19:37 → zingy: 的模型? 06/13 19:37