Deva
2 weeks ago @Edit 2 weeks ago
Facebookref
我們需要開發自己的大語言模型(LLM)嗎?去年10月因為中研院詞庫小組試驗性的模型CKIP-Llama-2-7b,因為「國慶日為10/1」的回答,是否有必要打造「台版GPT」,頓時成了當時的熱議話題。

---靈魂不是本土的,說什麼就不對味。
latest #14
Deva
2 weeks ago
+@davecode - Re: [討論] 中研院繁中LLM被爆直接拿對岸的來 ---未來將使用 AI 來...---未來將使用 AI 來處理[文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等]
這些訓練資料集台灣只能花錢自己建立維護。不能繞過去只想用中國或其他國家訓練資料集。
#AI基礎建設
#資訊基礎建設
Deva
2 weeks ago
+@davecode - Ref 中研院用簡轉中的資料集訓練完他們認為適用台灣的基礎模型,然後再派它去考中...中研院用簡轉中的資料集訓練完他們認為適用台灣的基礎模型,然後再派它去考中國的考試,計算分數。
---這可不妙
Deva
2 weeks ago
--
ref
激情過去後,大眾的注意力雖然轉向,做事的人仍繼續前行。國科會建起可信任模型TAIDE、台大資工系博士生林彥廷陸續釋出奠基於LLama和Mixtral的不同模型;業界也是如此,台智雲有福爾摩沙模型,聯發科推出以風為名的BreeZe和BreeXe,亞太智能機器有開講(CaiGunn)模型、群創也在努力推進。
_
不管是學術、政府,還是企業端,都在各自努力打造在地LLM,背後有著什麼原因?究竟是因應文化入侵危機?還是看到真實新商機?敝組的陳老大陳品融和我一起認真檢視這個問題。
立即下載
Deva
2 weeks ago
GPT-4、Gemin和Claude不斷更新,還變得更好用、更便宜,市場上眾神占據山頭,台灣企業的挑戰,會不會只是重新發明輪子的失敗嘗試?至於政府,過去幾年不同產業的「國家隊」遇上很多質疑,國科會推動TAIDE會不會淪為與民爭利?就算從在地化角度出發,台灣現有資料和算力環境,模型的繁體中文能力,究竟能提升多少?
_
我們找上受訪者和專家,聽他們的說法:到底為什麼要自己做LLM不可?
Deva
2 weeks ago
就文化層面來說,台大語言所教授謝書凱從語言學角度出發,談語言之於文化的重要意義;台灣人工智慧實驗室創辦人杜奕瑾以軍備競賽比喻,強調開發在地基礎「主權式模型」的重要性。看到現有模型的繁中能力不足,讓前Google台灣董事總經理簡立峰焦急無比地說,國家應該正視問題,如果拿不出資料,意味著台灣本來就沒有要保護的東西,「還是要努力把那20分往上拉,這個是一個國家恥辱!」
_
Deva
2 weeks ago
就實際商機而言,業者們的出發點也各有不同。台智雲總經理吳漢章解釋,雖然都是拿開源模型來訓練,但客戶不可能仰賴通用模型,這就是著力點所在;聯發科創新基地負責人許大山雖然散發出濃厚學者氣息,但他也提到,在無法使用某些雲端模型的應用場景中,就凸顯出能夠提供語言和知識相關服務在地模型的重要性。
Deva
2 weeks ago
學界和政府推出模型的定位,和業界又有差異。TAIDE計畫負責人李育杰強調,TAIDE不是政府打造一把很厲害的武器去競爭,而是資助開源模型協助產業。模型開發迭代速度驚人、借用新創算力的林彥廷則說,自己不是追求表現最好、資源最多,發展方向以學界影響力為重。
Deva
2 weeks ago
採訪過程中,也聽到很多一線工作者和使用者的金句,像是Lawsnote的資深工程師戴函昱表示,繁中訓練語料不足的LLM,就像外國人在講中文,即便加入繁體中文微調,若資料規模不夠「沖淡」簡體中文,「都還像是潛藏一個簡中的人格在裡面,你不知道它什麼時候會跳出來。」亞太智能機器創辦人吳柏翰也說,雖然可以用檢索增強生成(RAG)處理,但在和使用者對答幾次後,還是難逃被破解的命運,「開始跟你聊大陸的東西,模型已經內化了。」

---靈魂不是本土的,說什麼就不對味。
Deva
2 weeks ago
到底要不要造自己的LLM?這個問題可以抬高到國家主權的高度,也能日常無比,就像是「影片」和「視頻」用語的選擇。AI大師吳恩達誠懇地說,他相信人們不會完全相信大語言模型所說的一切。然而,當有夠多的人和ChatGPT對話、使用LLM-based的服務時,「這種向人們展示資訊的微小變化(subtle change),確實會影響人們的思維方式。」
_
Deva
2 weeks ago
台版GPT到底重不重要?每個人都有自己的獨特想法,吳恩達所說的話,很適合替在地LLM的篇章作結:
「我聽過『馬鈴薯』和『土豆』的辯論。我認為更重要的是文化價值觀,而不只是被稱為『土豆』的東西。而且,若有人覺得『馬鈴薯』對他們來說很重要的話,那麼,保留它就是值得的。」
Deva
2 weeks ago
---自已的生活的記憶,日常運作思維,來自台灣人的。不是其它國家的。
Deva
2 weeks ago
https://images.plurk.com/4Kpii6lwG0Y0Ku8SxCLgAc.png https://images.plurk.com/5e6yr0m3X67ow3IuZq1isy.png https://images.plurk.com/IsHq4KcXnmPSJi7mIrKyE.png
MGdesigner
2 weeks ago
測過TAIDE,真的很欣賞
back to top