先說我現在蠻確信DeepSeek是個高度模仿chatGPT的蒸餾模型
它在中文創作編輯上的表現水準，大約是對標一年前的chatGPT-3.5
我首先注意到DeepSeek給的修改建議非常呆板，並沒有表現出它「理應」擁有更多中文訓練語料的優勢

DeepSeek的潤飾與建議，相當專注在「刪除冗餘」，然而它所給出修改範例，粗暴直接地抹去了所有我們視為創作者「文風」或是「個人特色」的部分

這其實是早期LLM常見的問題，它受限於兩個方向
1. 訓練集中缺乏文學作品，或是附加在文學作品上的「類型標籤」，導致LLM不明白這並非一個操作型的「發問-提出解釋」任務，回應的內容會非常像操作手冊，文字簡潔但非常呆板

2. 當LLM面對它不熟悉的任務——意指訓練集裡沒有豐富的「發問-優質回答」範例供其參考——它會給出一種接近於「平均」的口吻（這是機器學習模型中神經網路的設計造成的傾向）
然而「平均」就代表「沒有特色」，於是餵給DeepSeek加以潤飾的文字，會被生硬地刪除掉所有文學性、有作者特徵的痕跡

相較之下，當下的chatGPT-4o能夠在不給予任何提示的情況下，辨認出文字創作中的「類型企圖」

假使文風偏抒情，它的建議就會偏向加強情感張力；假使文字帶懸疑，它就會用懸疑、恐怖小說的角度給予看法；假使是一段注重打戲的文字，它會更專注在情節節奏與文字精簡上

這項能力其實和當今普遍用來評量LLM表現的測試無關，但卻和一個LLM服務能否產生用戶黏著度很有關係
在機器學習領域，模型的這種能力被稱為”alignment”

不過就是chatGPT的alingment做得很不錯，所以當它給出修改建議時，我常常注意到
。 它希望故事情節與主角群的動機與發展都走陽光正向
。 它給的建議明顯貼齊類型文學的刻板印象（也就是——老套！）

總結來說，一個作品能讓人記住的記憶點，無論什麼媒材，仰賴的是作者給出偏離於平均值的答案
就是這個部分讓大家感到驚奇、驚喜，並且與作品產生情感連結

我覺得在這個年代，做出屬於自己的東西比過往更為重要
那些指紋與特徵也正逐漸與技術本身脫鉤，對我來說，作品反映出什麼觀點、生命經驗、作品本身之於自己的意義，才是創作中最核心的事物，也解釋了我為何享受這個過程

---
技術方面的東西我覺得自己腦中的想法太發散了，所以還沒有時間整理下來
但是大家有興趣的部分可以問！我看看能不能用簡單的方式描述出來自己目前的理解

感謝分享！所以DS這麼便宜主要是因為偷模仿來的，而不是說它技術面上特別厲害？
因為原本大家都在看好說，既然DS開源了，那一般人（startup）是否也能這麼便宜地弄出自己的AI，或者說如果砸多一點訓練成本下去不就更強了嗎，或者說現有的大公司能不能從DS的方法中學到什麼讓自己的訓練更有效率。
這些期待要落空了？

space20021: 他技術上有新東西，這個部分在論文公開之後，已經有不少團隊驗證過
只是這些新東西並不是讓他能夠用低算力達到高分數的主因，高度的蒸餾才是
（注意它一開始強調自己是在foundation model上有突破，並得到接近大型LLM的分數）
另外它使用的算力是否有那麼低，這方面還沒被其他團隊證實（而且他們已CEO承認有使用高階GPU，一開始公布的訓練設備等同作假）

從DS能得到高分來看，他們在蒸餾模型方面很有一套
但是蒸餾模型早就不是新技術，不少AI新創也會使用
DS目前在技術上能帶來明確影響的，大概就是他們的蒸餾技術比別人更加優化
至於在LLM泛用服務方面，他們沒有能力把自己蒸餾的源頭模型指紋去掉，不但造成服務沒有市場區別，現在還被openAI提告
（雖然這個提告比較偏政治動作就是了

基本上DS的開源對一般使用者的好處就是，得到一個可以在本地端跑的仿chatGPT，然後它懂比較多中文圈的梗與素材
不過它為了得到高分，有對於數理推理做特化，其他比較通泛的用途（比方說角色扮演、聊天等等），我覺得蒸餾的chatGPT版本太舊了，給出的回答非常不擬人

感謝這麼詳盡的解答！

長知識了！！好奇 DS 目前主要依賴蒸餾自 ChatGPT，那它未來有可能擺脫這個模式靠自己變強嗎？還是說它的極限已經大致確定了？除了訴訟外，OpenAI這類的公司還有其他可能的反制手段嗎？

rincky: LLM模型的「強」與表現好其實有很多定義，至於要怎麼不過分著重蒸餾訓練也能增強表現，除了增加算力就是得增加/增廣人工標示的優良訓練集，這些都會導致訓練成本增加
至於在模型設計上的突破，本來DS聲勢浩大的時候大家以為他們辦到了，目前看起來的確所謂突破的確很難橫空出世

AI競賽現在已經算是中美角力前哨戰。與其說openAI要用訴訟反制，倒不如他們希望美國政府和他們同一陣線，對於該公司甚至整個中國AI產業做出制裁
這個部分我就比較不懂預測，但的確想密切關注下去

原來是這樣！感謝解答