LeCun被痛批:你把Meta搞砸了!燒掉千億算力,自曝折騰20年徹底失敗 | 美股 | 鉅亨號 | A..."典型的現代LLM,大概是在2×10¹³(約20兆)個token上訓練的。若按每Token 3字節計算,總量就是6×10¹³字節,向上取整約10¹⁴字節。要讓任何一個人讀完這些文字,得花上幾十萬年。
但一個4歲的小孩,雖然醒著的時間總共只有16000小時,但來自視覺、觸覺、聽覺等感官的物理世界資訊,讓他在這段時間裡積累的資訊量,同樣達到了10¹⁴字節。
也就是說,如果AI無法透過觀察世界來學習其運作規律,我們就永遠到不了人類等級──因為文字里根本沒有那麼多資訊。"