世界上最聰明的人眼裡的 AIref
有一個思想實驗叫做『迴紋針問題』，就是一個人對 AI 下了一個指令說『請盡可能的生產多一點的迴紋針』，結果地球就毀滅了。

因為 AI 盡其所能將地球資源榨乾來做迴紋針了，這個思想實驗透過極端案例體現了對齊人類與 AI 價值觀的重要性。

就像是現在 LLM 公司不斷在做的，如何防止使用者越獄，使用者如何不斷破解越獄。這同樣是一套複雜系統，無法窮盡規則，所以對齊（Alignment）才會這麼重要。

要把人類高層次思維的語言轉換成可執行的計算語言，可能本身就是一套複雜系統。可預見的是，在計算不可約的情況下，很多時候我們可以設定好一條路徑。

#書摘