AI 預訓練將畫下句點!OpenAI 共創人:自主型 AI 、合成資料加速人工超級智慧時代到來

OpenAI 共同創辦人 Ilya Sutskever 於 12/15 在加拿大溫哥華所舉辦神經資訊處理系統 (NeurIPS) 大會上指出,目前 AI 發展已經來到關鍵轉折,預訓練技術逐漸面臨瓶頸,未來將朝向人工超級智慧 (Artificial Super Intelligence,ASI) 邁進。
AI 預訓練資料遇到「天花板」,轉型勢在必行
Sutskever 在大會上表示,AI 的預訓練時代即將結束。他認為目前網路資料量已接近極限,未來必須要有新技術,才能繼續推動 AI 邁向下一個階段,最終發展出人工超級智慧 (ASI)。
Sutskever 指出,隨著軟硬體與演算法不斷進步,AI 的運算能力已大幅提升,但用來訓練 AI 的資料卻沒辦法無限擴充。Sutskever 將資料比喻成 AI 的「化石燃料」,他表示:「資料不會無止境地增長,因為網路只有一個。資料就像是 AI 的化石燃料,目前已經快燃燒殆盡,未來必須想辦法充分運用現有的資料。」
(註:預訓練模型,指的是不用從零開始訓練,是已經學會基礎知識的模型。)
推進 AI 發展的三大關鍵技術
雖說 Sutskever 在大會上點出目前 AI 遇到的問題,但他也提出未來能影響 AI 進化成人工超級智慧 (ASI) 的三大關鍵技術:
- 自主型 AI (Agentic AI):可在沒有人工操作的情況下,自行作決策並執行任務,能根據目標和環境動態來調整行為。與 AI Agent 不同的是,AI Agent 主要是被動或依據固定邏輯行動,需要更多人為干預。
- 合成資料 (Synthetic Data):利用 AI 自行生成高品質的模擬資料,解決資料量不足的問題。舉個例子:假設要訓練一個 AI 模型來辨識在路上行駛的車輛,但現實世界中的交通數據不足,我們可以用合成技術「生成」許多模擬的車輛和場景來代替。
- 即時推理運算 (Inference Time Computing):提升 AI 模型的運算能力,讓 AI 能夠更快速地解決複雜問題。
Sutskever 認為這三大技術能將現在的 AI 技術推進成「人工超級智慧」(ASI)。
AI 熱潮席捲區塊鏈與 LLM 市場
AI 代理的概念不僅在科技領域受到關注,許多迷因幣與大型語言模型 (LLMs) 也開始整合 AI 技術,像是 AI 代理 Truth Terminal 自己在社群媒體上推廣迷因幣 GOAT,市值已飆升至 6 億美元,連知名風投 a16z 創辦人 Marc Andreessen 都對 Truth Terminal 表示相當驚豔。
而近期 AI 代理結合大型語言模型的最知名案例則是由 Google DeepMind 所推出的 Gemini 2.0 模型,根據 Google 官方表示,Gemini 2.0 能直接生成圖像、文字,甚至把文字轉成語音,而且還能調整不同語言的音效,也可以直接使用 Google 搜尋、程式碼執行,還能使用用戶自訂的第三方工具。
自主型 AI 優勢,解決「AI 幻覺」問題
Sutskever 指出,自主型 AI 和即時推理運算,有助於解決 AI 訓練中的「幻覺」 (AI Hallucinations)。所謂的 AI 幻覺指的是由於訓練資料不足,AI 模型可能會產出錯誤或者不實資訊。隨著新一代 AI 模型還是仰賴舊模型所產出的資料,這問題只會越來越嚴重。
而 Sutskever 表示,如果要解決「幻覺」問題,自主型 AI 能強化推理和即時運算能力來有效地判斷資料爭偽,提升AI 的可靠性與效能。
面臨到 AI 訓練資料到達極限造成「幻覺」的這一大問題,其實和輝達 (Nvidia) 執行長黃仁勳 (Jensen Huang) 的想法不盡相同,先前黃仁勳也在受訪也點出這項問題,並且提出未來改善「幻覺」的三大重要階段:
-
前期訓練:
- 為 AI 的基礎階段,透過大量吸收真實世界上的資料,去「學習」和「發現」各種知識,但這只是入門,還不夠深入。
-
後期培訓:
- 這是強化 AI 的階段,透過人類回饋,像是人類幫忙打分數。以及 AI 自己的回饋、使用合成資料來模擬更多情境。這時候會加入像強化學習、多路徑學習等技術,幫助 AI 專注精進於特定技能,讓它更了解怎麼解決問題。
-
測試時間縮放(Test Time Scaling):
- 這階段可以理解為 AI 開始「思考」。當遇到複雜問題時,AI 會一步步拆解問題,反覆模擬不同解法,再去不斷調整來找到最佳答案。黃仁勳認為,如果給 AI 更多「思考時間」,它得出的答案可能會更精準或者品質會更高。
這篇文章 AI 預訓練將畫下句點!OpenAI 共創人:自主型 AI 、合成資料加速人工超級智慧時代到來 最早出現於 鏈新聞 ABMedia。
免責聲明:文章中的所有內容僅代表作者的觀點,與本平台無關。用戶不應以本文作為投資決策的參考。
您也可能喜歡
$HTX:以DAO治理重新定義交易所代幣

Strategy擴大STRF永久優先股發行至7.225億美元以購買更多比特幣
Quick Take Strategy 宣布其 STRF 永續優先股發行的定價,將交易規模擴大至 7.225 億美元。Strategy 計劃將所得款項用於一般公司用途,包括收購比特幣。

報告指出,美國國際開發署可能會遵循馬斯克領導的DOGE單位的想法,根據特朗普助手的提議採用區塊鏈技術
快速摘要 據稱在國務院流傳的一份文件顯示,特朗普政府官員已制定了一項提案,計劃重新品牌化美國國際開發署(USAID),並利用區塊鏈技術作為更透明的採購過程的一部分。該提案緊隨由埃隆·馬斯克領導的DOGE小組最近建議對USAID進行一系列削減,探索將聯邦政府系統上鏈的選項。

澳大利亞政府概述「適用」的數字資產框架計劃,成為「全球行業領導者」
澳洲政府已公布計劃,將制定一個「適用於目的」的數位資產制度,以平衡創新與消費者保護。與行業代表、監管機構及更廣泛的社區合作,計劃包括為數位資產平台和穩定幣創建新的框架。

加密貨幣價格
更多








