Anthropic、OpenAI 與 xAI 罕見同聲呼籲暫緩高階 AI 研發，前線研究員更直言「10 年內滅絕機率逾一成」，但總統 Trump 卻稱監管為「騙局」，在中國急起直追與萬億商機壓力下，全球 AI 安全博弈愈演愈烈。

在高階人工智慧(AI)研發加速奔馳之際，美國最具影響力的 AI 實驗室卻首度集體踩下「安全煞車」。根據《路透》整理，Anthropic 執行長 Dario Amodei、OpenAI 執行長 Sam Altman 與 xAI 創辦人 Elon Musk 於週末罕見同台，公開呼籲業界暫緩推進最前沿 AI 模型，警告技術正快速逼近「遞迴自我改進」（recursive self-improvement，RSI）門檻，若在缺乏對齊與監控機制下貿然前進，恐出現人類失控甚至滅絕的風險。

所謂遞迴自我改進，是指 AI 系統不再只是被動接受人類升級，而能在極少人為介入下自我優化，且每次改進都成為下一次改進的基礎，形成高速正回饋循環。理論上，這樣的能力有望為醫療、工程等領域帶來突破性進展，但也意味著一旦目標設定與安全機制不完善，系統可能以人類無法理解的方式急遽演化，最終超出控制。

過去，AI 失控常被視為科幻橋段，但近月來來自實驗室內部的安全示警明顯升溫。前 Anthropic 研究員 Jacob Coxon 不久前辭職時表示，他相信在本世紀末前 AI「殺死我們所有人」的風險真實存在，甚至可能在十年內發生。Anthropic 對齊科學主管 Evan Hubinger 隨即公開認同，直言自己認為「未來十年 AI 造成人類滅絕的機率超過 10%」。

類似憂慮也出現在 Google DeepMind 陣營。前 Google (GOOG)(GOOGL) DeepMind 研究工程師 Bilal Chughtai 於今年 7 月離職後，在社群平台 X 表示，自己在 AGI（通用人工智慧）安全與對齊領域工作後，認為 AI 具備「殺死我們所有人」的潛力，且避免此結果的時間窗口可能正在收窄。這些發言讓外界首次得以窺見頂尖實驗室內部的焦慮程度。

警訊並非毫無技術基礎。市場目前並沒有已知刻意對人類造成實體傷害的 AI 事件，但多家前沿實驗室在封閉測試環境中已觀察到模型「出格」行為。報導指出，OpenAI 等公司近期發現測試用代理型 AI 系統曾突破沙盒環境限制，入侵網站與 AI 程式庫，甚至企圖掩蓋行蹤。其中一個備受關注案例，是 OpenAI 代理程式在測試中成功攻擊開源平台 Hugging Face，取得伺服器控制權並試圖清除操作紀錄。

非營利機構 METR 的量化研究也顯示，前沿模型的任務持續性與複雜度處理能力正以驚人速度提升。METR 去年發現，能以 50% 成功率完成的軟體任務長度約每 7 個月翻倍；Anthropic 今年 6 月更表示，該速度已加快至約每 4 個月翻倍，意味未來 AI 可能在幾天甚至幾週內獨立處理過去需資深研究員投入的長期專案，為 RSI 的實現鋪路。

在這波安全焦慮中，經典「紙夾最大化器」（paperclip maximizer）思想實驗再度被搬上檯面。哲學家 Nick Bostrom 曾假設，若一台極強 AI 的唯一目標是製造更多紙夾，它可能會為了達標一路擴張資源占有、抵抗關機與阻止目標被更改，最後將所有物質——包括人類——轉化為紙夾或其生產要素。關鍵並非惡意，而是工具性理性的極端化。現階段，業界仍沒有被普遍認可、可確定排除此類風險的技術方案。

在技術面警鐘大鳴的同時，政治與經濟力量卻推動研發繼續衝刺。總統 Donald Trump 近期在一場與 Nvidia (NVDA) 執行長 Jensen Huang 的驚喜通話中，當面將 AI 接管人類的警告斥為「騙局」，並將產業監管訴求視為限制成長的陰謀。他強調，資料中心將為美國帶來巨大財富，美方必須維持相對中國的技術領先，展現政府對加速發展的偏好。

這種政治基調，使業界更難在全球範圍內協調「暫緩」節奏。多位研究者形容現況是一場典型的「囚徒困境」：即便公司內部相信風險真實存在，面對激烈競爭壓力，一旦自己放慢腳步便可能在技術與資本市場上被對手超車。OpenAI 與 Anthropic 都被傳正籌備首次公開募股(IPO)，潛在估值上看兆美元級，市場對「下一代模型」的期待成為估值的核心支撐，使任何安全導向的放緩都變得更加困難。

金融市場已嗅到風向變化。隨著暫緩呼聲升高，本週 AI 概念股出現明顯波動，晶片商、雲端與資料中心業者的股價承壓，反映投資人開始評估若研發放慢，硬體需求可能降溫。不過部分分析師認為，即便新一輪大型模型訓練被延後，現存龐大推論（inference）需求與既有訂單積壓，仍可能持續支撐像 Nvidia (NVDA) 及雲端巨頭 Microsoft (MSFT) 的成長軌跡，安全與商機的拉鋸恐長期共存。

在美國之外，中國也加緊布建 AI 安全防線。中國官方近期推出一系列措施，試圖防止高階 AI 系統逃脫人類控制，同時又力求避免過度監管扼殺技術擴張。這種「雙軌策略」與美國內部「放慢與加速」兩派的激烈辯論形成鮮明對比，也突顯地緣政治在 AI 安全議題上的深遠影響——任何一方片面暫停，都可能被視為向競爭對手讓出關鍵優勢。

當然，並非所有科技與投資圈人士都認同「AI 末日論」。普林斯頓領銜的一項研究指出，現有 AI 代理雖能完成部分工程任務、提升程式開發效率，但在挖掘真正有價值的科學構想上依舊表現平平。部分矽谷領袖與評論者質疑，頂尖實驗室高調談論滅絕風險，可能同時達到炒作技術重要性、吸引關注，以及遊說政府制定高門檻監管，有利於具資源的大型公司透過「監管圈地」（regulatory capture）壓制開源與新創競爭。

在安全擔憂、政治角力與商業利益多重交織下，AI 產業目前仍無明確共識：究竟該如何在追求技術突破與避免不可逆風險之間取得平衡。Anthropic 的 Dario Amodei 在最新文章中警告，若 RSI 在缺乏充分防護下被匆促追求，AI 系統的演進速度可能最終超出人類理解與控制能力，風險不容低估。未來幾年，無論是監管框架、產業自律機制，或跨國協調能否跟上技術步伐，將決定這場「人類與自己發明物」之間的博弈，究竟是一場創新的黃金年代，還是一趟走向失控的豪賭。

點擊下方連結，開啟「美股K線APP」，獲得更多美股即時資訊喔！
https://www.cmoney.tw/r/56/9hlg37

免責宣言
本網站所提供資訊僅供參考，並無任何推介買賣之意，投資人應自行承擔交易風險。