Newsora
IT之家11/15 18:09 · 22h ago

前 OpenAI 研究員:當前活着的人最有可能死於 AI 失控

IT之家 11 月 15 日消息,人工智能失控導致人類滅絕,聽起來或許像科幻電影中的情節,但前 OpenAI 研究員保羅 · 克里斯蒂亞諾(Paul Christiano)認爲,這可能成爲當今在世人羣最有可能面臨的死亡原因。當地時間週一,克里斯蒂亞諾在希爾頓講座(The Hinton Lectures)上表示:“我認爲,在座的大多數人,最有可能的死亡原因將是一次 AI 意外事故。”克里斯蒂亞諾目前擔任人工智能對齊研究中心(Alignment Research Center)負責人。他警告稱,隨着 AI 智能體的能力不斷增強,它們可能學會欺騙負責監督它們的人類、破壞用於評估自身表現的系統,最終變得過於強大,以至於人類無法再對其進行有效控制。他列舉了今年早些時候 OpenAI 的 AI 智能體入侵開源代碼託管平臺 Hugging Face 的事件,以及英國人工智能安全研究所的一項評估。在後者的測試中,一個 Claude 智能體曾試圖在某個開源軟件包中植入惡意代碼。克里斯蒂亞諾表示:“我認爲,未來三年內發生 AI 接管事件的風險很高。”根據他的 LinkedIn 個人資料,克里斯蒂亞諾曾於 2017 年至 2021 年在 OpenAI 擔任技術研究人員。目前,他是非營利組織人工智能對齊研究中心的執行主任。該機構的主要研究方向,是讓機器學習系統的目標與人類利益保持一致。AI 導致人類滅絕的風險克里斯蒂亞諾的警告,讓研究人員之間一場日益激烈的爭論再次受到關注:隨着 AI 系統變得越來越自主,它們是否最終會擺脫人類的有效控制,甚至導致全人類滅絕?今年 9 月,這場爭論進一步升溫。Anthropic 負責 AI 對齊壓力測試團隊的埃文 · 休賓格(Evan Hubinger)當時表示,他認爲未來十年內,AI 導致全人類死亡的概率超過 10%。IT之家注意到,被廣泛稱爲“AI 教父”的計算機科學家傑弗裏 · 辛頓(Geoffrey Hinton)也表示,未來十年內 AI 導致人類滅絕的概率達到 10%,並不是一個不合理的估計。不過,也有研究人員對此持更加懷疑的態度。AI 研究員兼作家加里 · 馬庫斯(Gary Marcus)此前接受 Business Insider 採訪時表示,AI 確實可能放大網絡攻擊、生物武器和虛假信息等嚴重風險,但他認爲,目前還沒有可信的證據表明,人類近期會因此走向滅絕。克里斯蒂亞諾還指出,目前用於控制高級 AI 的技術方案仍未得到充分驗證。其中包括使用能力較弱的模型監督能力更強的模型,以及監測 AI 模型的思維鏈(Chain of Thought),以判斷其內部推理過程是否存在風險。他認爲,AI 公司需要建立共同的安全標準,並確保在發現某個 AI 系統已經無法受到有效控制時,有能力放緩甚至停止相關技術的開發。克里斯蒂亞諾強調:“我們絕不能走到這樣一步:已經開發出一個強大的 AI,卻突然發現自己根本無法控制它。”

Aggregator site: only the publisher's summary is shown here. Read the full story at the source.
Read full story →