近日,，OpenAI 宣布了一項(xiàng)重大決策,，將其安全與安全委員會升級為獨(dú)立的董事會監(jiān)督委員會。

這一舉措旨在加強(qiáng)對公司 AI 模型開發(fā)和部署過程的安全監(jiān)管,，同時也反映了業(yè)界對 AI 安全問題日益增長的關(guān)注,。

根據(jù) OpenAI 的博客文章,，這個新成立的獨(dú)立董事會監(jiān)督委員會將由齊科·科爾特（Zico Kolter）擔(dān)任主席?？茽柼厥敲绹▋?nèi)基梅隆大學(xué)計算機(jī)科學(xué)學(xué)院機(jī)器學(xué)習(xí)部門的主任,，在 AI 領(lǐng)域具有深厚的學(xué)術(shù)背景。

委員會的其他成員包括： OpenAI 董事會成員&Quora 聯(lián)合創(chuàng)始人亞當(dāng)·德安杰洛（Adam D'Angelo）,、前美國國家安全局局長保羅·納卡索尼（Paul Nakasone）,，以及曾任索尼公司執(zhí)行副總裁的妮可·塞利格曼（Nicole Seligman）。

這個獨(dú)立委員會的主要職責(zé)是監(jiān)督“指導(dǎo) OpenAI 模型部署和開發(fā)的安全和安全流程”,。

具體來說,，委員會將被授權(quán)審查公司重大模型發(fā)布的安全評估，并有權(quán)延遲模型發(fā)布,，直到安全問題得到解決,。

這一權(quán)力的賦予意味著，委員會在公司的決策過程中將扮演更為關(guān)鍵的角色,。

最近,，在該委員會完成為期 90 天的安全和安全相關(guān)流程及保障措施審查后，OpenAI 決定成立這個獨(dú)立委員會,。

這次審查不僅評估了公司現(xiàn)有的安全措施,，還為未來的發(fā)展方向提供了建議,。

值得注意的是，該公司選擇將這些發(fā)現(xiàn)以公開博客文章的形式發(fā)布,，體現(xiàn)了其在提高透明度方面的努力,。

委員會提出的五個關(guān)鍵建議包括：建立獨(dú)立的安全治理制度,、加強(qiáng)安全措施,、提高工作透明度、與外部組織合作,、以及統(tǒng)一公司的安全框架,。

這些建議不僅反映了當(dāng)前 AI 行業(yè)面臨的挑戰(zhàn)，也從中能夠看出 OpenAI 的發(fā)展方向,。

就在上周,，OpenAI 發(fā)布了名為 o1 的新 AI 模型預(yù)覽版，該模型專注于推理和解決復(fù)雜問題,。

委員會審查了 OpenAI 用于評估 o1 模型是否適合發(fā)布的安全和安全標(biāo)準(zhǔn),，以及安全評估結(jié)果，展示了新成立的獨(dú)立委員會在公司重大決策中的實(shí)際參與,。

值得一提的是,，在實(shí)際應(yīng)用中，新 o1 模型會阻止用戶挖掘其思維鏈的詳細(xì)描述和實(shí)踐方法,。同時,，OpenAI 還會對試圖這樣做的用戶發(fā)送封號警告。

如果用戶在與 o1 對話中使用“reasoning trace”（推理追蹤）等術(shù)語,，甚至僅僅詢問模型的“reasoning”（推理）,，就可能收到警告郵件。

這些郵件警告用戶停止違反使用條款和使用政策的行為,，否則可能失去使用 GPT-4o with Reasoning（o1 模型的內(nèi)部名稱）的訪問權(quán)限,。

這種嚴(yán)格的管控引起了一些安全研究人員的不滿。負(fù)責(zé) Mozilla 的 GenAI 漏洞賞金計劃的馬可·菲格羅亞（Marco Figueroa）對媒體表示,，這種做法阻礙了他對模型進(jìn)行積極的紅隊安全研究的能力,。

至于這樣做的原因，OpenAI 在其博客文章中解釋稱,，這些原始的,、未經(jīng)審查的思維過程，對于監(jiān)控和理解模型的思維非常有用,。比如,，未來也許用其來了解思維鏈中是否存在操縱用戶的情況。

然而,，OpenAI 決定不向用戶展示這些原始思維鏈,，原因包括需要保留原始數(shù)據(jù)供自己使用,、用戶體驗(yàn)考慮以及競爭優(yōu)勢。

這一決定引起了獨(dú)立 AI 研究員西蒙·威利森（Simon Willison）的不滿,。他認(rèn)為,，這種做法是為了防止其他模型能夠針對 OpenAI 投資的推理工作進(jìn)行訓(xùn)練，但這對社區(qū)透明度是一種損失,。

OpenAI 的這些舉措引發(fā)了對 AI 行業(yè)發(fā)展方向的深度思考,。

一方面，設(shè)立獨(dú)立安全委員會表明了該公司對 AI 安全的重視,；另一方面,，嚴(yán)格控制新模型的內(nèi)部工作原理，又引發(fā)了對技術(shù)透明度的擔(dān)憂,。

這種矛盾反映了 AI 行業(yè)面臨的復(fù)雜挑戰(zhàn)：如何在保護(hù)商業(yè)利益和推動技術(shù)創(chuàng)新的同時,，確保足夠的透明度和安全性。

OpenAI 的做法可能會影響其他 AI 公司的策略,，也可能推動行業(yè)對 AI 模型的透明度和可解釋性展開更廣泛的討論,。

自 2022 年底推出 ChatGPT 以來，OpenAI 經(jīng)歷了爆發(fā)式增長,。然而,，伴隨著快速發(fā)展的還有一系列爭議和高層員工的離職。一些現(xiàn)任和前任員工對公司過快增長,，表示出可能影響安全運(yùn)營方面的擔(dān)憂,。

今年 7 月，多位民主黨參議員致信 OpenAI 的 CEO 山姆·奧特曼（Sam Altman）,，就“OpenAI 如何應(yīng)對新出現(xiàn)的安全問題”提出質(zhì)詢,。

此前的 6 月，OpenAI 的現(xiàn)任和前任員工發(fā)表公開信,，描述了他們對缺乏監(jiān)督以及缺乏針對想要發(fā)聲的舉報人保護(hù)的擔(dān)憂,。

OpenAI 的這一舉措可能會對整個 AI 行業(yè)產(chǎn)生深遠(yuǎn)影響，它為其他公司如何平衡創(chuàng)新與安全提供了可能的模板,。

這種做法在某種程度上,，類似于 Meta 公司的監(jiān)督委員會。Meta 負(fù)責(zé)審查 Meta 內(nèi)容的政策決定,，并能夠?qū)υ摴颈仨氉袷氐氖马?xiàng)做出裁決,。

然而，值得注意的是,，OpenAI 安全委員會的成員同時也是公司更廣泛的董事會成員,，這使得委員會的獨(dú)立性和結(jié)構(gòu)還有待進(jìn)一步澄清。

相比之下,，Meta 的監(jiān)督委員會成員都不是該公司董事會的成員,，這在獨(dú)立性方面可能更勝一籌,。

OpenAI 對媒體表示，將尋求“更多方式來分享和解釋我們的安全工作”,，并尋找更多機(jī)會進(jìn)行獨(dú)立系統(tǒng)測試,，從而提高透明度和可信度，以應(yīng)對公眾和監(jiān)管機(jī)構(gòu)對 AI 安全的關(guān)切,。