剛剛,OpenAI安全系統團隊負責人翁荔(Lilian Weng)透過X宣佈,將於11月15日離開,結束她在OpenAI長達近7年的職業生涯。
翁荔在離職信中表示,這是一個艱難的選擇,並表達了對OpenAI團隊及其所取得的成就的感情。
因7天前翁荔剛剛以OpenAi研究副總裁(安全)的身份,現身國內,做《Ai安全與“培養”之道》的分享。一時之間,翁荔離開後是否會選擇回國,也成為了大家關注的重點。
翁荔為華人科學家,自加入OpenAI以來,曾在多個關鍵領域做出貢獻。她在2017年初加入,參與了機器人技術和深度強化學習的研究,併為後來的GPT-4以及安全系統的奠定了基礎。
她領導應用人工智慧研究團隊,致力於提升 OpenAI API 的實用性和安全性。特別是在 GPT-4 釋出後,她主導了 OpenAI 安全系統的願景,致力於提升 OpenAI API 的實用性和安全性。
她表示,團隊在模型安全、對抗性以及越獄防禦等方面取得了進展,為行業樹立了新的標準。
翁荔在離職信中表達了對團隊的感激之情,並特別提到自己為“o1-preview”模型的安全性感到自豪,該模型被認為是 OpenAI 迄今為止最安全的模型之一。她對未來充滿期待,表示將重新開始,探索新的領域。
儘管OpenAI在不斷吸納新成員,但離職潮顯然仍在繼續。(袁寧)
以下為翁荔公開分享的內容:
親愛的朋友們,
我做出了離開 OpenAI 的艱難決定。11 月 15 日將是我在辦公室的最後一天。
OpenAI 是我成長為科學家和團隊領導者的地方,我將永遠珍惜與我一路共事和結交的朋友在一起的時光。OpenAI 團隊一直是我的知己、老師,也是我認可的一部分。
我還記得2017年OpenAI的使命讓我多麼著迷,一群人夢想著一個不可能實現的科幻未來。在這裡,我開始研究全棧機器人難題——從深度是強化學習演算法到裝備再到強化—— —目標是教會單臺機械手如何解決魔方問題。整個團隊花了兩年時間,但我們最終實現了。
當OpenAI進入GPT正規化時,我們開始探索將最佳AI模型部署到現實世界的方法時,我組建了第一個應用研究(Applied Research)團隊,推出了藍芽式API、嵌入API和稽核端點的初始版本,為應用安全奠定了基礎,併為眾多早期API客戶提供了新的解決方案。
GPT-4釋出後,我被要求接受一個新的挑戰,重新考慮OpenAI安全系統的願景,把工作集中在一個擁有下面完整安全堆疊的團隊中。那是我經歷過的最困難、壓力最大的這個又是最激動人心的事情之一。現在,安全系統(安全系統)團隊擁有超過 80 位優秀的科學家、工程師、產品、經理、政策專家,而我為團隊取得的一切成就感到非常自豪。釋出的基石——從GPT-4 Window和turbo版本到GPT Store、語音訓練和o1。其在這些模型中已經建立了又決策方面為行業制定了工作樹立了新的標準。我為我們在o1預測模型方面取得的最新測量成果特別引人注意的是,它是我們迄今為止最安全的模型,在保持真實性的同時,表現出了對越獄攻擊的卓越抵抗力。
我們共同取得了令人驚歎的成就:
• 我們訓練模型制定者認識到,透過遵循一套定義的明確的政策模型安全行為,可以很好地拒絕敏感或不安全的請求,包括何時拒絕或不拒絕,從而達到安全性和實用性之間取得良好的平衡。
• 在每次模型釋出時,我們都提高了其對抗性,包括防禦越獄攻擊、指定我們的層次結構以及透過推理大幅提升性。我們在口腔方面的承諾都已體現在詳細的模型系統卡中。
• 我們開發了多模態的評估模型的行業領先者,並免費分享給公眾。我們目前在更通用的監控框架和增強安全推理能力方面的工作將為更多的安全工作流提供支援。
• 我們為安全資料記錄、指標、儀表板、主動學習管道、分類器部署、推理時間過濾和全新的快速響應系統建立了工程開發基礎。
回顧我們所取得的成績,我為安全系統團隊的每一個人都感到自豪,我非常相信團隊將繼續壯大發展。我愛你們❤️。
現在,在 OpenAI 工作了 7 年了,我準備重新開始並探索一些新東西。OpenAI 正以火箭般的增長趨勢上,希望這裡的每個人一切都順利。
附言:我的部落格還在,會繼續下去。我可能很快就會有時間更頻繁地更新它,也可能會有更多時間來程式設計;)