時時頭條
  • 娛樂
  • 體育
  • 財經
  • 科技
  • 旅遊
  • 軍事
  • 育兒
  • 時尚
  • 遊戲
  • 歷史
  1. 首頁
  2. 科技

OpenAI華人VP翁荔離職:北大校友,掌管安全,最近B站分享被熱議

2024-11-09 19:31:21

金磊 發自 凹非寺量子位 | 公眾號 QbitAI

就在剛剛,那個掌管OpenAI安全的北大校友,OpenAI研究副總裁(安全)翁荔,離職了。

翁荔是OpenAI華人科學家、ChatGPT的貢獻者之一。

北大畢業後,翁荔在2018年加入OpenAI,後來在GPT-4專案中主要參與預訓練、強化學習和對齊、模型安全等方面的工作。

最著名的Agent公式也由她提出,即:Agent=大模型+記憶+主動規劃+工具使用。

而就在前不久,她還剛剛現身2024 Bilibili 超級科學晚活動,發表了《AI安全與“培養”之道》的主題演講。

在她宣佈離職訊息之後,包括OpenAI在內的眾多同事發來了祝福:

翁荔的離職信

在推文中,翁荔也分享了他跟團隊做的最後的道別。

以下為離職信的完整內容。

親愛的朋友們:

我做出了一個非常艱難的決定,將於11月15日離開OpenAI,這將是我在公司最後一天。

OpenAI是我成長為科學家和領導者的地方,我將永遠珍惜在這裡與每一位共事的夥伴度過的時光。OpenAI團隊一直是我的知己、導師以及我身份的一部分。

我仍然記得2017年初加入OpenAI時的那份好奇和熱情。當時我們是一群懷抱著不可能與科幻未來夢想的人。

我在這裡開始了我的全棧機器人挑戰之旅——從深度強化學習演算法,到感知,再到韌體開發——目標是教會一個簡單的機械手如何解開魔方。這花費了整個團隊兩年時間,但最終我們成功了。

當OpenAI進入GPT領域時,我們開始探索如何將最先進的AI模型應用於現實世界。我建立了第一個應用研究團隊,推出了初始版本的微調API、嵌入API和稽核端點,為應用安全工作奠定了基礎,還為早期的API客戶開發了許多新穎的解決方案。

在GPT-4釋出後,我被要求承擔新的挑戰,重新考慮OpenAI的安全系統願景,並將所有工作集中到一個負責整個安全體系的團隊。

這是我經歷過的最困難、最緊張又令人興奮的事情之一。如今,安全系統團隊擁有超過80位出色的科學家、工程師、專案經理、政策專家,我為我們作為一個團隊所取得的一切成就感到極為自豪。

我們見證了每次釋出的核心——從GPT-4及其視覺和Turbo版本,到GPT Store、語音功能以及01版本。我們在訓練這些模型以達到負責任和有益的目標上設立了新的行業標準。

我特別為我們最新的成就o1預覽版感到自豪,它是我們迄今為止最安全的模型,展現了出色的抗破解能力,同時保持了模型的有用性。

我們的集體成就令人矚目:

我們訓練模型如何處理敏感或不安全的請求,包括何時拒絕或不拒絕,並透過遵循一套明確的模型安全行為政策,達成安全與實用之間的良好平衡。我們在每次模型釋出中提升了對抗性魯棒性,包括針對破解的防禦、指令層次結構,並透過推理大幅增強了魯棒性。我們設計了嚴格且富有創意的測試方法,使模型與《準備框架》保持一致,併為每個前沿模型進行了全面的安全測試和紅隊測試。我們在詳細的模型系統卡中強化了對透明性的承諾。我們開發了業內領先的稽核模型,具有多模式能力,並免費向公眾共享。我們當前在一個更通用的監控框架和增強安全推理能力的方向上工作,將賦能更多的安全工作流。我們為安全資料日誌、度量、儀表盤、主動學習管道、分類器部署、推理時間過濾以及一種新的快速響應系統奠定了工程基礎。

回顧我們所取得的成就,我為安全系統團隊的每一個人感到無比自豪,並極為確信這個團隊將繼續蓬勃發展。我愛你們。

在OpenAI的七年之後,我準備好重新出發,探索一些新的領域。OpenAI正沿著火箭般的軌跡前進,我衷心祝願這裡的每一個人一切順利。

附註:我的部落格將繼續更新。我或許會有更多時間來更新它 & 可能也會有更多時間編寫程式碼 。

愛你們的,Lilian

鐵打的OpenAI,流水的安全主管

自OpenAI成立以來,安全主管這個關鍵職位歷經多次更替。

最早在2016年,OpenAI的安全主管由達里奧·阿莫代伊(Dario Amodei)擔任,在他的領導下,安全系統團隊專注於減少現有模型和產品的濫用風險,尤其是圍繞GPT-3的安全性開展了深入研究。

阿莫代伊主導了GPT-3的全面安全評估,以確保模型在釋出前經過嚴格的安全測試和評估,最大限度地降低潛在的濫用風險。

他在OpenAI的工作為後來人工智慧的安全治理奠定了重要基礎。

2021年,阿莫代伊離開OpenAI創立了Anthropic公司,繼續致力於人工智慧的安全研究,推動構建更具可信度和安全性的AI模型。

在阿莫代伊之後,還有短暫任職2個月的安全主管,亞歷山大·馬德里(Aleksander Madry)。

他在職期間主要聚焦對新模型的能力進行評估,並開展內部紅隊測試,以識別和緩解潛在的安全風險。

雖然他的任期較短,但他在紅隊測試和威脅預測上的重要推進,為OpenAI的安全實踐提供了新的視角和方法論。

在2023年7月後,馬德里轉而專注於“AI推理”方面的工作,離開了安全主管的職位。

在他之後的第三位安全主管,則是楊·萊克(Jan Leike),在2023年7月至2024年5月擔任這一職務,和Ilya一起領導“超級對齊”專案,目標是在四年內解決超智慧AI的對齊問題。

在此期間,楊·萊克推動了使用小型模型監督和評估大型模型的研究,開創了對超人類能力模型進行實證對齊的新方法。

這種方法對於理解和應對高階人工智慧模型的行為具有深遠影響。

然而,由於與公司在安全和產品優先順序上的分歧,楊·萊克於2024年5月宣佈離職。

儘管如此,他在對齊研究方面的貢獻,為後續人工智慧的可控性研究奠定了理論和實踐基礎。

而翁荔則是於2024年7月擔任OpenAI安全主管。

關於翁荔

翁荔是OpenAI華人科學家、ChatGPT的貢獻者之一,本科畢業於北大,在印第安納大學伯明頓分校攻讀博士。

畢業之後的翁荔先是短暫的在Facebook實習了一段時間,第一份工作則是就職於Dropbox,擔任軟體工程師。

她於2018年加入OpenAI,在GPT-4專案中主要參與預訓練、強化學習和對齊、模型安全等方面的工作。

在OpenAI去年底成立的安全顧問團隊中,翁荔領導安全系統團隊(Safety Systems),解決減少現有模型如ChatGPT濫用等問題。

翁荔在Google Scholar的引用量也達到了13000+次。

此前她提出的提出LLM外在幻覺(extrinsic hallucination)的博文也是非常火爆。

翁荔重點關注外在幻覺,討論了三個問題:產生幻覺的原因是什麼?幻覺檢測,抵抗幻覺的方法。

關於研究的細節,可以點選這裡檢視:萬字blog詳解抵抗辦法、產幻原因和檢測方式。

至於翁荔離職後的去向,量子位也會保持持續的關注。

參考連結:[1]https://x.com/lilianweng/status/1855031273690984623[2]https://www.linkedin.com/in/lilianweng/

熱門資訊
  • OpenStar:核聚變突破,商業化或六年:新設計 | 2024-11-14 03:54:12
  • 國外參展商:今年的中國航展更成功,採購商更多 | 2024-11-14 03:56:27
  • 蘋果因 AirPods Pro 耳機雜音問題在美國遭遇集體訴訟 | 2024-11-14 04:05:18
  • 業界首款1700V氮化鎵開關IC面世,碳化矽面臨被替代? | 2024-11-14 04:20:53
  • 工信部發布新材料研發重點 | 2024-11-14 05:35:56
  • 日媒:新加坡“深度科技”悄然崛起 | 2024-11-14 05:44:47
  • 67.8億!國產GLP-1雙靶點新藥授權出海 | 2024-11-14 06:22:31
  • 空中客車預測未來20年中國將新增9500架新飛機 天津A320飛機第二條總裝線預計2026年初投產 | 2024-11-14 06:30:19
  • Nature Aging:清除衰老細胞可促進皮膚傷口癒合 | 2024-11-14 06:43:06
  • 湖南大學鄒雨芹團隊JACS:吸附調控實現木質素β-O-4連線鍵中的Caryl-O(C)鍵選擇性裂解 | 2024-11-14 06:43:11
  • 蘋果iPad在美國銷售穩健:Pro 以 45% 主導、基礎款佔 33% | 2024-11-14 06:52:38
  • Oura CEO稱蘋果不太可能推出智慧戒指:做好很難 | 2024-11-14 07:19:10
  • 蘋果釋出Mac版Logic Pro 11.1更新 包含多項增強功能 | 2024-11-14 07:19:12
  • 騰訊電話會:未來幾個季度將看到更多AI應用 | 2024-11-14 07:24:59
  • 一度至93400美元,比特幣再創新高,自美國大選以來已漲超30% | 2024-11-14 07:25:02
  • 蘋果iPad在美國銷售穩健:Pro以45%主導、基礎款佔33% | 2024-11-14 07:25:08
  • 蘋果更新 Mac / iPad 版 Final Cut Pro 影片編輯應用 | 2024-11-14 07:26:54
  • 光啟技術:超材料引領航空航天新突破 709二期竣工 | 2024-11-14 07:45:41
  • 全球首發第二代英特爾酷睿Ultra!聯想YOGA Air 15 Aura元啟圖賞 | 2024-11-14 08:05:04
  • 微星推出白色版萬圖師 RTX 3050 顯示卡:8GB 視訊記憶體、128bit 位寬 | 2024-11-14 08:12:44
  • 群聯將展示 Pascari D205V:PCIe Gen5 128TB 資料中心級 SSD | 2024-11-14 08:17:37
  • 大眾最好的路:成中國新能源的海外代理人 | 2024-11-14 08:24:07
  • 傳OpenAI即將推出新款智慧體 能為使用者自動執行任務 | 2024-11-14 08:24:08
  • OpenAI呼籲建立“北美人工智慧聯盟” 好與中國競爭 | 2024-11-14 08:24:12
  • AirPods Pro爆音問題成為新一項集體訴訟的目標 | 2024-11-14 08:24:18
  • Oura執行長稱蘋果不會生產智慧戒指 因為"要做好這類產品很難" | 2024-11-14 08:24:20
  • AMD確認裁員4% 以專注於"大規模增長機會" | 2024-11-14 08:27:05
  • OWC 推出 240GB Atlas Pro CFexpress 4.0 Type A 儲存卡 | 2024-11-14 08:28:55
  • 大漲128%!彩色電子紙平板爆發在即 新品釋出數量飆升 | 2024-11-14 08:37:23
  • 外媒:中國航空航天成為全球關注焦點 | 2024-11-14 08:44:59
最近發布
突發!TVB知名女星毫無預警宣佈與未婚夫分手,結束長達八年情 面對被黑,蘭姐強勢迴歸。小菲狀態好轉,發宣告。更多內幕揭曉! 中國男籃決戰日本隊,首發五人曝光,廣東隊大贏家,徐傑第一後衛 孫穎莎奪女單冠軍!採訪謙遜立足拼,劉國樑給中國選手頒獎笑開花 分析 馬威交易取消後的影響:湖人還有什麼選擇?只能等休賽期? 火箭vs猛龍前瞻:範弗裡特有望復出戰舊主,火箭欲終結六連敗 梅西轟動宏都拉斯!當地媒體:這是世紀體育盛事! 登記開啟!金中、29中、13中等校動了! 開年暴擊!南京又一家機構跑路了? TechInsights:AI PC未能提振筆記本市場 2024年僅增長5% 睡覺時突然腿抽筋,就是缺鈣?錯!還有這4個原因,別輕易忽視了 泡泡瑪特又贏麻了!此前被調侃是“境內最大的博彩公司” 再也不用扎手指!5億糖尿病患者有福了 傳《尼爾:機械紀元》續作、新《古墓麗影》今年公佈 有工作經驗的畫素畫師如何寫簡歷? 離譜!Xun被搶3條龍,JDG仍然獲勝!Peyz力挽狂瀾,WBG痛失好局 將耗死在國際空間站?59歲美滯留女宇航員求救:喪失重要身體機能 華為FreeClip耳機玫瑰金開售 開放式聆聽設計 CBA俱樂部杯-山西淘汰北控晉級4強 原帥18分 小紅書上移民的中產:曾經北京七套房, 羨慕海外一張床, 如今卻...... 不可抗力停課2天以上退一半保教費,佛山幼兒園收費新規釋出 紅棉襯醉美,2020番順醉美青餅評測 華為FreeClip耳夾耳機玫瑰金配色開售:1299元 64歲寧波老闆,跨界無數次,給員工發8億,即將擁有第三家IPO? 卡友資訊股東持股情況變動 廣州“城市合夥人”:城市與人才的雙向奔赴 有人說孫穎莎粉絲是飯圈文化的時候 卻有些人用真金白銀愛孫穎莎! 男生剪“短髮”髮型乾淨利落,試試這3款,剪完帥氣提升顏值! 7個臀部訓練最佳動作,打造迷人的蜜桃臀! 偉大的4-2!林詩棟奪冠:新科世界第1誕生、超越王楚欽,狂攬3冠 新疆完美了!新小外強於皮特森+黑根斯,承認補強大外良性競爭! 林詩棟奪男單冠軍!採訪大談不容易太謙遜,單獨拍照露出笑容! 國乒最新戰報!林詩棟第2局11-8,衝3冠王,梁靖崑救2局點仍輸球 替補奇兵!快船大將5記3分助隊贏球 哈登好幫手 爆冷!北控男籃吊打奪冠大熱門球隊,外援決定比賽的走向 官宣離任,胡明軒宣佈重要決定,廣東宏遠遺憾,杜鋒祝福 又一個賈德松!崔康熙看人很準,魯媒:卡約又要錯過中國聯賽了 劉國樑憔悴!黑眼圈很重,擋住蒯曼被提醒,孫穎莎王楚欽被裁判整 林詩棟逆轉梁靖崑奪冠,成就三冠王,綜合實力更加突出 CBA最新外援註冊資訊,遼籃4人,新疆補充新援,廣東男籃放棄萊斯 大滿貫收官獎金排名:林詩棟三冠60萬第1,孫穎莎第2王曼昱10萬第9 臺灣律師分析大S遺產劃分,S媽要錢得看汪小菲臉色,打臉光頭安排 臺媒曝大S家人鬆手,讓出撫養權給汪小菲,希望馬筱梅善待孩子 二線白酒暴雷,狼真的來了! 搭上比亞迪,自動駕駛獨角獸,利潤大增170%! 炸裂!外資吹響“加倉中國”集結號背後:科技格局重塑與資產重估 這波夢幻西遊副本積分兌換真是血虧,四賜福的山賊值得買嗎? 《星戰亡命之徒》高階美工又回到CDPR 開發《巫師4》 《哪吒2》登陸北美,首映禮現好萊塢!有觀眾哭花眼妝:特效超預期,買票靠搶 曝張蘭被封年損失近4億,麻六記絕地自救太壯觀,員工曬張蘭近況

©2024 時時頭條 版權所有

隱私政策 | 服務條款 | 聯繫我們