人工智慧領域頂級學術會議NIPS 2024最佳論文近日出爐,北京大學和位元組跳動團隊一篇關於視覺自迴歸模型的論文位列其中。而該文的第一作者,正是此前被位元組跳動起訴索賠800萬元的前實習生田某某。
北京大學和位元組跳動團隊獲獎論文截圖。
所謂自迴歸模型,其原理是基於序列前面的值(上下文)來預測生成後面的值,如GPT等大語言模型就是典型的自迴歸模型。
北京大學和位元組跳動團隊這篇獲獎論文,則展示了自迴歸模型在影象生成領域的潛力。該文提出名為Visual Autoregressive Modeling(VAR,視覺自迴歸模型)的新型影象生成正規化,能夠快速學習視覺分佈,並具有良好的泛化能力,從而驗證了在影象領域,VAR模型也擁有領域自迴歸模型的擴充套件定律(Scaling Law)和零樣本泛化能力。
具體效果上,VAR模型的影象生成質量、推理速度和可擴充套件性等效能,超越了影象生成領域中常用的擴散模型(Diffusion Transformer)。而在VAR模型提出前,自迴歸模型在影象生成領域的表現顯著落後於擴散模型。
NIPS(神經資訊處理系統大會)每年12月舉行,被視為機器學習領域最具影響力的會議之一,與ICML(國際機器學習大會)齊名。2024年的NIPS將於12月10日至12月15日在加拿大溫哥華召開。
上述獲獎論文受到外界關注,部分緣於作者身份。在位元組跳動實習期間,北京大學在讀博士生田某某以第一作者發表這篇論文,但目前已陷入和位元組跳動的司法糾紛。
南都11月27日報道,位元組跳動起訴前實習生田某某篡改程式碼攻擊公司內部模型訓練一案,已獲北京市海淀區人民法院正式受理,案由為侵權責任糾紛。位元組跳動請求法院,判令田某某賠償公司侵權損失800萬元及合理支出2萬元,並公開賠禮道歉。(詳見:前實習生篡改程式碼攻擊大模型訓練,位元組跳動起訴索賠800萬)
談及起訴緣由,位元組跳動內部人士介紹,由於田某某為在讀博士生,公司將其辭退後首先交由校方處理。但在事件處理期間,田某某多次對外否認,稱攻擊模型訓練任務的不是自己,而是別的實習生。考慮到田某某完全沒有意識到錯誤,且涉事行為已觸犯公司安全紅線,公司最終決定向法院起訴,以表明公司嚴肅態度、杜絕類似事件再次發生。
11月5日,位元組跳動內部通報披露,2024年6月至7月,集團商業產品與技術部門前實習員工田某某,因對團隊資源分配不滿,透過編寫、篡改程式碼等形式惡意攻擊團隊研究專案的模型訓練任務,造成資源損耗。公司已與其解除實習協議,同步陽光誠信聯盟及企業反舞弊聯盟,並同步至其就讀學校處理。
南都記者多次透過郵箱、社交平臺等渠道和田某某聯絡,均未收到回覆。
採寫:南都記者 楊柳