文章轉載於新智元
創業一年半後，前大腦高階研究科學家、Reka首席科學家兼聯合創始人Yi Tay宣佈已重返谷歌！
他回到了谷歌DeepMind，回到了他的前經理Quoc Le手下工作，職位為高階資深研究科學家，繼續從事人工智慧和大語言模型（LLM）的研究。
這是他迴歸的第一週。
在他創立Reka的1年9個月裡，Yi Tay說他經歷了非常激動人心的時光，並從這段全新的經歷中學到了很多。
他還寫了一篇部落格，分享了他的經歷和這次轉型——
部落格地址：https://www.yitay.net/blog/returning-to-google-deepmind
1
在Reka的639天
在Reka的時光裡，Yi Tay學到了很多關於谷歌外部基礎設施的知識，包括使用PyTorch、GPU等外部資源。
此外，他還學會了如何應對不穩定的GPU、供應商和計算資源（相關部落格文章見下）。
部落格地址：https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness
他和Reka的創始團隊成員一起，以成本最優的方式構建了一些出色的模型。
今年5月，Reka Core的表現躋身Lmsys的前五名，模型本身排名第七，併成功超越了GPT-4的早期版本。
在資源（資金、算力和人力）遠少於其他實驗室的情況下，他們取得了這一成績，Yi Tay為此感到十分驕傲。
要知道，他們的技術團隊總共不到15人。
在這段日子裡，Yi Tay也參與了許多技術分享。
包括在WebConf的LLM日做主題演講、越南的GenAI峰會、swyx的Latent Space播客節目，以及受TechInAsia邀請進行的一場爐邊談話。
與此同時，作為創業者，他學到了許多關於創業、商業和從零開始建立公司的知識。
對他來說，這是一段極為緊張的時期。
就在他離開谷歌開始創業時，得知妻子懷上了他們的第一個孩子。
為了同時處理這麼多事情，他的身心健康受到了嚴重影響，由於高強度的工作和不健康的生活方式，他的體重增加了15公斤。
今年3月，Yi Tay還寫了一篇長帖，回顧了創業一年併兼任「奶爸」的艱難過程，並分享了全天24小時的日程。
[下午3:00] 正式起床。 [下午3:30] 搖搖晃晃走到書桌前，檢查睡前跑的任務。沒有收到任務掛掉的訊息提示（Clustermon安靜無事），謝天謝地！和妻子、寶寶說聲「早安」。喝杯咖啡提神。 [下午4:00] 和另一家公司開線上會議，他們有意與我們合作。 [下午4:30] 邊寫程式碼邊吃家人幫我買的外賣午餐。歐洲的同事開始上線。 [下午4:30] 給寶寶洗澡。 [下午5:00] 回到書桌繼續寫程式碼，再來一杯咖啡。 [下午6:00] 和幾位同事臨時線上討論技術問題。 [下午7:00] 檢視妻子和寶寶是否一切安好。妻子給寶寶換尿布，我幫忙準備她的晚餐。 [晚上8:00] 再次檢查任務，繼續寫程式碼。感受Cuda和GPU的痛苦。兩個任務掛掉了。真是絕了！ [晚上9:00] 躺在床上休息片刻，刷X。用匿名小號@agihippo發個辛辣觀點。 [晚上9:30] 有點疲憊地繼續寫程式碼，同時在Reka的Slack隨機頻道發幾條搞笑訊息。 [晚上10:00] 吃家裡的晚飯。雖然有點涼，但無所謂了。 [晚上10:30] 團隊全員同步會議，跨時區的大家都上線了！ [晚上11:30] 妻子睡覺，我接管哄娃任務。 [午夜12:00] 喂寶寶，讓她重新入睡（希望她這次能睡久一點！） [凌晨1:00] 和@DaniYogatama聊天一個小時。 [凌晨2:00] 檢查任務，繼續寫程式碼和除錯。不能再喝咖啡了:( 亞洲同事們大多下線了，只剩下我和美國的同事在Slack上聊天。 [凌晨3:00] 有點餓了，點了一份照燒雞肉飯外賣。 [凌晨3:30] 喂寶寶！她開始鬧騰，不肯入睡。我抱著她走了半小時。 [凌晨4:30] 終於回到書桌前。外賣到了，開吃！邊吃邊用Reka Flash和Reka Core做一些測試。又一次感受到「為人父母」的奇妙體驗。 [凌晨5:00] 感到疲憊和被Bug折磨的挫敗感。跑去另一間房，看看寶寶睡得是否安穩。 [凌晨6:00] 回到Slack回覆訊息，檢查任務。又有一個任務掛了☠️☠️，重啟任務。 [早晨7:00] 刷X和TikTok，思考要不要睡覺。反思人生。再發一條@agihippo的辛辣觀點。 [早晨7:30] 天開始亮了，我在家裡隨便走走，向已經醒著的家人道「早安」。 [早晨8:00] 上床睡覺。今天的班結束了。妻子起床接著帶寶寶。把寶寶交到她的手中，感到心安☺️。 [早晨8:30] 手機忘了靜音，被訊息吵醒，深感疲憊，想到還有不到4小時就得起來參加下午1點的線下工作會議，倍感壓力。 [早晨9:00] 好了，這次是真的睡覺了（希望能睡著）。
不過，Ti Tay仍對這一階段的經歷感到滿意，並覺得這是一次寶貴的「學術假期」與學習經歷。
經過創業的嘗試後，他認為自己還是更像一名科學家/研究員，而不是其他身份，因此他決定迴歸他的研究本職，回到谷歌投身研究。
1
明星聯創紛紛賣身大廠
Reka成立於2022年，團隊由谷歌和Meta的研究人員組成。
截至2023年6月，該公司已成功籌集5750萬美元，估值達到3億美元。
然而，今年幾乎沒有什麼重大進展——唯一值得注意的是，今年5月，Reka與Snowflake的10億美元收購談判破裂，交易最終流產。
今年，前谷歌員工創辦的初創企業幾乎都在面臨一個艱難的「寒冬」時刻。許多創始人紛紛跳船。
3月，Inflection的CEO Mustafa Suleyman離開公司，轉投微軟；
6月，Adept的CEO David Luan跳槽到了亞馬遜；
8月，Character.AI的CEO Naom Shazeer攜總裁Daniel De Freitas集體跑路，重返老東家谷歌；
可見，這一年大家都不好過。
或許你也會忍不住問，初創們的生存為何如此艱難？
畢竟，這些出走谷歌的大佬們，基本上在創業前一直都在埋頭搞研究。
谷歌部門更像是「學術研究機構」，並非迫切需要產生現金流，專注研究是核心。
而商業化策略，是決策者的事。
一旦出門創業，兩種環境所需的技能截然不同。
對於學術界的研究者來說，擅長研究，往往並不意味著擅長管理/經營一家公司。
其次，人員也是一大難題。
即使最好的初創公司，往往也面臨內部混亂，創始人出現分歧的事並不罕見。
再加上，「學者出身」的創始人，可能並不適應企業的管理結構，增加了衝突的可能性。
此外，AI開發的高昂成本，以及現有公司激烈競爭，這些因素使得這些初創公司，從一開始就面臨艱難的處境。
而且，即使是最優秀的AI初創，如果沒有像谷歌、亞馬遜、微軟等大公司提供財務支援和雲服務，也難以獨立生存。
參考資料：
https://www.yitay.net/blog/returning-to-google-deepmind
