內容來自：背個毛豆
Dario Amodei 曾在、OpenAI 這兩個全球領先的人工智慧（AI）實驗室工作。在 OpenAI，Amodei 推動公司的核心研究戰略，在 5 年時間裡建立了 GPT 模型，一直待到 2021 年——也就是 ChatGPT 推出的前一年。
因對技術的未來存在分歧而辭職後，Amodei 與妹妹 Daniela 共同創辦了 Anthropic，之後釋出了對標 ChatGPT 的聊天機器人 Claude。
今年早些時候，Anthropic 的估值已經超過了 180 億美元。上個月，又投資了 40 億美元，使其投資總額達到 80 億美元，這是其有史以來最大的風險投資。當前，亞馬遜正在努力將 Claude 嵌入其下一代智慧助理 Alexa 中。
在與英國《金融時報》記者 Madhumita Murgia 的對話中，Amodei 談到了：
Anthropic 在 2025 年要解決的兩大問題；
人們使用更強大模型的新方式；
Artifacts；
以及為何不以產品的形式推出 Computer Use，或者說對智慧體的擔憂；
全文如下：
Madhumita Murgia：我想先談談您的文章《仁慈的機器》（Machines of Loving Grace），這篇文章深入淺出地描述了人工智慧造福社會的方式。為什麼現在選擇如此詳細地概述這些好處？
Dario Amodei：從某種意義上說，這並不是新鮮事了，因為人工智慧的風險和好處之間的對立，在過去兩三年裡一直在世界範圍內討論。沒有人比我更厭倦這種對立。在風險方面......我試著說得具體一點。在利益方面，技術樂觀主義是非常積極的，對嗎？你會在推特上看到開發者在談論“build、build、build”，他們會分享一些例子。但是，這些積極的好處確實不夠具體。
MM：當人們談論好處時，有很多假設。你是否覺得人們有點疲勞？他們從未被[告知]這實際上會是什麼樣子？
DA：是的，正面的解釋要麼非常模糊，情緒化，要麼非常極端。整個奇點論述是......“我們都將把自己上傳到雲端，無論你遇到什麼問題，人工智慧當然會立即解決”。我認為這太極端了，而且缺乏細節。
我們能否真正設想出一個美好的、人們願意生活在其中的世界？哪些具體事物會變得更好？圍繞它們的挑戰又是什麼？
如果我們看看癌症和阿茲海默病等疾病，它們並非不可解決的神秘現象。儘管它們的複雜程度令人難以置信，但人工智慧擅長解決複雜問題。這不會立馬發生。但是，我們會一點一點地解開我們以前無法解決的複雜問題。
MM：是什麼吸引你選擇生物學、神經科學、經濟發展等領域？
DA：我關注的是那些能給人類生活帶來最大改變的領域。對我來說，生物學和經濟發展就是這樣的領域。世界上有很多地方，沒有我們在發達國家開發的這些發明。我想針對我立即想到的一些能預測和決定人類生活好壞的最大因素進行研究。
MM：在一個理想的世界裡，你希望 Anthropic 在 2025 年解決什麼問題？
DA：有兩件事：一是機理可解釋性（mechanistic interpretability），即觀察模型內部，開啟黑盒子，瞭解其中的奧秘。我認為這是目前人工智慧研究中最令人興奮的領域，或許也是對社會最重要的領域。
第二個是人工智慧在生物學中的應用。我從生物科學轉向人工智慧的一個原因是，我研究了生物學的問題和......。它們似乎幾乎超出了人類的理解能力——並不是說它們在智力要求上有多高，而是資訊量太大，太複雜了。
我和該領域的其他一些人一樣——我認為 Demis Hassabis 也也有這樣的動機——希望利用人工智慧來解決科學問題，特別是生物學問題，從而讓人類生活得更好。
Anthropic 正在與製藥公司和生物技術初創公司合作，但這在很大程度上還停留在“我們現在如何應用 Claude 模型”的層面。我希望我們能在 2025 年開始，與公司、研究人員和學者一起，真正開展更具更具長遠宏偉藍圖和長期抱負的工作。
MM：你在推動人工智慧技術前沿發展方面發揮了重要作用。Sonnet 3.5 已經發布 5 個月了。與一些之前的模型相比，人們是否在以新的方式使用它？
DA：我舉個編碼領域的例子。我見過很多編碼能力很強的使用者，包括 Anthropic 內部一些最有才華的人，他們說以前的模型對[他們]根本沒用。他們正在解決一些難題，一些非常困難和技術性的問題，而他們從來沒有感覺到以前的模型實際上會幫他們節省時間。
這就像你與他人合作：如果對方甚至不具備你所具備的技能，那麼與他們合作可能就沒有用處。
但我看到，越來越多的極具天賦的研究人員、程式設計師、員工......對他們來說，Sonnet 3.5 是第一次真正對他們有幫助的模型。
我想說的另一件事是 Artifacts：Claude 消費者端的工具。[有了它，]你可以進行反覆開發。你可以告訴模型：“給我做一個主角長這樣、環境長這樣的電子遊戲”。然後，Claude 就會幫你做出來。[但]你可以回去和它談談，說：“我覺得我的主角看起來不對，他看起來像馬里奧。我希望他更像路易吉”。你可以和人工智慧系統合作開發一些東西。
MM：這是否帶來了令你興奮的收入流或商業模式？你認為在這些新功能的基礎上，會有新的產品出現嗎？
DA：是的。雖然我們有一個消費者產品，但 Anthropic 的大部分業務都是透過 API 向其他企業銷售我們的模型，他們在此基礎上構建這些產品。因此，我認為我們在生態系統中的總體定位是，我們正在幫助其他公司打造這些令人驚歎的產品，我們已經看到了很多令人興奮的產品。
例如，上個月，我們向開發者釋出了一項名為“Computer Use”的功能。開發者可以在這項功能的基礎上進行開發：你可以告訴它“為我預訂這家餐廳”或“計劃這一天的旅行”，然後模型就會直接使用你的電腦。它會看著螢幕，點選滑鼠的不同位置，還會用鍵盤輸入內容。
它不是實體機器人，但能輸入......為你自動控制電腦。在我們釋出後的幾天內，就有人釋出了可控制 iPhone 螢幕、安卓螢幕、Linux、Mac 的版本。
MM：你會把它作為自己的產品發行嗎？現在到處都在說智慧體（agent）這個詞。你也可以有自己的智慧體，對嗎？
DA：是的，我可以想象我們可以直接製造出這樣的產品。實際上，我認為智慧體最具挑戰性的一點是確保它們安全、可靠和可預測。與聊天機器人交談是一回事，它可能會說錯話，可能冒犯某人，可能會誤導別人。當然，我們應該認真對待這些事情。但是，當我們開始與智慧體合作時，確保模型完全按照我們的要求去做就變得更加重要了。
MM：有哪些挑戰？
DA：作為一個思想實驗，想象一下我有一個智慧體，我說“幫我在網際網路上做一些研究，形成一個假設，然後去買一些材料來製造[一些]東西，或者按照我的交易策略做一些交易”。一旦模型在外面的世界做了幾個小時的事情，它們就有可能做一些我不想讓它們做的事情。
也許它們正在以某種方式更改我電腦上的設定。也許它們在代表我與人交談時，說了一些我根本不會贊同的話。也許它們正在對另一組伺服器採取某些行動。甚至可能是惡意操作。
因此，我們需要馴服這種「難以駕馭性」和「不可預測性」。我們已經取得了很大進展。它所使用的方法與我們用來控制普通系統安全的方法相同，但所需的可預測性水平要高得多。
我知道這就是阻礙它的原因。這不是模型的能力問題。我們要做的是，讓人們相信，我們可以放心地釋出這樣的產品，它能可靠地完成人們想要它做的事情；讓人們真正信任它。
一旦我們達到這個目標，我們就會發布這些系統。
MM：是的，從告訴你一些你可以採取行動的事情，到為你採取行動，這其中的利害關係要大得多。
DA：你想讓電腦內部的“小精靈”隨意改變一些東西嗎？你可能永遠都不會知道是什麼改變了這些東西。說白了，我認為所有這些問題都是可以解決的。但這些都是我們在設計這樣的系統時所面臨的實際挑戰。
MM：那麼，你認為我們什麼時候才能對這些智慧體有足夠的可預測性和習以為常，讓你能夠推出一些東西呢？
DA：這是一款早期產品。它的可靠性並不高。不要把關鍵任務交給它。我認為，到 2025 年，我們會在這方面取得很大進展。因此，我預測 2025 年將會有產品大致做到這一點，但這並不是“非黑即白”。總會有一些任務，你不太信任人工智慧系統，因為它不夠聰明、不夠自主或不夠可靠。
我希望我們能達到這樣的程度：你只需給人工智慧系統佈置幾小時的任務——類似於你給人類實習生或員工佈置的任務。每隔一段時間，它就會回到你身邊，詢問你的意見，然後完成任務。如果我想有一個虛擬員工，我可以讓它去做幾個小時的研究，寫一份報告——想想管理顧問或程式設計師——人們[必須]相信，它真的會完成你說的任務，而不是其他瘋狂的事情。
MM：最近有人談到，這些能力可能正在趨於穩定，我們開始看到當前技術的極限，這就是所謂的“縮放定律”（scaling law）。你是否看到了這種跡象，並在尋找其他方法來提升這些模型的智慧？
DA：我在這一領域工作了 10 年，在這期間的大部分時間裡，我一直在關注 scaling law。我認為，我們看到的情況在很多方面都很普通，在這個領域的歷史上也發生過很多次。只是，由於該領域是一樁更大的交易，會產生更多的經濟後果，所以[現在]有更多的人在關注它。而且對非常模糊的資料進行了過度解讀。
如果我們回顧歷史，scaling law 並不是說只要訓練出一個更大的模型，它就會表現得更好。scaling law 的意思是，如果你根據模型大小與資料的比例對模型進行 scale up，如果所有的工程流程都能很好地訓練模型，如果資料質量保持不變，當你對模型進行 scale up 時，[那麼]......模型會越來越好。
MM：正如你所說，這不是一個數學常數，對嗎？
DA：這是一個觀察到的現象，我沒有看到任何反對這一現象的證據。我們沒有看到任何東西可以反駁我們在過去幾年裡看到的模式。我所看到的情況是，由於第一次沒有以正確的方式 scale up，所以看起來好像事情正在趨於平穩。但在第四、五次後情況就會不同了。
MM：那麼在當前，當你檢視當前模型的訓練執行時，是否存在任何限制？
DA：我曾多次談到合成數據。隨著自然資料的耗盡，我們開始增加合成數據的數量。例如，AlphaGo Zero 就是用合成數據訓練出來的。此外，還有推理方法，讓模型進行自我反思。因此，有很多方法可以繞過資料牆。
MM：當我們談到擴充套件時，最大的問題就是成本。成本似乎在急劇上升。成本如此上漲，像 Anthropic 這樣的公司如何生存？未來一年左右，這些錢從哪裡來？
DA：我認為人們會繼續理解這項技術的價值和潛力。所以我很有信心，一些資助過我們的大公司和其他公司，以及投資生態系統，都會支援這項技術。
而且收入增長非常快。我認為這個數學計算是可行的。我非常有信心，從模型成本的角度來說，100 億美元的水平是 Anthropic 能夠負擔得起的。
就盈利能力而言，這是很多人都弄錯的一件事。人們通常會看：某一年你花了多少錢，某件事花了多少錢。但實際上，研究特定的模型更有啟發性。
讓我們假設一家公司。假設你在 2023 年訓練了一個模型。該模型耗資 1 億美元。然後，在 2024 年，這個模型產生了比如說 3 億美元的收入。然後，在 2024 年，你要訓練下一個模型，這個模型的成本是 10 億美元。而這個模型還沒有完成，或者在 2024 年底才釋出。當然，它要到 2025 年才能產生收入。
所以，如果你問“2024 年公司是否盈利”，那麼，你賺了 3 億美元，花了 10 億美元，所以看起來並不盈利。如果問每個模型都盈利嗎？那麼，2023 的模型的成本是 1 億美元，而收入是幾億美元。因此，2023 的模型是盈利的。
這些數字不是 Anthropic 的數字。但我在這裡要說的是：模型的成本在上升，但每個模型的收入也在上升，這在時間上是不匹配的，因為模型的部署大大晚於它們的訓練。
MM：你認為包括 Anthropic 在內的公司有可能在沒有超級金主（如亞馬遜或谷歌）的情況下做到這一點嗎？你是否擔心他們的權力集中，因為沒有他們的資金，沒有他們的基礎設施，建立 LLM 的初創公司實際上無法開展工作？
DA：我認為與大公司的交易對雙方都很有意義，因為投資是將未來帶入現在的一種方式。我們主要需要用這筆錢購買晶片。公司和超級金主都要在雲上部署產品，而云也是由他們執行的。因此，這在經濟上是合理的。
我當然擔心超大型企業的影響，但我們在做交易時非常謹慎。
對 Anthropic 而言，最重要的是我們負責任的擴充套件政策，其基本原則是：當模型的能力達到一定水平時，就必須對其能力進行衡量，並在使用時採取保障措施。
在我們與超級金主達成的每一筆交易中，他們在部署我們的技術時，都必須遵守我們的擴充套件策略規則。這與我們在什麼地方部署模型無關。它們必須經過我們負責任的擴充套件所要求的測試和監控。
另一件事是，我們的長期利益信託基金。這是一個最終監督 Anthropic 的機構。它擁有任命 Anthropic 董事會許多席位的權力。同時，超大規模企業在 Anthropic 董事會中沒有代表。因此，公司的最終控制權仍然掌握在長期利益信託基金手中，而長期利益信託基金是財務上無利害關係的行為者，對 Anthropic 擁有最終權力。
MM：你認為，在沒有亞馬遜、谷歌或微軟的情況下，今天的 LLM 公司還能繼續在所生產的產品及其對人們的影響方面掌握權力嗎？
DA：我認為在保持對公司控制的同時，這樣做在經濟上是可行的。同時保持你的價值觀。我認為，這樣做需要從某個地方獲得大量資源。這些資源可以來自超級金主。理論上，也可以來自風險投資系統。甚至可以來自政府。
我們已經看到一些案例，無論好壞，[其中]像 Elon Musk 這樣的人正在利用他們龐大的私人財富。我確實認為，要建立這些非常龐大的基礎模型，需要一些非常龐大的資金來源，但也有許多不同的資金來源。我認為，在堅持自己價值觀的同時，也可以做到這一點。
MM：展望通用人工智慧（AGI）或超級智慧，你如何設想這些系統？我們需要新的想法來實現下一個突破嗎？還是會不斷迭代？
DA：我認為，創新將與產業升級並存。要實現非常強大的人工智慧，我認為不存在某一個點。隨著時間的推移，我們的系統會越來越強大。我的看法是，我們基本上已經步入正軌，不太可能需要很久了。是的，這將是持續的，但速度很快。
