DeepSeek R1豪賭“強化學(xué)習”：以3%的成本超越OpenAI

專(zhuān)題：DeepSeek為何能震動(dòng)全球AI圈

　　中國AI初創(chuàng )公司深度求索（DeepSeek）推理大模型R1的發(fā)布在A(yíng)I社區引發(fā)了沖擊波，顛覆了人們對實(shí)現尖端AI性能所需條件的假設。與OpenAI的o1相比，其成本僅為3%-5%。這種開(kāi)源模式不僅吸引了開(kāi)發(fā)人員，還挑戰了企業(yè)重新思考其AI戰略。

　　這對企業(yè)AI戰略的影響是深遠的。隨著(zhù)成本的降低和開(kāi)放獲取，企業(yè)現在有了像OpenAI這樣昂貴的專(zhuān)有模型的替代品。DeepSeek的發(fā)布可以使尖端AI功能的獲取民主化，使小型組織能夠在A(yíng)I軍備競賽中有效競爭。

　　在一組第三方基準測試中，涵蓋從復雜問(wèn)題解決，到數學(xué)和編碼的準確性方面，DeepSeek模型的表現優(yōu)于Meta Llama 3.1、OpenAI的GPT-4o和Anthropic的Claude Sonnet 3.5。

　　微軟CEO薩蒂亞·納德拉（Satya Nadella）周三在瑞士達沃斯舉行的世界經(jīng)濟論壇上表示：“看到DeepSeek的新模型，無(wú)論是他們如何真正有效地完成了一個(gè)開(kāi)源模型來(lái)進(jìn)行推理時(shí)間計算，還是計算效率方面，都令人印象深刻。我們應該非常認真地對待這一發(fā)展?！?/p>

　　目前，該模型已飆升至HuggingFace上下載量最高的熱門(mén)模型。同時(shí)，在蘋(píng)果商店美區免費榜排名第四，超越Google Gemini和Microsoft Copilot等美國生成式AI產(chǎn)品。

　　轉向純強化學(xué)習

　　DeepSeek-R1偏離了廣泛用于訓練大型語(yǔ)言模型（LLM）的傳統監督微調（SFT）過(guò)程。SFT是AI開(kāi)發(fā)的標準步驟，涉及在精心策劃的數據集上訓練模型，教會(huì )它們逐步推理，通常被稱(chēng)為思維鏈（CoT）。這被認為對提高推理能力至關(guān)重要。但DeepSeek通過(guò)完全跳過(guò)SFT來(lái)挑戰這一假設，轉而選擇依賴(lài)強化學(xué)習（RL）來(lái)訓練模型。

　　這一大膽舉措迫使DeepSeek-R1開(kāi)發(fā)獨立的推理能力，避免了規范性數據集經(jīng)常引入的脆弱性。雖然出現了一些缺陷，并導致團隊在構建模型的最后階段重新引入了有限數量的SFT，但結果證實(shí)了根本性的突破：僅強化學(xué)習就可以帶來(lái)顯著(zhù)的性能提升。

　　微軟AI前沿研究實(shí)驗室的首席研究員Dimitris Papailiopoulos稱(chēng)，R1最讓人驚訝的是它的工程簡(jiǎn)單性。他說(shuō)：“DeepSeek旨在獲得準確的答案，而不是詳細說(shuō)明每個(gè)邏輯步驟，從而在保持高水平效率的同時(shí)顯著(zhù)減少計算時(shí)間?！?/p>

　　埃默里大學(xué)（Emory University）信息系統助理教授Hancheng Cao表示：“這可能是一個(gè)真正的均衡突破，對資源有限的研究人員和開(kāi)發(fā)人員來(lái)說(shuō)是件好事，尤其是來(lái)自南半球的研究人員?！?/p>

　　得益于開(kāi)源

　　DeepSeek在很大程度上使用了開(kāi)源。DeepSeek最初為其專(zhuān)有聊天機器人開(kāi)發(fā)AI模型，然后將其發(fā)布供公眾使用。人們對該公司的確切方法知之甚少，但它很快將其模型開(kāi)源。

　　為了訓練其模型，DeepSeek購買(mǎi)了10000多塊英偉達GPU，隨后又擴大到50000塊。與OpenAI、谷歌和Anthropic等領(lǐng)先的AI實(shí)驗室相比，這明顯相形見(jiàn)絀，因為這些實(shí)驗室每個(gè)都有超過(guò)50萬(wàn)塊GPU。

　　社交平臺X的用戶(hù)Silver Spook稱(chēng)：“感謝中國公司Deepseek，他們開(kāi)發(fā)的DeepSeek-R1證明，生成式AI是一個(gè)被資本家夸大的巨大騙局，其實(shí)際價(jià)值不到550萬(wàn)美元?！保ㄗⅲ河ミ_工程師Jim Fan稱(chēng)，DeepSeek在兩個(gè)月內以558萬(wàn)美元的預算訓練了其基礎模型V3。）

　　DeepSeek以有限的資源實(shí)現有競爭力的結果的能力，突顯了獨創(chuàng )性和足智多謀。此外，DeepSeek從一開(kāi)始就非常具有創(chuàng )新性。引入了專(zhuān)家混合系統（MoE）和多頭潛在注意力（MhLA）。

　　DeepSeek-R1之所以帶來(lái)如此多的驚喜，是因為開(kāi)源模型背后有著(zhù)巨大的邏輯和動(dòng)力。它們的免費成本和延展性是此類(lèi)模型將在企業(yè)中獲勝的原因。

　　對于企業(yè)決策者來(lái)說(shuō)，DeepSeek的成功突顯了AI領(lǐng)域更廣泛的轉變：更精簡(jiǎn)、更高效的開(kāi)發(fā)實(shí)踐越來(lái)越可行。一些組織可能需要重新評估與專(zhuān)有AI提供商的合作關(guān)系。

　　Meta首席AI科學(xué)家Yann LeCun稱(chēng)，DeepSeek的成功突顯了保持AI模型開(kāi)源的價(jià)值，這樣任何人都可以從中受益。這表明開(kāi)源模式正在超越專(zhuān)有模式。LeCun說(shuō)：“他們提出了新的想法，并將其建立在其他人的工作之上。因為他們的工作是公開(kāi)和開(kāi)源的，每個(gè)人都可以從中獲利。這就是開(kāi)放研究和開(kāi)源的力量?！?/p>

　　社交平臺X的用戶(hù)Niels Rogge稱(chēng)：“有一家名為DeepSeek的中國公司，它基本上做了OpenAI最初打算做的事情。他們開(kāi)源了一個(gè)經(jīng)過(guò)大規模強化學(xué)習訓練的模型，擊敗了其他所有人，甚至還發(fā)表了一篇詳細介紹其過(guò)程的論文?！?/p>

　　消費者受益

　　雖然DeepSeek的創(chuàng )新是突破性的，但它絕不是建立了絕對的市場(chǎng)領(lǐng)先地位。因為它發(fā)表了研究成果，其他模型公司將從中學(xué)習并適應。Meta和法國開(kāi)源示范公司Mistral可能會(huì )落后，但他們可能只需要幾個(gè)月的時(shí)間就能趕上。

　　最終，消費者、初創(chuàng )公司和其他用戶(hù)將贏(yíng)得最大的勝利，因為DeepSeek的產(chǎn)品將繼續將使用這些模型的價(jià)格推到接近零的水平。這種快速的商品化可能會(huì )給在專(zhuān)有基礎設施上投入巨資的領(lǐng)先AI提供商帶來(lái)挑戰，甚至是巨大的痛苦。

　　社交平臺X的用戶(hù)Shubham Saboo稱(chēng)：“DeepSeek R1 100%開(kāi)源，比OpenAI o1便宜96.4%，同時(shí)提供類(lèi)似的性能。OpenAI o1每1M輸出Token為60美元，而DeepSeek R1每1M輸出Token為2.19 美元。擁有200美元ChatGPT訂閱的人，請仔細考慮一下?！?/p>

　　正如許多評論家所說(shuō)，包括Meta的投資者兼前高管Chamath Palihapitiya，這可能意味著(zhù)OpenAI和其他公司多年的運營(yíng)支出和資本支出將被浪費。

　　OpenAI投資回報問(wèn)題

　　這一切都引發(fā)了人們對OpenAI、微軟和其他公司所追求的投資計劃的重大質(zhì)疑。

　　OpenAI耗資5000億美元的Stargate項目反映了其建設大型數據中心以支持其先進(jìn)模型的承諾。在甲骨文和軟銀等合作伙伴的支持下，這一戰略的前提是，實(shí)現通用人工智能（AGI）需要前所未有的計算資源。

　　然而，DeepSeek以極低的成本展示了一種高性能模型，這對這種方法的可持續性提出了挑戰，引發(fā)了人們對OpenAI為如此巨大的投資帶來(lái)回報的能力的懷疑。

　　企業(yè)家兼評論員Arnaud Bertrand捕捉到了這種動(dòng)態(tài)，將DeepSeek節儉、分散的創(chuàng )新，與OpenAI等其他開(kāi)發(fā)商對集中、資源密集型基礎設施的依賴(lài)，進(jìn)行了對比。

　　Bertrand稱(chēng)，世界意識到以DeepSeek為代表的開(kāi)發(fā)商在技術(shù)和創(chuàng )新方面已經(jīng)趕上了OpenAI等傳統開(kāi)發(fā)商，在某些領(lǐng)域甚至超過(guò)了他們。

　　位于多倫多的技術(shù)顧問(wèn)Reuven Cohen自12月下旬以來(lái)一直在使用DeepSeek-V3。他說(shuō)，它可以與OpenAI、谷歌和舊金山初創(chuàng )公司Anthropic的最新系統相媲美，而且使用起來(lái)要便宜得多。

　　Cohen說(shuō)：“DeepSeek是我省錢(qián)的一種方式。這是像我這樣的人想要使用的技術(shù)?！?/p>