通過這些分享可以清晰了解DeepSeek是如何最大限度利用GPU能力的。

2月27日，DeepSeek開源周（OpenSourceWeek）第四彈來了，DeepSeek在X上宣布這次開源的是三項優(yōu)化并行策略，并在Github上詳細展開了DeepSeek-V3和R1模型背后的并行計算優(yōu)化技術(shù)，通過這些闡述可以清晰了解團隊是如何精細地優(yōu)化計算和通信，最大限度利用GPU能力的。

這三項優(yōu)化并行策略其中包括DualPipe，這是一種用于V3/R1模型訓練中計算與通信重疊的雙向流水線并行算法，這種算法能夠完全重疊前向和后向計算通信階段，與傳統(tǒng)方法相比減少了“流水線氣泡”（設備在某些時刻的空閑等待）。 在DualPipe的開發(fā)團隊署名中，包括創(chuàng)始人梁文鋒。

優(yōu)化并行策略第二項是EPLB（Expert Parallelism Load Balancer，專家并行負載均衡器），它針對V3/R1模型，解決MoE（混合專家）模型在分布式訓練和推理中的負載不平衡問題。

當使用專家并行（EP）時，不同的專家被分配到不同的GPU。由于不同專家的負載可能會根據(jù)當前的工作負載而變化，因此保持不同GPU的負載平衡非常重要。DeepSeek曾在V3論文中提到，團隊采用冗余專家策略來重復重載專家，他們創(chuàng)新地將重復的專家打包到GPU上，以確保不同GPU之間的負載平衡。

在第三部分， DeepSeek直接分享了來自訓練和推理框架的性能分析數(shù)據(jù)，以幫助社區(qū)更好地了解通信計算重疊策略和低級實現(xiàn)細節(jié)。這些數(shù)據(jù)是用PyTorch Profiler采集的，下載后可以直接在 Chrome或 Edge 瀏覽器中打開，進行可視化分析，DeepSeek還模擬了絕對平衡的MoE 路由策略用于性能分析。

DeepSeek這四天的發(fā)布都與Infra層的算法有關(guān)，分享團隊最大限度利用GPU能力的技術(shù)細節(jié)。大模型生態(tài)社區(qū)OpenCSG（開放傳神）創(chuàng)始人陳冉此前對第一財經(jīng)舉例表示，“相當于以前DeepSeek是直接給一輛車，告訴大家這輛車續(xù)航900公里，但是現(xiàn)在DeepSeek在深挖，用什么方式能夠開到900公里?！盌eepSeek的模型為什么能夠?qū)崿F(xiàn)較好的效果，對應有一些算法和相應的框架，而這些“腳手架”的開源有利于之后的生態(tài)搭建。

陳冉判斷，DeepSeek的代碼開源或許會影響一批做AI Infra層的從業(yè)者，“AI Infra層的人要找新的方向?！钡瑫r表示，這種開源是一把雙刃劍，如果能將DeepSeek開源的內(nèi)容用好可能也會得利，“用不好就被沖擊”。

此前三日，DeepSeek陸續(xù)開源了讓大模型在GPU上跑得更快的MLA解碼核FlashMLA，用于MoE模型訓練和推理的DeepEP通信庫，以及可支持MoE的FP8 GEMM代碼庫DeepGEMM。

從GitHub上獲得的星標來看，這些項目頗受歡迎，截至發(fā)稿，F(xiàn)lashMLA已在GitHub獲得超過1萬星標，DeepEP的星標已有6000，DeepGEMM目前超過3700，最新發(fā)布的DualPipe星標超過700。

就在昨日，DeepSeek還在海內(nèi)外同時宣布了API 錯峰優(yōu)惠，自2月26日起，北京時間每日00:30至08:30的夜間空閑時段，API 調(diào)用價格大幅下調(diào)：DeepSeek-V3 降至原價的 50%，DeepSeek-R1 更低至 25%。DeepSeek鼓勵用戶充分利用這一時段，享受更經(jīng)濟更流暢的服務體驗。

另外，也有消息稱，DeepSeek正尋求鞏固自身優(yōu)勢，盡早推出R2模型，消息提到DeepSeek原本計劃在5月初發(fā)布R2模型，目前會加快這一速度。DeepSeek目前并未對此回應。

此前DeepSeek在R1論文中提到，R1 的性能將在下一個版本得到改善，因為相關(guān)的RL（強化學習）訓練數(shù)據(jù)還很少。隨著RL數(shù)據(jù)的增加，模型解決復雜推理任務的能力持續(xù)穩(wěn)定提升，且會自然涌現(xiàn)出一些復雜行為能力。

業(yè)界認為，DeepSeek-R2的發(fā)布可能是AI行業(yè)的一個關(guān)鍵節(jié)點。