2月27日，DeepSeek宣布開源Optimized Parallelism Strategies。與此同時(shí)，英偉達(dá)開源了首個(gè)在Blackwell架構(gòu)上優(yōu)化的DeepSeek-R1，實(shí)現(xiàn)了推理速度提升25倍，并且每token成本降低20倍的驚人成果。這一新模型的推出，標(biāo)志著英偉達(dá)在人工智能領(lǐng)域的又一次重大進(jìn)展。

開源周第三天，DeepSeek宣布開源Optimized Parallelism Strategies（優(yōu)化并行策略）。

據(jù)悉，該策略是為了提高計(jì)算效率、減少資源浪費(fèi)并最大化系統(tǒng)性能而設(shè)計(jì)的并行計(jì)算方案。這些策略通過(guò)合理分配任務(wù)、協(xié)調(diào)資源利用和減少通信開銷，實(shí)現(xiàn)在多核、分布式或異構(gòu)系統(tǒng)中的高效并行執(zhí)行。

最近，DeepSeek動(dòng)作不斷。此前，該公司宣布將DeepEP向公眾開放。在宣布后的約20分鐘內(nèi)，DeepEP已在 GitHub、微軟（MSFT.US）等平臺(tái)上獲得超過(guò)1000個(gè) Star收藏。

據(jù)悉，DeepEP是MoE模型訓(xùn)練和推理的Expert Parallelism通信基礎(chǔ)，可實(shí)現(xiàn)高效優(yōu)化的全到全通信，以支持包括FP8在內(nèi)的低精度計(jì)算，適用于現(xiàn)代高性能計(jì)算。DeepEP還針對(duì)從NVLink到RDMA的非對(duì)稱帶寬轉(zhuǎn)發(fā)場(chǎng)景進(jìn)行了深度優(yōu)化，不僅提供高吞吐量，還支持流式多處理器數(shù)量控制，從而在訓(xùn)練和推理任務(wù)中實(shí)現(xiàn)高吞吐量性能。

稍早于2月26日，DeepSeek宣布，即日起，北京時(shí)間每日00:30至08:30的夜間空閑時(shí)段，DeepSeek開放平臺(tái)推出錯(cuò)峰優(yōu)惠活動(dòng)。在此期間，API調(diào)用價(jià)格大幅下調(diào)：DeepSeek-V3降至原價(jià)的50%，DeepSeek-R1降至25%。

DeepSeek稱，鼓勵(lì)用戶充分利用這一時(shí)段，享受更經(jīng)濟(jì)更流暢的服務(wù)體驗(yàn)。

DeepSeek推出優(yōu)惠措施之時(shí)，正值其“開源周”。首個(gè)開源的代碼庫(kù)為針對(duì)Hopper GPU優(yōu)化的FlashMLA，第二日是首個(gè)用于MoE模型訓(xùn)練和推理的開源EP通信庫(kù)DeepEP，26日則開源了一個(gè)支持密集和MoE GEMM的FP8 GEMM 庫(kù)，為V3/R1訓(xùn)練和推理提供支持。

英偉達(dá)通過(guò)在Blackwell架構(gòu)上應(yīng)用TensorRT DeepSeek優(yōu)化，讓具有FP4生產(chǎn)級(jí)精度的模型，在MMLU通用智能基準(zhǔn)測(cè)試中達(dá)到了FP8 模型性能的99.8%。目前，英偉達(dá)基于FP4優(yōu)化的DeepSeek-R1檢查點(diǎn)已經(jīng)在Hugging Face上開源，并且可以通過(guò)以下鏈接訪問(wèn)模型地址：DeepSeek-R1-FP4。

在后訓(xùn)練量化方面，該模型將Transformer模塊內(nèi)的線性算子的權(quán)重和激活量化到了FP4，適用于TensorRT-LLM推理。這一優(yōu)化使每個(gè)參數(shù)的位數(shù)從8位減少到4位，從而讓磁碟空間和GPU顯存的需求減少了約1.6倍。

綜合自券商中國(guó)