華為昇騰適配支持 DeepSeek-R1 複現項目 Open R1

IT之家 2 月 11 日消息，華為技術有限公司今日宣布，MindSpeed 支持 DeepSeek V3 預訓練、微調，同時昇騰還適配支持⠄eepSeek-R1 複現項目 Open R1。

據介紹，MindSpeed 現已支持 DeepSeek V3 模型預訓練與微調。所使用的並行配置與模型參數如下：

DeepSeek 團隊通過知識蒸餾，實現了較小的模型也能具備較強的推理能力。華為稱已基於昇騰完成蒸餾流程驗證，並表示經過蒸餾後的 Qwen 模型在對應領域上的評分獲得顯著提升，開發者可基於此參考，完成自定義蒸餾模型訓練。

另外，華為昇騰還適配完成 Open R1 項目的重要步驟：打通 Open R1-Zero 的 GRPO 流程，同時支持通過 vLLM 等生態庫實現訓練過程中的數據生成。

據介紹，Open R1 項目是 Hugging Face 官方開源的對 DeepSeek-R1 模型流程進行完全開放式複現的項目，是當前主流複現項目之一，當前已有 18K+ star 數，其目標是構建 DeekSeek-R1 訓練流程的缺失部分。