DeepSeek V3和R1的創新系統架構源于對AI推理效率與成本平衡的突破性探索。V3作為混合專家（MoE）模型，總參數達671B，采用多頭潛在注意力（MLA）和無輔助損失負載均衡策略，通過FP8混合精度訓練優化資源消耗，預訓練14.8萬億Token，成本僅為同類模型的1/15。R1則基于V3架構，首次通過純強化學習（RL）激發推理能力，無需監督微調（SFT），結合冷啟動數據與群體相對策略優化（GRPO）算法，顯著提升數學、編程等結構化任務性能，并通過蒸餾技術將推理能力遷移至小模型，實現低成本高效部署。這一架構革新推動了國產AI算力生態發展，降低對高端GPU的依賴，加速了AGI的商業化進程。
在這一技術革新的背景下，安擎正在積極推進DeepSeek AI服務器產品的適配與調優，并與業界合作伙伴共同打造基于安擎AI服務器及集群管理的全棧解決方案。與此同時，安擎資深技術專家將深入研究DeepSeek發布的核心論文，通過學習和理解其模型創新技術，探索其創新思路，致力于構建更具前沿競爭力的AI服務器系統及解決方案，與客戶及合作伙伴共同構建創新驅動的生成式人工智能生態。以下是DeepSeek 四篇核心論文概述及關鍵創新點梳理：
1.《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》
概述：
該論文提出了一種通過純強化學習（RL）自主激發大語言模型（LLM）推理能力的方法，結合群體相對策略優化（GRPO）算法和雙階段訓練策略（推理導向RL與通用對齊RL），顯著提升了模型在數學、編程等結構化任務中的性能。實驗顯示，其Pass@1準確率在AIME 2024任務中達79.8%，推理成本僅為同類模型的1/30。
創新點：
· GRPO算法：替代傳統PPO，通過組內獎勵對比優化策略，無需獨立價值模型，降低計算開銷28。
· 冷啟動+多階段RL：結合少量高質量推理鏈數據微調，規范輸出格式（如標簽），提升可讀性與任務適應性2。
· 蒸餾技術：將80萬條推理數據用于小模型微調，7B模型在數學任務中超越32B基線模型，實現高效推理能力遷移210。
2.《DeepSeek-V3 Technical Report》
概述：
該技術報告介紹了DeepSeek-V3的混合專家（MoE）架構，包含671B總參數（每個Token激活37B），采用多頭隱注意力（MLA）和無輔助損失的負載平衡策略，預訓練14.8萬億Token。其在MATH-500任務中準確率達97.3%，訓練成本僅為Llama 3系列的1/15，性能對標GPT-4o。
創新點：
· MLA與DeepSeekMoE：提升推理效率與經濟性，支持128K長上下文處理69。
· 多Token預測（MTP）：擴展預測范圍至多個未來Token，增強數據效率和表征預規劃能力6。
· 低成本訓練優化：通過FP8混合精度訓練和工程優化，每萬億Token訓練僅需18萬H800 GPU小時，顯著降低資源消耗。
3.《DeepSeek-R1-Zero: Self-Evolving Reasoning via Pure Reinforcement Learning》
概述：
探索無需監督微調（SFT）的純RL訓練路徑，驗證模型通過GRPO自主涌現“反思”和“多步驗證”等復雜推理行為。初始版本在AIME任務中Pass@1從15.6%提升至71.0%，多數投票后達86.7%，但存在多語言混雜與可讀性缺陷。
創新點：
· 自我進化現象：模型在訓練中自發形成糾錯與驗證能力，如數學解題中的“Aha時刻”。
· 極簡獎勵設計：僅依賴答案正確性與格式規范，避免復雜獎勵模型導致的訓練偏差。
4.《Efficient Knowledge Distillation for Reasoning-Centric LLMs》
概述：
提出基于動態權重分配的跨維度知識蒸餾方法，將32B大模型的推理邏輯遷移至7B小模型，使其在AIME任務中性能提升23%，超越原32B模型。
創新點：
· 思維范式遷移：解構大模型的認知模式，而非單純知識記憶，提升小模型的元推理能力。
· 低成本部署：7B蒸餾模型在邊緣設備實現高效推理，降低硬件依賴。
DeepSeek的核心論文主要圍繞強化學習驅動的推理優化（R1系列）和高效架構設計（V3系列）展開。通過算法創新（如GRPO、MTP）和工程優化（如FP8訓練、蒸餾技術），DeepSeek成功實現了性能與成本的平衡。此外，其開源策略（例如發布1.5B至70B的蒸餾模型）進一步推動了AI技術的民主化，為邊緣計算和垂直領域應用提供了新的范式。
DeepSeek的成功在全球范圍內引發了廣泛關注和深入探討，特別是其系統架構的創新成為焦點。在綜合國內外技術流派的觀點，并結合安擎在AI服務器開發設計領域的多年積累以及對DeepSeek 以上核心論文的深入研究后，我們將其系統架構之道總結為“逆向漸進式創新出圈”。鑒于讀者對AI大模型的了解程度各異，本文以淺顯易懂的語言展開，運用類比的方式剖析關鍵技術，避免過多引用復雜論文內容，旨在讓零基礎讀者理解DeepSeek架構的核心理念。對于AI大模型領域的資深讀者，本文可作為啟發性讀物，助力快速提煉要點，并根據需要進一步閱讀論文原文。我們期待本文對DeepSeek架構的總結能與您產生共鳴。
DeepSeek V3混合專家系統（MoE）和多頭潛在注意力（MLA），漸進式創新典范
漸進式創新與顛覆式創新是技術演進的兩種路徑。前者通過持續優化現有技術比如算法效率提升等，在現有市場框架內提升性能、降低成本；后者以突破性技術重構產業邏輯，通過創造新需求或替代舊范式開辟增量市場。二者共同推動技術螺旋上升，漸進創新維持競爭力，顛覆創新驅動范式躍遷。結合國內大模型基礎以及高端算力資源使用受限的現實，基于可用的模型生態資源基礎，Deepseek V3 系統架構采取了務實且高效的漸進式工程創新路徑，以MoE和MLA為例，進一步闡述其漸進式創新之道。
MoE并非DeepSeek首創，其最早的應用甚至不在LLM領域，而是出現在谷歌的廣告投放和預測模型中。國外大模型研發機構通常擁有充足算力資源，可穩定提升模型性能，而DeepSeek團隊面臨嚴格的算力限制，只能通過創新破局。MoE架構基于“專家團隊”分工協作，專家間的高效溝通是關鍵。DeepSeek在此基礎上，納入動態子模型激活創新，實現了“讓正確的專家完成正確的合作”，從而突破資源瓶頸。以裝修房子為例，形象化的解釋MoE和傳統架構核心原理以及DeepSeek MoE創新所在。
如圖1所示的傳統AI模型，就像你請了一個全能裝修師傅，他既懂水電、木工，又會刷墻鋪地板。但無論任務是裝水管還是打柜子，他每次都得獨自完成所有步驟。比如讓他“裝個插座”，他需要先回憶水電知識，再復習木工技巧，最后還要檢查刷墻步驟。雖然他很努力，但效率低下（每項任務都要重復完整流程），計算資源消耗大（容易“累”），遇到復雜任務（如全屋精裝）還可能忙不過來。而MoE（混合專家模型）則完全不同。你雇了一個裝修隊長，他手下有水電專家、木工專家、油漆專家和設計師。每當你提出需求（比如“裝個復古吊燈”），隊長會迅速判斷：“這任務80%是水電問題，20%涉及設計”，然后只派水電工和設計師來干活，其他人則繼續待命。結果是：任務完成得又快又好（計算資源精準分配），團隊還能隨時擴容（新增專家不影響整體運行）。
MoE大模型架構核心就是通過動態路由機制將輸入數據分配到不同的子網絡（或者說專家）進行處理每次應用的時候只會激活部分的專家這樣就可以提高計算的效率降低訓練和推理的成本。DeepSeek MoE采用動態專家激活與參數高效利用，無輔助損失負載均衡，模塊化可擴展架構，FP8低精度訓練與硬件協同優化等創新技術，實現了“讓正確的專家完成正確的合作”。這進一步解釋了6700億參數中DeepSeek V3只需要激活370億參數的原因所在。
MLA (Multi-Head Latent Attention) 多頭潛在注意力是DeepSeek在V3版本架構上的創新，實現優化顯存與計算效率，通過低秩鍵值聯合壓縮（Low-rank Key-Value Joint Compression）和潛在變量建模，減少推理時的KV緩存占用，同時保持或提升模型性能，解決了傳統MHA (Multi-Head Attention) 多頭注意力架構，因并行多個注意力頭捕捉輸入序列的不同關聯造成的顯存占用高、長序列計算效率低的問題。以編輯雜志為例，形象化的描述MLA和MHA的核心原理以及MLA的創新所在。如圖2所描述，基于MHA的普通模型：每個欄目的寫作需要所有編輯同時參與，每個人都要記住整本書的情節（存儲所有KV緩存），導致效率低下。MLA模型：主編先提煉出每個欄目的領域（潛在向量），然后根據當前欄目的領域（如物理、航空航天）只調用相關領域的編輯（專家），其他人休息。這樣既節省時間，又保證內容質量。
DeepSeek R1 基于群體相對策略優化（GRPO）的強化學習架構，引領逆向創新風向
DeepSeek技術突破的標志性成果當屬其推理模型雙星——DeepSeek-R1-Zero與DeepSeek-R1，這兩大模型的問世首次構建起與OpenAI o1推理體系的技術抗衡能力。在R1系列面世前，OpenAI的o1長期占據推理模型賽道的壟斷地位。DeepSeek實現"破圈傳播"的核心創新體現在雙重維度：顯性交互層面，R1模型不僅輸出最終結果，更首創"思維過程可視化"機制，將隱式推理鏈條轉化為可解釋的逐步推導路徑；技術底層層面，其突破性在于構建了完全脫離人類反饋的強化學習訓練范式。值得注意的是，R1的技術演進始自其前身R1-Zero，研發團隊在該原型階段實施了極具風險的技術驗證：采用純強化學習框架，摒棄監督微調環節，直接探索大模型在零人工標注數據環境下自主演化推理能力的可能性。這項被稱為"無監督認知覺醒"的實驗，最終驗證了語言模型通過自主探索-利用機制發展出復雜推理能力的可行性。如圖3所示，DeepSeek R1研究論文中展示的自進化強化學習架構示意圖，其技術框架以"環境交互-策略內生-獎勵自洽"三重機制為理論根基，重點論證了無需人類反饋的強化學習范式作為系統核心支柱的可行性。
圖3 自進化強化學習架構示意圖
（來自DeepSeek R1論文）
為便于理解，簡單來說，強化學習是一種通過試錯來學習最優策略的方法，其核心在于為機器提供大量數據和一個獎勵函數（reward function）。以AlphaGo為例，它最初通過模仿人類棋譜學習下棋，但最終通過強化學習實現了從模仿到超越人類的突破。在這一過程中，AlphaGo完全摒棄了人類棋譜，轉而通過自我對弈不斷優化策略，最終達到超越人類頂尖水平的成就。如圖4所示，以AlphaGo為例，形象化地展示了監督學習和強化學習的基本原理。
圖4 以AlphaGo為例，闡述監督學習和
強化學習的基本原理
理解強化學習與監督學習的基本原理后，我們聚焦DeepSeek R1的逆向創新路徑的探討。OpenAI提出的近端策略優化（PPO）算法基于Actor-Critic雙模型架構，其設計核心包含兩個關鍵技術：首先，通過策略更新裁剪機制約束策略模型的梯度幅度，有效控制策略迭代的穩定性邊界；其次，運用廣義優勢估計（GAE）對時序差分誤差進行指數衰減加權，實現偏差-方差權衡下的優勢函數精準估計。相較之下，DeepSeek研發的群體相對策略優化（GRPO）實現了三大范式突破：其一，摒棄價值函數估計模塊，通過策略網絡直接生成多組候選動作序列；其二，創新性地構建群體相對優勢評估體系，利用同批次采樣輸出的獎勵分布統計量（均值μ與標準差σ）進行動態標準化處理；其三，采用隱式優勢歸一化技術，將傳統基于絕對值的優勢評估轉化為群體內相對排序評估，此舉不僅將計算復雜度降低至線性級別，更通過分布感知機制增強了策略更新的魯棒性。表1從10個關鍵維度對PPO和GRPO進行了詳細對比總結。
從技術演進脈絡分析，GRPO的創新性體現為基于PPO范式的架構重構而非理論顛覆，其技術路徑的連續性表現在兩個維度：其一，繼承策略梯度法的參數空間優化內核，保留策略模型與環境交互的馬爾可夫決策過程建模框架；其二，將PPO的顯式優勢估計-策略更新分離機制，轉化為基于群體采樣的隱式策略評估-改進循環，通過算法組件重組實現計算流重構。盡管該方案因去除價值模型引發"策略退化風險"的技術爭議，但DeepSeek通過三階技術補償機制完成創新閉環：①采用動態過程監督獎勵塑形，在生成長文本時實施多粒度即時反饋；②構建隱式課程學習機制，通過組內輸出質量分布自動調節探索-利用平衡；③設計計算最優性驅動的策略熵約束，在降低方差的同時維持策略多樣性。這種逆向工程創新思維本質上是以大語言模型訓練的現實算力約束為先驗條件，通過結構簡化→計算加速→數據通量提升→策略隱性增強的鏈式反應，在數學定理證明等復雜推理任務中實現百倍級訓練速度提升，驗證了"參數效率優先于架構完備性"的技術假設。
總結：
在生成式AI技術范式重構期，DeepSeek提出的逆向漸進式創新架構開創了系統級優化的新范式：其核心在于以終端場景需求為錨點，逆向重構技術路徑實現效率躍遷。典型技術突破包括——基于低秩緩存重構的多頭潛在注意力（MLA）機制，將KV緩存顯存消耗降低76%的同時維持多粒度語義建模能力；采用動態子模型激活的混合專家架構（MoE），使175B參數模型推理成本降至1/8。這種架構革新不僅驅動DeepSeek V3/R1實現性能-能效雙突破，更引發三重產業變革：催化垂直領域AI原生應用爆發，重構大模型開源與閉源的價值平衡點，倒逼GPU算力市場形成彈性供給體系，最終推動生成式AI從實驗室創新向量產化部署的歷史性跨越。
安擎作為國內專業的AI服務器及定制化方案提供商，從基礎技術出發，探索未來算力發展趨勢，后續安擎將陸續推出DeepSeek時代的生成式人工智能系統架構關鍵技術及解決參考方案分享，內容涉及場景需求定義系統架構、 基于OCS（光電路開關）的GenAI fabric 開放互聯、系統 RAS (可靠性、可用性和可維護性) 和智能調試及根因定位、先進液冷、可持續和可擴展碳優化計算、系統安全，以及電力算力資源調度優化等。歡迎您的及時關注。
公眾號
公網安備 12011402001065號 
