近日,中國電信廣東公司聯合中國電信研究院,在智算網絡領域實現重大技術突破,成功完成Deepseek-671B滿血版長距跨數據中心(DC)分布式無損智算推理網絡的技術驗證。該成果為企業按需擴容算力及推理數據本地化存儲提供了突破性的技術解決方案,標志著中國電信在智算網絡技術創新上邁出關鍵一步。
(中國電信廣東公司跨DC分布式無損智算推理試驗環境)
本次實驗將推理的Prefill任務放在邊緣節點執行,部署少量算力,模擬企業園區數據中心,將推理的Decode任務放在云上,部署更多的算力,云、邊之間通過KV Cache進行協同,有效降低推理服務成本,提升邊緣節點的推理服務體驗。本次實驗基于昇騰PD分離的大EP推理架構,對DeepSeek 671B滿血版模型開展壓力驗證,系統評估了8:1、32:1、64:1三種帶寬收斂比下的運行表現。結果顯示,憑借智算無損網絡低延遲、高吞吐的特性,結合PD分離架構設計,即使在帶寬收斂比64:1、百公里級長距拉遠場景下,TTFT、TPOT、Throughput三個關鍵指標可以達到同DC場景的99%,仍能充分滿足推理服務的SLA要求,既保障遠端算力資源穩定高效支持企業AI推理任務,又嚴格滿足數據不出園區的安全要求。
這一技術突破為企業算力部署模式帶來革命性變革。依托智算無損網絡,企業僅需在園區部署少量算力服務器,結合云端海量的算力資源,即可實現算力資源的靈活調用,有效降低硬件投入成本,突破物理空間限制。而PD分離架構則通過數據與處理分離的創新設計,全方位保障數據在傳輸與處理過程中的安全性,為企業核心數據資產筑牢安全防線。
此次驗證的圓滿成功,不僅彰顯了中國電信在智算網絡領域的技術實力,更為AI技術的普及應用奠定了堅實基礎。未來,中國電信將持續深化與行業伙伴的合作,加速智算網絡技術創新與落地實踐,全力助推企業數字化轉型,為數字經濟高質量發展注入強勁動能。