DeepSeek-R2发布在即！爆料称参数量较R1翻倍 华为昇腾芯片利用率达82%

【DeepSeek-R2发布在即！爆料称参数量较R1翻倍 华为昇腾芯片利用率达82%】近日，有玩家在社交媒体平台爆料了深度求索即将发布的下一代AI大模型DeepSeek-R2的参数信息。据爆料信息，DeepSeek-R2大模型将会采用一种更先进的混合专家模型（MoE），结合了更加智能的门控网络层（Gating Network），以优化高负载推理任务的性能。在MoE架构的加持下，DeepSeek-R2的模型总参数量预计将达到1.2万亿，较之DeepSeek-R1（6710亿参数）提升约1倍。从规模上来看，DeepSeek-R2与ChatGPT的GPT-4 Turbo以及谷歌的Gemini 2.0 Pro相当。
在硬件平台方面，DeepSeek-R2实现了基于华为昇腾910B（Ascend 910B）芯片集群平台的训练方案，在FP16精度下实现了512 PetaFLOPS的计算性能，芯片资源利用率达到82%。根据华为实验室的数据，这一算力大约是英伟达上一代A100训练集群的91%。可能得益于华为昇腾910B训练集群，DeepSeek-R2的单位推理成本较之GPT-4下降了97.4%，DeepSeek-R2的成本约为0.07美元/百万token，而GPT-4则高达0.27美元/百万token。（ZAKER资讯）