OLE777

DeepSeek-V4-Pro，，，，，，一款1.6万亿参数级MoE开源旗舰模子，，，，，，接纳了CSA+HCA混淆希罕注重力、mHC毗连等新机制。。。。。相比于上一代DeepSeek-V3/R1，，，，，，它对国产训练框架提出了全方位的“极限挑战”。。。。。

经由团结攻关，，，，，，项目已基于千卡级昇腾 910C 国产算力集群，，，，，，乐成实现DeepSeek-V4-Pro在国产算力集群上的全参数后训练稳固运行。。。。。

与此同时，，，，，，DeepSeek-V4-Flash的全参数续训练与SFT链路也已同步买通。。。。。

本次攻关面向DeepSeek-V4-Pro全参数后训练，，，，，，而非LoRA等少量参数微调。。。。。团结团队在以下三个层面实现了系统性突破：

为了磨练DeepSeek-V4在昇腾集群上举行全参数后训练的真实价值，，，，，，项目设计了一项“硬核”实验：增强盛模子的数学建模能力。。。。。

团队搭建了一条SFT建模数据生产workflow，，，，，，产出3000条高质量数学建模使命SFT样本，，，，，，笼罩4类目的使命和3种问题形态。。。。。随后，，，，，，对DeepSeek-V4举行后训练。。。。。

训练曲线给出了清晰的信号：

训练曲线给出了清晰的信号：

本次攻关的另一个奇异价值，，，，，，在于它是一次人才作育模式的范式实验。。。。。

深圳河套学院将万亿级模子训练攻关作为“练兵场”，，，，，，把学生直接嵌入国产算力真实训练场景。。。。。阻止现在，，，，，，项目已作育学生42名，，，，，，形成了由青年西席指导、博士生焦点攻坚、工程团队支持的协同作育机制。。。。。

在这一历程中，，，，，，同砚们不但是加入项目希望，，，，，，更是肩负详细使命的“战斗员”：有的认真训练数据结构与样实质量剖析，，，，，，有的认真漫衍式并行战略验证，，，，，，有的跟进长稳监控与异常；；；；；；指矗，，，，有的撰写手艺报告与工程文档。。。。。

一次训练启动、一次报错定位、一次参数调解、一次效果复盘——在这些真实而噜苏的工程实践中，，，，，，学生们从“会挪用大模子”真正走向了“明确并加入训练大模子”。。。。。

能力提升体现在三个方面：

后续，，，，，，这些真实使命将沉淀为课程案例、实训资源和学生科研项目，，，，，，将一连支持深圳河套学院作育“懂模子、懂系统、能工程、敢攻关”的高水平复合型AI人才。。。。。

下一阶段，，，，，，深圳河套学院将继续团结哈尔滨工业大学（深圳）、深圳市大数据研究院、华为GTS(全球手艺效劳)、盘算产品线、2012实验室、深智城等相助同伴，，，，，，在现有全参数续训练/SFT链路基础上，，，，，，重点推进三项使命：

在此基础上，，，，，，项目还将依托这一训练。。。。。，，，，开展新一代通用人工智能的基础理论、新范式和新架构的研究——包括符号、毗连与行为主义有机融合，，，，，，从简单智能体到群体智能再到人机融合的建模探索。。。。。

DeepSeek-V4-Pro在国产算力上的全参数后训练，，，，，，不是一次伶仃的工程突破。。。。。

它验证了一条蹊径：国产开源旗舰模子 + 国产AI算力 + 高水平训练团队 + 国产厂商手艺支持——这个四角闭环，，，，，，是可一连的、可复制的、可信托的。。。。。

它发出了一声宣告：国产AI基础设施，，，，，，从今天起，，，，，，不再只是“能推理”，，，，，，而是真正“能训练、能训稳、能训优”。。。。。

更主要的是，，，，，，它点燃了一个希望：在下一代通用人工智能的征途上，，，，，，中国的高校、科研机构和年轻学子，，，，，，可以站在自己的算力土壤上，，，，，，开展人工智能的研究，，，，，，亲手训练属于自己的万亿模子。。。。。

这不是终点，，，，，，而是发令枪。。。。。

?项目后续将逐步开源手艺报告、训练设置与评测剧本，，，，，，敬请关注深圳河套学院官方宣布。。。。。

版权声明：本文转载自深圳河套学院官方公众号，，，，，，仅用于行业资讯交流与手艺分享，，，，，，不代表本公司立。。。。。，，，，不必于任何商业用途。。。。。版权归原作者及原出地方有，，，，，，若有侵权，，，，，，请联系OLE777实时删除。。。。。