最近大火的Deepseek，虽然在某些方面测试取得了不错的成绩，但在相关技术人员看来，也没有太多的理论创新，全局上了说都是在做工程创新，这种创新和遥遥领先的创新之道很类似，基本上是持续集成前沿科学成果，在实施上作局部工程和工艺优化，然后给消费者呈现一个变脸的不一样，从而满足某种高大上的虚荣心。
当然话说回来世界那有那么多新东西，在理解的基础上，变个法子也是一种表现式创新。那么Deepseek到底做了哪些工程和技术集成创新？
1、核心架构还是基于Transformer，工程设计上进行了创新和工艺提升, 实现效率优化。架构上, 采用了混合专家模型 (MoE)、多头潜注意力 (MLA)、多令牌预测 (MTP)、长链式推理 (CoT)、DualPipe 算法等设计, 并进行了依赖强化学习 (RL) 而不加入监督微调 (SFT) 的训练尝试。工程上, 在数据精度 (FP8 混合精度)、底层通信等方面进行了优化。这些都是业界已有的技术，但Deepseek做到了理论应用和工程上的平衡。
2、开发了高效的通信内核, 优化内部数据传输速度, 保证数据传输效率, 并能支持大规模部署，这为训练成本的优化至关重要。
3、所用语料的标注应该更加精准，估计，这不是某一家标注外包提供的，数学类的问答，深度推理还远远不足。
4、亲自测试的几个数学问题，复杂问题，只具备基本计算能力，不具备，深度推理及验算能力，问几个迷惑性的逻辑问题，答案会有明显错误。
0
