DeepSeek R1一周年之际,DeepSeek一个神秘的新模型Model 1悄然在其Github库中现身。

近日,DeepSeek在GitHub上更新FlashMLA代码,一个名为 Model1 的模型引起了网友的注意。Model 1与V32作为不同的模型出现,在新代码的114个文件中有28处提到。

V32指的是DeepSeek-V3.2,而Model 1在代码库中是一个与V32并列且独立的分支,由此可以合理推断出Model1 是 DeepSeek 下一代旗舰模型 DeepSeek-V4 的内部开发代号或首个工程版本。

根据对代码的具体分析,其核心差异在于:

1、架构回归标准化:MLA 的 head_dim 从 V3 的 576 回归到 512 维,可能为更好适配 Blackwell(SM100)并优化 Latent 压缩与算力对齐。

2、面向 Blackwell 深度优化:新增 SM100 专用算子,B200 需 CUDA 12.9;Sparse MLA 在 B200 上已达 350 TFLOPs,H800 上 Dense MLA 达 660 TFLOPs。

3、Token-level Sparse MLA:引入 稀疏/稠密并行解码,KV Cache 用 FP8 存储 + BF16 计算,显著降低长上下文显存与推理成本。

4、新机制增强长上下文:加入 VVPA(Value Vector Position Awareness) 改善位置信息衰减,并配合 Engram 机制进行 KV/存储与吞吐优化。

在X上,也有不少网友纷纷开始猜测,Model1 很可能就是传闻中 DeepSeek 即将在春节前后发布的新模型的代号。

那么,你们觉得这个新模型会是DeepSeek-V4吗?

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐