贾斯汀·比伯复出演出翻车“搪塞体现”遭粉丝痛批
DeepSeek 宣布 V4 预览版 ，同步开源 。通告里有一句话：" 从现在最先 ，1M（一百万）上下文将是 DeepSeek 所有官方服务的标配 。"OpenAI 和 Google 早就支持超长上下文了 。问题是本钱 。Transformer 注重力机制的盘算量随序列长度平方增添——序列翻倍 ，算力变四倍——处置惩罚 100 万 token 在古板架构下险些无法商业化 。手艺报告给出了这次架构改动的幅度：在1M token 场景下 ，V4-Pro 的单 token 推理 FLOPs 只有 V3.2 的 27% ，KV 缓存用量只有 10% 。 两把刀标准 Transformer 的自注重力 ，要让每个 token 跟序列里所有其他 token 算相关性权重 。这是平方重漂后 ，结构性的 ，不是工程调优能解决的 。已往的应对方法概略分两类：要么切掉盘算规模（滑动窗口只看局部邻人 ，全局感知随之消逝） ，要么绕开长文本自己（RAG 先检索再喂给模子 ，检索质量成为新的上限） �Ｉ杏欣慰肯：弊⒅亓� ，人工设计希罕模式来跳过部分盘算 ，但模式是死的 ，差别使命的信息漫衍差别大 ，泛化能力有限 。V4 的计划是 CSA + HCA 混淆注重力架构 。CSA（Compressed Sparse Attention）解决的是 " 算什么 " 。用轻量级索引器先对所有 token 对做粗筛 ，快速估算相关性排序 ，再精选出需要完整盘算的 token 荟萃 。要害在于这套希罕结构是可训练的——模子在训练历程中自己学出那里需要高密度注重力 ，那里可以希罕 。V3.2 时代的 DSA 是雏形 ，V4 在此基础上做了进一步演化 。HCA（Heavily Compressed Attention）解决的是 " 存什么 " 。在 V3 时代 MLA（Multi-head Latent Attention）的基础上继续推进 ，把 KV 向量映射到低维潜空间 ，推理时解压 。叠上 FP4+FP8 混淆精度—— MoE 专家参数用 FP4 ，其余用 FP8 —— KV 缓存的显存占用再砍一半 。两者叠加的效果 ，直接体现在那两个数字：27% 的 FLOPs ，10% 的 KV 缓存 �；凰愎� ，一律算力下能服务的长上下文并发量约莫是原来的 3 到 4 倍 。手艺报告里尚有两个细节值得记一下 。mHC（Manifold-Constrained Hyper-Connections）对残差毗连做了流形约束强化 ，针对的是 1.6T 参数超深度模子训练时跨层信号衰减的问题 。Muon 优化器替换了 Adam 系列 ，基于矩阵正交化更新 ，在超大规模训练里收敛更快 ，更稳固—— Adam 在大模子训练里险些是默认设置 ，DeepSeek 这次换掉了它 。 数字官方给出了与 Claude Opus 4.6、GPT-5.4 xHigh、Gemini 3.1 Pro High 的全维度横评 。数学和竞赛推理是 V4-Pro 体现最突出的维度 。Codeforces 评分 3206 ，四家最高（GPT-5.4 是 3168 ，Gemini 和 V4-Flash 都是 3052） 。Apex Shortlist 90.2 ，凌驾 Opus 4.6（85.9）、GPT-5.4（78.1）、Gemini（89.1） 。IMOAnswerBench 89.8 ，仅次于 GPT-5.4（91.4） 。Agent 能力上 ，SWE Verified 80.6 ，Opus 4.6 是 80.8 。Toolathlon 51.8 ，Opus 4.6 是 47.2 ，GPT-5.4 是 54.6 。通告里有一句内部评价：V4 已成为员工 Agentic Coding 的主力模子 ，" 使用体验优于 Sonnet 4.5 ，交付质量靠近 Opus 4.6 非思索模式 " 。长上下文测评有两个数字要比照着看：MRCR 1M（长文本要害信息检索）83.5 ，Gemini 是 76.3 ，Opus 4.6 是 92.9 。CorpusQA 1M（长文档精准问答）62.0 ，Opus 4.6 是 71.7 。MRCR 着重检测要害信息是否保存 ，CorpusQA 要在百万 token 里精准定位并综合剖析——两个测评的分解放在一起 ，说明的工具自然清晰 。综合知识和科学前沿推理：SimpleQA-Verified 57.9 ，Gemini 是 75.6 。HLE（前沿科学推理超难题集）37.7 ，四家里最低 。V4-Flash：284B 总参数 ，13B 激活 ，约为 Pro 版 18% 的体量 ，同样支持 1M 上下文和 Think/Think Max 推理模式 。官方说简朴 Agent 使命上与 Pro" 旗鼓相当 " 。DeepSeek 把这次宣布叫 " 预览版 " ，手艺报告问题里写的是 "Towards" ——朝向 ，还在路上 。CSA 和 HCA 的设计逻辑今天已经果真 ，希罕训练机制在差别使命漫衍下怎么体现 ，是接下来开源社区会告诉我们的事 。数据泉源：DeepSeek 官方通告《DeepSeek-V4 预览版：迈入百万上下文普惠时代》（2026 年 4 月 24 日）；手艺报告 DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence