Kimi K3 技术全景：2.8T 模型的架构、训练与推理系统

2026 年 7 月 27 日，Moonshot AI 公布了 Kimi K3 的最终权重、模型配置和 47 页技术报告。

2.8T 参数是 K3 最醒目的规格。完整技术报告呈现的，则是一套贯通模型规模、长上下文、Agent 训练和部署效率的系统方案：

K3 尝试把超大规模稀疏模型、百万上下文、原生多模态、长程 Agent 和低精度部署，当成同一个系统问题来解决。

这几个目标其实彼此冲突：

• 专家越多，模型容量越大，但路由越难平衡，跨卡通信也越复杂；
• 上下文越长，模型能处理的任务越完整，但注意力和 KV Cache 的成本会迅速上升；
• 视觉和视频进入预训练后，数据、流水线和激活显存都会进一步膨胀；
• Agent 轨迹越长，强化学习越容易出现慢任务、陈旧轨迹和不可验证奖励；
• 权重精度越低，模型越容易部署，但训练稳定性和量化误差又会恶化。

K3 的主要技术设计，几乎都能放回这组矛盾中理解。本文先搭建一张完整地图，后续文章再分别拆解其中最重要的结构、训练和推理细节。

模型档案

根据最终公开配置和技术报告，K3 的核心规格如下。

证据类型：官方事实。来源为 Kimi K3 官方仓库、Hugging Face 模型卡与配置和技术报告。

K3 的整体设计：四条线最后汇合到一起

把技术报告压缩成一张图，大致可以得到下面这套关系。

文本、图片、视频
  ↓
统一多模态 token 流
  ↓
KDA + Gated MLA + Block AttnRes
  ↓
Stable LatentMoE（896 选 16 + 2 shared）
  ↓
统一 K3 基座
  ├─ 8K → 64K → 256K → 1M 长上下文课程
  └─ 3 个领域 × 3 个 effort → 9 个 RL 专家策略
                    ↓
Multi-Teacher On-Policy Distillation
                    ↓
统一多模态 Agent policy
                    ↓
API 或自部署推理

从 SFT 开始的 MXFP4 / MXFP8 QAT 约束后训练和最终部署

这张图可以从四个层次来读：

1. 注意力系统解决百万上下文的状态成本与检索精度；
2. Stable LatentMoE解决 896 个专家带来的容量、稳定性和负载问题；
3. 原生多模态与 Agent 后训练让模型在视觉和工具环境中持续执行；
4. 量化感知训练与推理系统把最终部署约束提前写入训练过程。

下面分别看这四条线。

图 1：Kimi K3 官方架构图。右侧展示 3×KDA + 1×Gated MLA、Stable LatentMoE 和 Block AttnRes；左上为共享/路由专家结构，左下为 KDA，右下为 MoonViT-V2 输入路径。来源：Kimi K3 Technical Report，Figure 2，第 3 页。

KDA 与 Gated MLA：1M 上下文的结构基础

标准全注意力有两个著名的长上下文问题：计算量随序列长度近似二次增长，KV Cache 又会随 token 数线性增长。直接把它扩到 1M，训练和推理都会非常昂贵。

K3 采用递归注意力与精确注意力交替出现的混合结构：

KDA × 3 → Gated MLA × 1

这个节奏重复到 93 层，最终形成 69 层 KDA 和 24 层 Gated MLA。

KDA：把历史压进固定大小的状态

Kimi Delta Attention 可以看成一种带遗忘门的递归记忆。每个新 token 都会更新一个固定大小的 recurrent state，用它持续汇总历史信息。

它的主要作用是控制长上下文的状态成本：

标准 attention：
历史越长 → KV Cache 持续增长

KDA：
历史越长 → recurrent state 大小基本固定

固定大小的 state 提供的是历史信息的有损摘要，长距离细节会面临压缩误差。周期性出现的 Gated MLA 正是这套结构中的精确检索通道。

Gated MLA：定期进行高保真检索

24 层 Gated MLA 保留了随 token 数增长的 latent KV Cache，让模型周期性地重新访问具体历史位置。它承担的是精确检索能力，弥补 KDA 将历史压缩后可能丢失的细节。

所以二者的分工更接近：

这是一种务实的折中：用大量 KDA 控制成本，再用较少 MLA 保留精确访问能力。

K3 的 KDA 和 MLA 都采用 NoPE。技术报告给出的理由是，KDA 的递归更新本身携带顺序信息；上下文扩展由递归状态和训练课程完成，省去了 RoPE scaling、插值或频率重标定。

“结构支持 1M”和“有效利用 1M”属于两个层次。后者还取决于训练数据、长程依赖构造、检索能力和 Agent 的上下文管理。官方在 BrowseComp 中使用了 300K 触发的 context compaction；完整 1M、关闭 compaction 的设置得分略低。

百万上下文提供容量上限，高质量长程任务仍然依赖上下文组织、压缩与检索策略。

1M 序列的持久状态约为 13.552 GiB/GPU

K3 只有 24 层 MLA 需要为每个 token 保存线性增长的 latent KV。按照公开配置：

24 layers × (512 + 64) dimensions × 1 byte FP8
  = 13,824 bytes/token/GPU

一条总长度为 1,048,576 token 的序列，对应：

13,824 × 1,048,576
  = 13.5 GiB/GPU

这里需要指出一个公开资料中的单位差异：AMD 网页表格的文字写成了 ×2 bytes、BF16，但它同时给出的 14.496 GB 结果以及实际启动参数 --kv_cache_dtype fp8 都对应 ×1 byte；如果按 2 bytes 计算，结果应当翻倍。本文采用“公开配置 + 启动参数 + AMD 最终合计值”能够相互吻合的 FP8 口径，后续显存文章会完整展开这项审计。

再加上约 0.052 GiB 的单序列 KDA 固定状态，持久状态约为 13.552 GiB/GPU。完整显存预算还要覆盖 AttnRes prefill 临时空间、框架 workspace、通信 buffer、CUDA Graph、缓存 checkpoint 和碎片。

13.552 GiB/GPU 说明混合注意力把 1M 序列的持久状态压到了可以工程管理的范围。实际服务能力还要继续计算 prefill TTFT、decode 吞吐、并发和尾延迟，我们会在后续部署文章中单独核算。

Block AttnRes：沿网络深度选择表示

长上下文通常让人想到“从更早的 token 中找信息”。K3 还处理了另一个方向：从更早的网络层中找信息。

普通 Transformer 的残差路径持续累加早期表示，缺少对不同深度来源的显式选择。AttnRes 为当前 token 增加了沿网络深度检索信息的能力。

AttnRes 把此前的层表示作为候选来源，让当前层通过一个小型注意力选择需要读取的深度。K3 每 12 层组成一个 block，维护 embedding、此前 block 和当前 block 的代表状态。

技术报告把这种设计称为 Block AttnRes。相较逐层保存，它把跨层状态规模从近似 O(Ld) 降到 O(Nd)，其中 L 是层数，N 是 block 数。

从功能上看，K3 于是有了两个正交的“检索方向”：

当前 token
  ├─ 沿时间检索：KDA + MLA
  └─ 沿网络深度检索：Block AttnRes
                  ↓
              当前层表示

工程解读：K3 从 K2 的 61 层扩展到 93 层，AttnRes 很可能承担了减少深层信息稀释的任务。报告支持它在整体架构中的作用，但独立大模型消融较少，其边际能力贡献仍然无法量化。

Stable LatentMoE：896 个专家的稳定性设计

K3 的 Stable LatentMoE 围绕三个核心问题展开：

1. 怎样减少每个专家的参数和计算；
2. 怎样避免低精度下的 activation outlier；
3. 怎样让 896 个专家获得均衡训练和均衡负载。

LatentMoE：在更窄的空间里运行路由专家

K3 的主 hidden size 是 7,168，但路由专家在 3,584 维 latent space 中工作。输入先投影到 latent space，经过选中的专家，再投影回完整 hidden width。共享专家则保留完整宽度。

直觉上，这相当于：

公共能力、稳定底座 → full-width shared experts
大规模专门化容量   → narrower routed experts

如果 896 个专家全部按完整宽度构建，参数量、权重带宽和通信压力都会进一步膨胀。latent space 让更多专家共享一套窄维度计算路径，控制每个 routed expert 的成本。

SiTU-GLU：先处理低精度训练中的异常值

极大 MoE 中，连续矩阵乘法和乘性激活很容易产生 activation outlier。对于 MXFP4/MXFP8 训练，少量极端值还会扩大共享 scale 下其他数值的量化误差。

K3 使用 SiTU-GLU，对 gate branch 和 up branch 分别加入平滑的 tanh soft cap：

gate branch: β₁ tanh(x / β₁) sigmoid(x),  β₁ = 4
up branch:   β₂ tanh(x / β₂),             β₂ = 25

两支相乘后，单坐标幅值被限制在 β₁ × β₂ = 100 左右。它在原点附近保持接近原始 GLU 的行为，在大值区域平滑饱和，从而保留连续梯度。

Routed-branch RMSNorm：控制专家聚合后的尺度

不同 token 会选择不同专家，不同专家的输出尺度也可能不同。K3 在 routed expert 聚合后、投影回完整宽度前增加 RMSNorm，以降低路由组合变化带来的尺度漂移。

Quantile Balancing：用目标分位数校准专家负载

MoE 路由失衡会同时影响训练质量和系统效率。某些专家过热会产生 straggler，让整个 expert-parallel group 等待最慢的 rank；长期冷门专家则得不到充分训练。

Quantile Balancing 通过 expert bias 影响 Top-k 选择；最终 mixture weight 仍由原始 router score 计算。QB 根据 router-score margin 的目标分位数求出 bias 调整量，替代对固定更新步长的敏感调参。

因为全局 margin 数据量很大，系统按专家建立 1,000-bin histogram，再通过一次整数 all-reduce 近似目标分位点。技术报告称，其通信量低于直接传输原始 margin 的 1%，最终负载接近完全平衡。

图 2：Quantile Balancing 示例。左侧初始负载为 (4, 3, 1, 0)，中间按每个专家的 margin 分位点校准 bias，右侧得到 (2, 2, 2, 2) 的目标负载；红线表示发生变化的路由。来源：Kimi K3 Technical Report，Figure 5，第 8 页。

证据类型：QB 的公式与实现描述属于 官方事实；“在最终规模上实现的收益”仍主要是 团队实验，尚缺独立复现。

把这些设计放在一起，Stable LatentMoE 才是完整的：

更窄的 routed latent space
  + SiTU-GLU 抑制异常值
  + routed-branch RMSNorm 稳定输出尺度
  + Quantile Balancing 平衡专家负载
  + MoonEP 在系统层动态复制热点专家

这也是我认为 K3 架构部分最重要的启示：超稀疏 MoE 的稳定性由数值、路由、通信和调度共同决定。

优化器侧还有一项容易被“896 专家”遮住的设计：Per-Head Muon。K3 延续 K2 使用的 Muon，并把完整 Q/K/V momentum matrix 按 attention head 切成更窄的 block，分别执行 Newton–Schulz 正交化。这样可以降低大尺度 head 主导共享更新方向的风险，同时减少正交化开销。报告称它改善了大规模训练稳定性并略微降低 optimizer overhead；独立大模型消融较少，因此本文把它归为 团队实验，confidence: medium。

原生多模态：把视觉纳入统一 Agent Policy

K3 使用约 401M 参数的 MoonViT-V2。技术报告称，MoonViT-V2 从零开始训练，并从预训练起就和语言模型共享 next-token prediction 目标。这是一条端到端联合训练路线。

图片和视频共用视觉参数：帧内执行 spatial attention，帧间执行 temporal attention，再通过 temporal pooling 和 2×2 pixel shuffle 压缩视觉 token。公开配置显示视觉编码器为 27 层、12 个 attention heads、patch size 14。

Moonshot 团队也尝试过用 SigLIP 初始化。报告展示的实验结论是：从零训练的视觉塔梯度范数更平稳、spike 更少，最终视觉能力与 SigLIP 初始化大致相当。

图 3：视觉塔梯度范数对比。蓝线为 SigLIP 初始化的 MoonViT-3D，红线为从零训练的 MoonViT-V2；团队实验显示后者整体梯度更低、spike 更少。来源：Kimi K3 Technical Report，Figure 6，第 9 页。

这项结论属于 团队实验：报告提供了梯度曲线，但完整视觉评测表、方差和训练成本对照仍然缺失。其设计目标指向统一的多模态 Agent policy，让同一个 backbone 处理：

• 网页和桌面截图；
• PDF、图表和电子表格；
• 游戏、CAD、3D 和视觉反馈；
• 视频和跨帧事件；
• 视觉信息与终端、浏览器、代码工具的交替输入。

在这套设计中，视觉直接成为 Agent 的环境状态，并参与工具选择、行动和结果验证。

模型卡的规格表把公开自部署模态写为 Text、Image，而官方介绍和技术报告同时讨论视频能力。保守的工程表述应当是：K3 的训练与官方产品包含视频路径，当前公开 Hugging Face 使用入口主要以 image-text-to-text 呈现；具体自部署视频预处理和服务兼容性需要按推理引擎验证。

8K→64K→256K→1M 的上下文课程

把全部预训练都放在 1M 长度上，计算利用率和训练成本都会非常糟糕。K3 采用了分阶段上下文课程：

预训练早期 8K
  → 预训练后期 64K
  → Cooldown 256K
  → Cooldown 1M
  → SFT / RL 长轨迹与工具环境

团队对长文档和视频执行去重、质量过滤和结构验证，也构造需要跨越整段上下文才能回答的合成长程任务。训练先学习一般 token 统计和基础能力，再把最昂贵的 256K、1M 阶段集中到 cooldown。

四个阶段把不同训练目标放到相应的计算预算中：

• 8K、64K：建立主体语言、多模态和知识能力；
• 256K、1M：适应超长状态、长距离依赖和检索；
• SFT、RL：把长上下文变成长 Agent 的可执行轨迹。

公开证据可以确认 K3 采用了 8K→64K→256K→1M 的训练路径。每个阶段的 token 数、步数、采样比例和 loss 曲线尚未披露，1M 长度上的生产可靠性仍需按 workload 验证。

后训练：9 个专长策略的分化与合并

K3 的后训练主线可以概括为：

SFT cold start
    ↓
3 个任务领域 × 3 个 reasoning effort
    ↓
9 个 RL 专家策略
    ↓
Multi-Teacher On-Policy Distillation
    ↓
一个统一 K3 policy

三个任务领域分别是：

1. General Tasks：通用推理、视觉、搜索和知识工作；
2. General Agents：长任务、深度研究和复杂内容生产；
3. Coding Agents：软件工程、kernel、网页和工具型编程。

每个领域再训练 low / high / max 三档 reasoning effort。

图 4：随着 RL FLOPs 增长，团队报告的 coding、工具使用、网页开发、搜索、专业工作流、办公交付、图表理解和视觉任务整体改善，平均 assistant steps 也随之变化。该图没有公开 FLOPs 与分数的数值刻度，适合用于观察趋势，不能作为可复现的定量 scaling law。来源：Kimi K3 Technical Report，Figure 8，第 13 页。

Reasoning effort：训练出来的预算策略

K3 直接训练 low、high 和 max 三档预算策略。cold-start policy 先估计每道题的初始 token budget b₀(x)；轨迹长度超过 τ × b₀(x) 时，任务 reward 被置为 -1。逐步减小 τ，便得到 high 和 low effort 策略。

这意味着 reasoning effort 同时优化两个目标：

• 在更小 token 预算下尽量保留任务成功率；
• 让使用者能够显式选择能力、延迟和输出长度之间的平衡。

它是一种 policy-level 的计算预算控制，最终通过 API 中的 reasoning_effort 暴露给使用者。

九个策略的分工与合并

把 coding、视觉、知识工作、通用 Agent 和三档思考预算全部混在一次 RL 中，容易发生梯度冲突：擅长长推理的更新可能伤害低延迟策略，coding reward 也可能把模型推向不利于其他任务的局部最优。

K3 先让 9 个 expert policy 分别优化，再用 Multi-Teacher On-Policy Distillation 合并成一个 student。蒸馏奖励按 token 使用截断后的 teacher/student log-prob ratio，再和 RL、partial rollout 结合。

工程解读：这套路线先寻找多个 policy 的局部最优，再进行策略层合并。它是 K3 后训练中最值得继续追踪的部分之一。当前缺失的 rollout 数、超参数、合并前后能力变化和训练成本，限制了外部复现。

AgentENV：长程 Agent 的环境与调度系统

参数规模和 RL 算法是模型能力中最显性的部分，任务环境则决定了长程执行能否形成可扩展、可验证的训练闭环。

团队把工具接口、prompt、context management、skills、memory 和 subagent 设计成可配置模块，可以实例化不同 Agent harness。训练任务覆盖：

• web research、法律、投行和数据分析；
• CUDA、Triton、CuTe 等 kernel 优化；
• mock Gmail、Notion、Slack 等个人助理环境；
• 网页、游戏、SVG、3D、WebGL 和 full-stack 开发；
• 由初始状态、目标、工具、预算和 verifier 定义的自主执行任务。

对可以程序验证的任务，奖励直接依据最终环境状态。Kernel 任务先通过 correctness gate，再比较性能；系统还专门检测 CUDA Graph replay、缓存输入和降低精度等 reward hacking。

长 Agent 训练还会遇到一个朴素但严重的问题：绝大多数时间都在等待工具返回。如果 GPU 一直等最慢轨迹，RL 利用率会很低。

K3 使用 partial rollout：当同组轨迹达到一定完成比例后，先暂停未完成任务，把已经完成的样本送去训练；未完成轨迹进入队列，后续再继续。这会引入 stale policy 数据，团队再通过 per-token regularization 限制策略漂移。

AgentENV 则使用 Firecracker microVM 管理这些环境。技术报告披露：

• checkpoint 约 133 ms；
• resume 约 49 ms；
• 某些 Agent 生命周期约 98% 在等待；
• 内存 overcommit 最高 6.5×；
• 训练与评测累计创建 51,219,741 个 sandbox 和 1,505,678 个 image。

这些数字属于 团队基础设施统计，统计口径是 sandbox 和 image 的创建量，与训练样本数、独立 RL 轨迹数不同。它们清楚地说明：

长程 Agent 训练正在进入环境规模、结果验证和轨迹生命周期管理共同决定效率的阶段。

Deployment-aware training：从 SFT 开始适应部署精度

对一个 2.78T 模型，训练完再决定如何量化，风险太高。K3 从 SFT 阶段开始执行量化感知训练：

• 路由专家权重使用 MXFP4；
• 路由专家输入使用 MXFP8；
• attention、共享专家、dense MLP、视觉塔、投影器和输出头等关键模块保留更高精度；
• rollout 和训练尽量使用与最终推理一致的量化方案。

这让 policy 在低精度误差存在的情况下继续完成 SFT 和 RL，减少“高精度模型训练很好，部署量化后突然掉点”的 train–serve mismatch。

最终公开配置也反映了这种混合精度取舍：MXFP4 主要用于体量最大的 routed expert Linear，多个关键模块被明确列入量化 ignore 列表。约 1.56 TB 的检查点由 MXFP4 权重、高精度参数、量化 scale、元数据和张量布局共同构成。

8×288GB 节点的装载账

AMD 按实际 tensor placement 计算的 text-only TP8 结果为：

来源：AMD 的 K3 MI355X Day-0 分析。

剩余显存还要容纳 Grouped GEMM、KDA/attention workspace、通信 buffer、CUDA Graph、重排权重和框架碎片。AMD 当前公开验证范围是 16K、max-num-seqs=64 的 correctness profile；满 1M 并发仍属于待测项目。

公开 Day-0 材料中，vLLM 把 8×B300 列为最小 NVIDIA 路线，并支持在 GB300 NVL72 中使用 TP8/TP16；B200 路线需要 16 卡。AMD 则验证了 8×MI355X 的 TP8 装载和基础正确性。这些属于 官方框架/厂商支持事实；生产吞吐、尾延迟和稳定性需要更完整的实测。vLLM Day-0 支持说明

MTP、公开主配置与 DSpark 的 artifact 对照

技术报告写到 1 层 MTP，并描述了后训练阶段按 speculative acceptance 优化的 EAGLE-3 风格 draft。但当前公开主模型配置中：

num_nextn_predict_layers = 0

vLLM 展示的高速 speculative 路线使用 Inferact 另外发布的 4B DSpark draft model。三项公开信息对应不同 artifact：

• K3 技术报告：原生 MTP/EAGLE-3 训练方案；
• 当前公开主配置：num_nextn_predict_layers = 0；
• vLLM speculative 路线：独立的 4B DSpark draft model。

部署评估应分别核对技术报告、公开权重和 serving recipe，明确每项加速能力对应的实际 artifact。

公开评测呈现的能力结构

官方模型卡给出了大量推理、coding、Agent 和视觉测试。在团队表中，K3 的强项主要集中于：

• 长程软件工程和终端任务；
• 多步骤工具编排；
• 深度研究和知识工作；
• 文档、图表、视觉与视频理解；
• 需要持续较长执行链的 Agent 任务。

例如官方报告中的 K3 max 成绩包括 DeepSWE 67.5、Terminal-Bench 2.1 88.3、FrontierSWE 81.2、SWE-Marathon 42.0、AutomationBench 30.8 和 OmniDocBench 91.1。

这些成绩受以下变量影响，更适合用于判断能力分布：

• K3、GPT、Claude、GLM 可能使用不同 Agent harness；
• 有的对手取多个 harness 中最好成绩，有的固定一个；
• 部分 benchmark 为团队内部评测；
• 不同模型的 reasoning effort、fallback 和 refusal 条件不同；
• context compaction、工具集合和最大轮数会改变 Agent 结果。

因此，官方表能够呈现模型的强项分布；架构组件的边际收益仍需消融实验回答。

截至 2026-07-28，Artificial Analysis v4.1 给 K3 的 Intelligence Index 为约 57，并把它放在大型开放权重模型的第一档。这项 第三方评测 支持“K3 已经进入开放权重能力上限”的判断；结论范围限于该评测体系。

我的当前判断是：

K3 在长程 coding、工具使用、知识工作和多模态任务上的成组表现，构成了当前最有价值的能力信号。

这和它在架构及后训练上的投入方向是相互一致的。

技术报告的披露价值与证据边界

K3 的技术报告在方法层面披露很多。Stable LatentMoE、QB、SiTU-GLU、长上下文课程、九策略合并、reasoning-budget RL、AgentENV、FlashKDA、MoonEP 和 QAT 都给出了足够具体的设计动机。

训练复现仍受到以下信息缺口限制：

• 总预训练 token；
• 文本、代码、数学、知识、图片和视频的具体比例；
• 数据集清单、授权情况和数据截止日；
• 主要语言分布与合成数据占比；
• global batch、micro batch、peak/min learning rate；
• 各训练阶段步数和 token 占比；
• 训练 GPU 型号、数量、GPU-hours、wall time、能耗和故障率；
• SFT 数据量、RL rollout 数、reward model 规模与人类一致性；
• 足以拆分各个组件贡献的完整大模型消融。

这会直接限制我们能够得出的结论。

官方所说的约 2.5× overall scaling efficiency，来自 K2 与 K3 系列在 held-out validation loss 上的整体 scaling curve，架构、数据、优化器、batch 和模型形状都同时发生了变化。它描述的是整体 scaling curve 的移动；直接外推训练成本或推理速度会造成口径错误。

我对 K3 的核心技术判断

如果只用一句话评价 K3，我会说：

K3 展示了一条面向 3T 级、百万上下文、原生多模态 Agent 模型，从架构、训练延伸到推理系统的完整技术路线。

其中最值得继续追踪的是四组组合关系。

第一组：KDA + MLA + AttnRes

KDA 控制长程状态成本，MLA 保留精确历史检索，AttnRes 再让模型选择不同深度的表示。它们共同解决的是“更长、更深之后，信息怎样留下来并在需要时重新被找到”。

第二组：LatentMoE + 数值稳定 + 路由平衡

latent projection、SiTU-GLU、RMSNorm、QB 和 MoonEP 共同支撑 896 个专家的稀疏容量，并控制数值、路由和系统负载。

第三组：原生多模态 + 可验证 Agent 环境

视觉成为 Agent 环境的一部分；RL 则验证终端、网页、文档和软件环境的最终状态。

第四组：QAT + reasoning budget + speculative path

模型在训练期就面对低精度误差、token 预算和推理加速约束。它们共同解决的是“如何把能力变成一个最终能够运行的系统”，虽然公开 MTP artifact 目前仍存在需要澄清的差异。

K3 当前的主要不确定性集中在训练账本透明度、1M 真实负载、首日推理栈成熟度和 Agent harness 可比性。与此同时，它已经提供了一套相当完整的技术样本，呈现出架构、数据、环境、训练系统和 serving 的联合优化方向。

这也是后续系列最值得展开的主线。

后续文章

接下来计划沿着以下顺序继续：

1. 百万上下文的真实代价：KDA、MLA、NoPE、AttnRes、KV Cache 与 prefix cache 如何共同工作；
2. 896 个专家怎样稳定训练：Stable LatentMoE、SiTU-GLU、Quantile Balancing、Per-Head Muon 与 MoonEP；
3. 8×B300 / 8×MI355X 部署账本：权重、KV、KDA state、workspace、上下文和并发如何逐项核算；
4. K3 的推理加速路线：MTP、EAGLE-3、4B DSpark、speculative decoding 与 prefill/decode 分离；
5. 从基础模型到长程 Agent：原生多模态、9 个 RL 专家、MOPD、reasoning budget、partial rollout 与 AgentENV；
6. K3 当前处在什么位置：结合公开能力、部署成熟度和同口径证据，与 GLM-5.2、DeepSeek-V4 及后续模型比较。

下一篇先从百万上下文开始。因为只有把状态和显存账算清楚，才能真正理解 KDA/MLA 为什么这样组合，也才能回答“1M context”究竟是一项模型能力，还是一个昂贵的规格数字。

主要公开来源

• Kimi K3 官方仓库与模型卡：最终规格、官方评测、使用方式与部署入口。
• Kimi K3 Technical Report：架构、预训练、后训练、Agent 环境和训练基础设施。
• Kimi K3 Hugging Face：最终配置、权重文件、自定义模型代码和量化格式。
• vLLM K3 Day-0 Support：最小部署拓扑、KDA/MLA cache、DSpark 与首日推理数据。
• AMD：Kimi K3 on MI355X：TP8 权重 placement、HBM 账本和 16K correctness 配置。
• FlashKDA：公开 KDA kernel 与 context parallelism 实现。
• MoonEP：动态冗余专家和 expert-parallel 负载平衡实现。
• Artificial Analysis：Kimi K3：截至本文证据日期的第三方能力与服务测量。