Reading paths
专题阅读
按工程问题组织文章,从基础概念一路读到实现、性能模型与 trace 证据。 近期专题 4 篇
推理基础:从 Token 到瓶颈
先看一次生成经过哪里,再用物理上限判断优化应该打在哪一层。
4 篇
调度与 Prefill:从服务策略到 Trace
从 batching 与 scheduler 出发,深入 chunked prefill、GDN kernel chunk 和真实 trace 诊断。
5 篇
量化:从数值格式到性能验收
从量化坐标和 CPU 心智模型出发,读到 FP4/FP8 运行时合同、方法评测与算子级执行案例。
3 篇
投机解码:从原理到 DSpark/MTP
先掌握 draft、verify 与接受前缀,再进入 DSpark/MTP 的模型和调度协同。
4 篇
GPU Profiling:从 Trace 到性能证据链
从时间线分解和关键路径开始,建立 Breakdown 归因、真实案例与 Simulation 验证闭环。
5 篇
KV Cache:从内存机制到性能模型
从 KV Cache 与分页基础,读到表示压缩、稀疏访问、hit 计算区域和端到端 TTFT/TPM 建模。
5 篇
Serving Runtime:从 MoE 与并行到框架
从 MoE 数据流与并行切分,读到 kernel 证据、Serving Stack 选型和模拟器合同。