时间线

共 198 篇文章 · 按发布时间倒序

本月发布

2026 年

总数

198

2026

十月

QSA 式稀疏选择、HC 与输出门控：原理和推理成本

沿着历史 token 选择、残差信息流和 Attention 输出，理解三个结构改动及其性能账本。

10/15

AI 系统

DeepSeek V4.1 Flash：从架构到推理成本

拆解 CED、CSA2、Engram 与 DSpark：哪些计算被省下，哪些状态被共享，以及这些变化如何影响 Prefill、Decode 和缓存复用

10/10

AI 系统

Engram：TP 分片与同机 DP 共享的源码研究

沿 vLLM 0.31 NVIDIA 源码区分 Engram 大表、wkv 投影和共享主存，推导容量与查询成本，并设计验证矩阵

10/10

AI 系统

P/D 分离：从 KV 交接到路由、背压与 SLO

固定 Dynamo 1.5.1 与 LMCache 0.5.5，区分控制面和 KV 数据面，分析交接合同、cache routing、过载与公平性能对照

10/10

AI 系统

分层 KV Cache：从 GPU 命中到外部存储复用

用容量、搬运和生命周期解释 GPU—CPU—远端 KV 分层，固定 LMCache 0.5.5 的 MP、lazy offload 与锁定合同

10/10

AI 系统

Engram 预取与 NUMA 放置：从共享页到关键路径

针对双路 x86 与 PCIe GPU，追踪 Engram 共享表的页放置、UVA 查表和串行预取，建立可验证的性能实验

10/10

AI 系统

九月

Kimi K3：架构、训练与推理系统研究

沿一次前向理解 KDA–MLA、AttnRes 与 LatentMoE，再拆解 Prefill、Decode 和混合缓存的真实成本

9/20

AI 系统

八月

Hyperloom Specialist 与配置调优：一个 Agentic 调参系统的源码拆解

拆解 AMD Hyperloom 的 specialist 实现与服务配置调优链路：knob 面、变体指纹、贪心爬山、衰减接受线与单次测量的方法学边界

8/5

AI 系统

vLLM Async Scheduling：三态配置、投机解码与状态提交

沿 vLLM 源码解释 async scheduling 的三态配置、output placeholder、EAGLE/MTP 状态归属，以及 accepted-count 同步如何影响真实重叠

8/5

AI 系统

cmux 一键复刻配置

cmux（Ghostty 内核的 macOS AI 终端）的配色、侧栏、远程 SSH 全套配置，附一次实配过程中踩到的 12 个坑与实测数据。

2026

十月

QSA 式稀疏选择、HC 与输出门控：原理和推理成本

DeepSeek V4.1 Flash：从架构到推理成本

Engram：TP 分片与同机 DP 共享的源码研究

P/D 分离：从 KV 交接到路由、背压与 SLO

分层 KV Cache：从 GPU 命中到外部存储复用

Engram 预取与 NUMA 放置：从共享页到关键路径

九月

Kimi K3：架构、训练与推理系统研究

八月

Hyperloom Specialist 与配置调优：一个 Agentic 调参系统的源码拆解

vLLM Async Scheduling：三态配置、投机解码与状态提交

cmux 一键复刻配置

七月

推理并行：DP、TP、PP、EP 与 CP 怎么选

推理 Kernel / Runtime 优化：少搬、少启、少等

KV Cache Hit Ratio 修正模型：从直觉到统一公式

MoE 推理：Expert Parallelism（EP）、显存与调度

模拟器建模指南：显存与吞吐公式

Token Flow 与 Hidden State：从 Attention 到 LM Head

LLM 推理系统全栈地图

KV Cache：推理性能的命根子

量化：从 Scale 到 W4A8 的完整坐标

从 AVX/AMX 到 Tensor Core：CPU 工程师理解 LLM 量化

FP4/FP8 量化：值域、Scale 与运行时合同

GLM-5.2 量化执行图：W4A8、BMM 与 KV8

量化方法与评测：从 PTQ/QAT 到可复现实验

AMX 指令

Attention 架构演化：从多头注意力（MHA）到 GQA、MLA

从 Profiling 到 Simulation：推理性能分析的证据链方法

Prefill Trace：Worker 供给、DSA/MLA 与 Chunked Prefill

GDN 与 Chunked Prefill：为什么 prepare_chunk_indices 会出现在 trace 里

DeepSeek MLA：低秩 KV Cache 与推理效率

Chunked Prefill 深入分析：调度、Chunk Size 与 Attention 形状

推理框架对比 2026：从 Engine 到 Serving Stack

六月

DeepSeek-V3 Technical Report：中英对照解读

DSpark 与 MTP：DeepSeek 投机解码调研

HTML 交互图测试

Causal Attention：为什么 KV hit 后 Attention 按 1 - h² 缩放

AWP Profiling API

CSA/HCA 注意力：DeepSeek-V4 的混合压缩稀疏机制

五月

Zsh 一键复刻配置

DFS & DFS

DP

Prefix, Presum

Slide Window

Sort

C Pointer

size_t

Makefile

CMake

图片大小控制功能使用指南

VPS and Shadowsocks

VP - HPCA 14

CNN

CVPR Paper

Effective Python

logging

pip

Python Data Struct

Pytest

High-level Function

Python and C/C++

Python Tools

Gavel: Heterogeneity-Aware Cluster Scheduling (OSDI'20)

Agentic Infra：LLM 推理性能优化与 GPU 利用率提升

Agentic AWP：规模化 Profiling 驱动的 GPU 效率 Breakdown 与能力体系

设计模式

2019 新年感悟

日常感悟

2018 bug 日记

Data Struct

四月

01. 什么是 AI 推理

02. Reasoning Model、Agent 与长任务

03. RAG、Memory、Fine-tuning 与 Distillation

GPU Trace 时间分解与通信计算重叠分析