Roadmap
学习路线
6 个阶段、10 周。按每天 2–3 小时估算;已经熟悉的阶段可以压缩。点击时间轴或标签切换阶段。
Visual Guide
系统图解
把最常被追问的几个概念画出来:每种并行切了什么、多维并行怎么排进集群、一个推理请求经过哪些环节、PagedAttention 怎么管理显存,以及为什么 decode 受带宽限制。
并行策略对比
Ψ 为参数量,N 为并行度;通信量为每卡每步的近似值。
DeviceMesh:多维并行如何映射到集群
悬停某张卡,查看它所在的 TP / DP / PP 组。
一个推理请求的生命周期
点击各环节查看细节。
PagedAttention:分页管理 KV cache
两个请求共享系统提示词的前缀块;块大小为 4 个 token。
Roofline:decode 为什么受带宽限制
8192 × 8192 线性层,B 个 token 同时计算。
Napkin Math
算账工具
面试中最常见的四类估算。公式都是简化版,用来练习数量级判断;实际值还要加上框架开销与碎片。
Quantization
量化图解
数值格式、块尺度、方法地图,以及推理量化与训练量化在算法上的根本区别。
数值格式的位布局
符号指数尾数整数(补码)
FP4 E2M1 与 INT4 的取值网格
都是 4 bit,但 FP4 的可表示值在 0 附近更密、在大值处更稀;INT4 按最大值 6 等比缩放后是均匀网格。
块尺度格式
方法地图
按权重与激活位宽归类,点击方法名在论文库中搜索。
推理量化 vs 训练量化
推理追求“这一次前向算得准”,训练追求“几万步下来整体不偏”。
Paper Atlas
量化论文库
按类别(点击筛选)
按发表时间
每季度新增论文数,按分组堆叠。
Interview
面试题库
各阶段自测题与答题要点、手撕代码清单、系统设计题和项目复盘方法。
自测题
手撕代码清单
系统设计题
项目深挖:低精度 / 量化项目要讲到系统层面
项目复盘模板