AI Infra Roadmap
AI Infra 面试准备

系统学习 AI Infra
多卡训练 · 推理框架 · 量化

一份由浅入深的 10 周路线:先学会“算账”,再依次攻克并行训练、推理 serving 与量化,最后做专题和面试冲刺。每个知识点都可以打勾,进度保存在你的浏览器里。

0%总进度
Roadmap

学习路线

6 个阶段、10 周。按每天 2–3 小时估算;已经熟悉的阶段可以压缩。点击时间轴或标签切换阶段。

Visual Guide

系统图解

把最常被追问的几个概念画出来:每种并行切了什么、多维并行怎么排进集群、一个推理请求经过哪些环节、PagedAttention 怎么管理显存,以及为什么 decode 受带宽限制。

并行策略对比

Ψ 为参数量,N 为并行度;通信量为每卡每步的近似值。

DeviceMesh:多维并行如何映射到集群

悬停某张卡,查看它所在的 TP / DP / PP 组。

一个推理请求的生命周期

点击各环节查看细节。

PagedAttention:分页管理 KV cache

两个请求共享系统提示词的前缀块;块大小为 4 个 token。

Roofline:decode 为什么受带宽限制

8192 × 8192 线性层,B 个 token 同时计算。

Napkin Math

算账工具

面试中最常见的四类估算。公式都是简化版,用来练习数量级判断;实际值还要加上框架开销与碎片。

Quantization

量化图解

数值格式、块尺度、方法地图,以及推理量化与训练量化在算法上的根本区别。

数值格式的位布局

符号指数尾数整数(补码)

FP4 E2M1 与 INT4 的取值网格

都是 4 bit,但 FP4 的可表示值在 0 附近更密、在大值处更稀;INT4 按最大值 6 等比缩放后是均匀网格。

块尺度格式

方法地图

按权重与激活位宽归类,点击方法名在论文库中搜索。

推理量化 vs 训练量化

推理追求“这一次前向算得准”,训练追求“几万步下来整体不偏”。

Paper Atlas

量化论文库

按类别(点击筛选)

按发表时间

每季度新增论文数,按分组堆叠。

Interview

面试题库

各阶段自测题与答题要点、手撕代码清单、系统设计题和项目复盘方法。

自测题

手撕代码清单
    系统设计题
      项目深挖:低精度 / 量化项目要讲到系统层面
        项目复盘模板