课程使用与本地运行
32节中文课程,覆盖Transformer、nano-vllm、vLLM与DeepInfer。46张图解、交互算例与可本地运行的实验,把公式、张量形状和真实源码连起来。
在线学习
从第15课补齐Transformer基础,配合逐元素维度图解;再按首页路线阅读推理框架。浏览器中的练习和自评无需账号,记录仅保存在当前浏览器,不会上传服务器。
下载完整课程
下载整个课程ZIP,或使用Git:
git clone https://github.com/Diomchen/Diomchen.github.io.git ~/vllm-learn
cd ~/vllm-learn
python3 labs/dimension_lab.py
python3 labs/scheduler_sim.py这两个实验只用Python标准库。scheduler与GPU报告生成还依赖assets目录,因此应下载完整课程,不能只下载单独的.py文件。
本地浏览
直接打开index.html即可;也可以在课程根目录运行:
python3 -m http.server 8000浏览器访问 http://localhost:8000 。CPU数值实验需要NumPy;GPU实验另需适配设备的CUDA PyTorch。具体命令见本地实验台和实验手册。
需要完整源码时:获取课程固定提交
在线摘录已包含关键行,完整上游仓库未打包到网站。按需选择下面相应仓库;命令在课程根目录执行,目标目录应尚不存在。完整克隆可能较大,仅读在线摘录无需执行。
mkdir -p vendor
git clone https://github.com/GeeeekExplorer/nano-vllm.git vendor/nano-vllm
git -C vendor/nano-vllm checkout --detach bb823b3e06983d71485a8e1f23715ebd87d98ef8
git clone https://github.com/vllm-project/vllm.git vendor/vllm
git -C vendor/vllm checkout --detach ef9339e64d458b10ab49b2c9af35645eff6388fd
git clone https://github.com/deepseek-ai/DeepInfer.git vendor/deepinfer
git -C vendor/deepinfer checkout --detach a679bb86ce36e883a98a97733492b686e5b9a08e
vendor目录按Git忽略规则留在本地。源码版本与行号以证据索引为准;课程没有声称这些是最新版。
实验与验证边界
课程参考硬件是RTX4070 Ti 12GB、64GB内存和WSL Ubuntu。标准库模拟和CPU数值实验已验证;GPU合成实验脚本已提供,尚无实测性能结论。DeepInfer部分围绕固定源码阅读和CPU算例展开,不能将模拟结果当成真实引擎吞吐。
反馈与归属
发现问题可到GitHub Issues提供课程编号、公式或源码位置和复现步骤。第三方代码的版权和许可证见归属说明。