在 AWS Trainium 上做系统级性能分析
来自 Hugging Face · 期号 2026-10-22
摘要
很多 ML 从业者知道怎么让模型跑得更快，但不知道怎么分析它为什么慢。这篇教程从零开始，教你在 AWS Trainium 上用 TorchNeuron 做推理性能分析。 先用 NeuronConfig 配置 torch.profiler，捕获 CPU 和 Neuron 设备两端的 trace。然后读 key_averages() 表，按设备时间排序，找出最耗时的操作。再用 Neuron Explorer 把同一个操作从框架分发、运行时调度到硬件执行的全链路看一遍。 教程用 RMSNorm 做了三组对比：手写逐条 PyTorch 算子（2,355 µs）、调用 torch.rms_norm 内置融合算子（403 µs）、以及手写算子加 torch.compile（376 µs）。融合版本大约快 6 倍，省掉的是中间张量的物化和多次分发的开销。 原文附了完整可复现脚本。