Hugging Face Blog·· 15 小时前精选AI 评分72
PyTorch 2.15 为 MPS 带来 FP8 支持和更快的 LLM 解码
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并把解码、softmax 等算子从 MPSGraph 换成专用 Metal kernel。
推荐理由
在 Mac 上跑本地 LLM 的开发者可以装 2.15 RC 试解码提速,前提是 macOS 15 与 Python 3.11 以上。
来源:Hugging Face Blog · huggingface.co