跳到正文
原文
Hugging Face Blog·· 29 天前AI 评分58

Transformers 支持直接运行 llama.cpp 的 GGUF 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 的 transformers 现在可以直接加载并运行 llama.cpp 的 GGUF 量化模型,在 from_pretrained 里传入 gguf_file 指定 Hub 仓库和文件名即可本地生成。

来源:Hugging Face Blog · huggingface.co