Transformers 支持直接运行 llama.cpp 的 GGUF 量化模型
Hugging Face 的 transformers 现在可以直接加载并运行 llama.cpp 的 GGUF 量化模型,在 from_pretrained 里传入 gguf_file 指定 Hub 仓库和文件名即可本地生成。
Hugging Face 的 transformers 现在可以直接加载并运行 llama.cpp 的 GGUF 量化模型,在 from_pretrained 里传入 gguf_file 指定 Hub 仓库和文件名即可本地生成。