GPTProto

Transformers now runs llama.cpp quants

Hugging Face:Blog(RSS)·Sep 22, 2026, 8:00 AM·Meta / Llama

Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型,通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint,并复用 ggml 的 Metal 内核。