#llama.cpp

GGUFと量子化の仕組み：llama.cppでモデルを量子化して動かす

GGUFの中身と量子化の仕組みを、llama.cppでQwen2.5-0.5Bを変換・量子化して確認。型名どおりにならないテンソル、perplexityの変化、埋め込まれた生成設…