GGUFと量子化の仕組み：llama.cppでモデルを量子化して動かす
GGUFの中身と量子化の仕組みを、llama.cppでQwen2.5-0.5Bを変換・量子化して確認。型名どおりにならないテンソル、perplexityの変化、埋め込まれた生成設…
TAG
#ローカルLLM
OllamaのPythonライブラリとModelfileで社内向けLLMツールを作る
Modelfileで役割・判断基準・会話例を固定し、OllamaのPythonライブラリで問い合わせを仕分けるCSVツールを作成。構造化出力とpydanticでの検証、実際のエラ…
ローカルLLMの選び方【2026年版】：用途別おすすめモデルと必要なGPU・メモリの目安
モデルサイズと量子化からVRAMを見積もる早見表、日本語・コーディング・要約・画像・埋め込みの用途別に試す系列、GPU構成の目安、ライセンス確認と企業導入の10項目をまとめました。
Difyをセルフホストする：Docker Composeでの構築から社内AIアプリ作成まで
DifyをDocker Composeでセルフホストし、Ollamaを登録してチャットボット・ワークフロー・ナレッジ検索を作る手順。.envで変える値、Linuxでの接続の落とし…
Open WebUIで社内ChatGPT環境を作る：Ollama連携とDocker Composeでの構築・運用
Ollama同梱のcompose.yaml、GPU割り当て、管理者作成と登録制御、RAG設定、nginx/CaddyでのHTTPS化とSSO、バックアップと更新までを実際のエラー…
Ollamaで始めるローカルLLM入門：インストールからモデル選び、日本語モデルの実行まで
Ollamaのインストール手順、量子化タグの読み方とVRAMの見積もり、日本語モデルの探し方、REST APIの呼び出し、社内公開時の安全な構成を確認コマンド付きで解説します。
