ローカルLLMの速さは、ほぼGPUのメモリ（VRAM）に収まるかどうかで決まります。 GPUとモデルの大きさ・量子化・読ませる文章の長さを選ぶと、必要なVRAMの目安と「載る／ぎりぎり／載らない」をその場で表示します。 計算式だけでなく、VRAM16GBのGPUで用途別にモデルを使い分けている当社の実測値も並べています。
※会員登録・メールアドレスの入力は不要です。計算はブラウザ内だけで行い、保存はしません（利用状況を把握するため、選んだ条件をアクセス解析に送っています）。生成AIは使っていません。
通常2営業日以内に、推奨するモデルとPC構成をメールでお送りします。
届かない場合は、迷惑メールフォルダもご確認ください。
| モデル | 量子化 | 動かしたソフト | 使ったVRAM | 速さ（毎秒） | メモ |
|---|---|---|---|---|---|
| Gemma系 12B（11.9B） | 4bit（Q4_K_M） | Ollama | 8.5〜9.7GB | 約66トークン | 文脈64Kで運用。本体7.6GB |
| Bonsai 2 27B | 3値 | llama.cpp | 7.0〜8.6GB | 約54トークン | 27Bでも強い圧縮で16GBに収まる。文脈16K〜 |
| Qwen系 27B | 4bit（Q4_0） | Ollama | 本体15.4GB | 約9トークン | 16GBにぎりぎり。文脈を足すと収まらない |
| Gemma 4 26B | 4bit | Ollama | 約17GB | 約13トークン | 収まらずCPU側のメモリと分け合った |
