ローカルLLMのおすすめモデル比較と必要スペック｜VRAM16GBで用途別に使い分けた実測

「ローカルLLMはどれがおすすめか」「自分のPCで動くのか」。社外に出したくない資料をAIに読ませたいと考えたとき、まず迷うのがこの2つです。

この記事では、当社が業務で動かしているローカルLLMの使い分けと、そのとき実際に使ったGPUのメモリ・速さを紹介します。数字は、当社のGPU（NVIDIA RTX 5080・VRAM16GB）で2026年8〜10月に測ったものです（GPUを積んでいないノートPCの値は、そう書いた箇所だけです）。

ローカルLLMとは：社内のPCで動かすAI

ローカルLLMは、ChatGPTのようにインターネットの向こうのサーバーで動かすのではなく、自社のPCやサーバーの中で動かす大規模言語モデルです。社外のサービスと通信しない構成にすれば、入力した文章が社外に出ないため、顧客情報や社内の数字を含む資料も読ませやすくなります。利用料は電気代だけで、使うたびの課金もありません。

動かすソフトとしてはOllamaやLM Studioがよく使われます。当社は、文章の下書きに使うGemma系のモデルをOllamaで、Bonsai 2 27Bをllama.cpp（llama-server）で動かし、社内向けのAIアプリをDifyで組んでいます。構成の全体像はDifyとOllamaでローカルAI環境を構築する方法にまとめています。

必要なスペックは、GPUのメモリ（VRAM）で決まる

ローカルLLMの速さを左右するのは、CPUの性能よりもモデルがGPUのメモリ（VRAM）に収まるかどうかです。必要なVRAMは、おおよそ次の3つの合計になります。

• モデル本体：パラメータ数（7B、12Bなどの「B」＝10億）と量子化（圧縮）の度合いで決まる。4bitなら、1Bあたり約0.6GB
• 文脈の作業用メモリ：一度に読ませる文章が長いほど増える。どれだけ増えるかはモデルの作りで大きく違う
• 実行時の余裕：ソフトそのものが使う分。画面の表示にも同じGPUを使うなら、さらにその分

当社のGPUで測った値は次のとおりです。速さは1秒あたりに生成するトークン数です。

VRAMに収まった上の2つは毎秒54〜66トークンで動きます。一方、Gemma 4 26B（約17GB）は16GBに収まらず、溢れた分をCPU側のメモリと分け合って毎秒約13トークンでした。本体15.4GBとぎりぎりのQwen系27Bも、毎秒約9トークンにとどまりました。16GBのGPUで4bitのまま動かすなら、12〜14Bクラスまでが目安です。

一方で、Bonsai 2 27Bのように3値まで強く圧縮したモデルなら、27Bでも16GBに収まります。「パラメータ数が大きいから載らない」とは限らず、量子化の度合いとセットで見る必要があります。

おすすめは用途で分ける：当社の使い分け

当社は、1つのモデルですべてをこなすのではなく、用途ごとにモデルを分けています。求められる力が用途によって違うためです。現在は、文章の下書き、長い会議の議事録・制度の照合、社内PCのログの要約とで、3つのモデルを使い分けています。

文章の下書き：Gemma系 12B（4bit）

SNSの原稿やコラムの下書きなど、読みやすい文章を速く作る用途に使っています。12Bクラスは16GBのGPUに余裕を持って収まり、64Kの長い文脈を持たせても9.7GBでした。

注意点は、制度の点数や日付などの数字を、それらしく作ってしまうことがあることです。数字を含む原稿を書かせるときは、使ってよい数字をあらかじめ渡し、それ以外は書かせない形にしています。

長い会議の議事録：Bonsai 2 27B（3値）

1時間を超える会議の文字起こし（約2万トークン）を、分割せずに一度に読ませて議事録の下書きを作る用途です。このモデルはOllamaとは別に、llama.cpp（llama-server）で動かしています。75分の会議1件で、14Bクラスのモデルで分割してまとめる方法と比べたところ、決定事項・宿題・担当者・期限がそろった下書きになりました。

ただし、会議で言われていない月や出席者を補ってしまう癖があります。「言われていない月は補わない」「出席者は明示された人だけ」などの指示をプロンプトに入れ、人名と日付は人が文字起こしと照らし合わせる前提で使っています。

制度の照合：同じBonsai 2 27Bに切り替えた

診療報酬の要件を、通知などの資料と照らし合わせて答える用途です。ここで求められるのは文章のうまさより、資料に書かれたことを書き換えずに答える正確さです。

この用途は、以前は7Bクラスのより小さいモデルで動かしていました。1つの算定項目（生活習慣病管理料）の判定30件を毎月試すテストでは、どちらのモデルも全件正解でした。ところが、資料を渡して答えさせる別の試験では差が出たため（後述の落とし穴2）、2026年9月にBonsai 2 27Bへ切り替えました。議事録と同じモデルなので、使うときだけ起動する運用もそのまま使えます。

より大きいQwen系27B（4bit）も試しました。出力の上限を1,500トークンにした試験では、日本語の診療報酬の質問に考え続けて答えまでたどり着かず、採用を見送っています（上限を増やしての再試験はしていません）。大きいモデルほど業務に向くとは限らず、自社の業務の問題で試して決めるのが確実です。

社内PCのログの要約：Nemotron 3.5 Bolt E4B（2026年10月〜）

社内のPC2台のログ（サインインの失敗・新しいサービス・予定タスク・管理者の追加など）を毎朝集め、決まったルールで「要確認」と「記録のみ」に分けています。要確認があった日だけ、拾った行をローカルLLMに2行で要約させ、ルールが拾った行と一緒に知らせます。ログは社外に出しません（2026年10月から自社で試行中）。

ここで求められるのは、ログに無いことを書き足さないことです。後述の落とし穴3の比較を経て、2026年10月にNemotron 3.5 Bolt E4B（Ollama）へ切り替えました。使ったVRAMは約6.5GB、速さは毎秒約170トークンで、要約が終わるとすぐにモデルを降ろしています。

落とし穴1：16GBでも「2つ同時」は遅くなる

用途ごとにモデルを分けると、複数のモデルを同じGPUに載せたくなります。ところが当社の16GB環境では、Gemma系12BとBonsai 2 27Bを同時に載せたところ合計が16GBを超え、後から使った側の速さが毎秒66トークンから9.5トークンへ、約7分の1に落ちました。

合計が大きく溢れる組み合わせを交互に呼び出すと、さらに悪化します。本体7.6GBと15.4GBの2つを交互に使ったときは、呼び出すたびにモデルの入れ替えが起き、毎秒0.6〜2トークンまで落ちました。

現在は、使うときだけ起動し、終わったら止める運用にしています。常に全部を載せておくより、使う順番を決めて1つずつ動かすほうが、16GBのGPUでは速く確実です。

落とし穴2：資料を読ませないと、それらしい嘘を書く

もう1つの落とし穴は、モデルの知識だけで答えさせることです。当社の試験で、診療報酬の根拠を資料なしで質問したところ、試した2つのモデルがどちらも存在しない法律や条文をもっともらしく作りました。一方のモデルは、架空の法律の条文を表にして延々と並べ続けました。

同じ質問でも、通知の該当部分を一緒に渡して答えさせる形（RAG）にすると結果は変わりました。4問の小さな試験ですが、Bonsai 2 27Bは4問とも資料に沿って答えています。一方で、それまで使っていた7Bクラスのモデルは2問にとどまり、資料の文言を書き換えて意味が逆になる答えもありました。

落とし穴3：小さいモデルに「急ぐかどうか」まで決めさせると誤る

ログの要約を、なるべく小さいモデルで済ませたくて比べました（2026年10月）。入力は、実際の通知3件と、ルールの書式で作った偽の出来事6件（外からのログイン失敗37回・監査ログの消去・Tempフォルダから動く新しいサービスなど）の計9件です。偽の出来事のIPアドレスは文書用の範囲で、実在の相手ではありません。

最初は「何が起きたか」「急ぐかどうか」「次に確かめること」の3行を書かせました。すると、次のような誤りが出ました。

• 外からのログイン成功を「接続が失敗しました」と逆に書いた（Qwen3.5 2B）
• 「直後に同じIPから失敗」と、入力に無い順番を足した（Qwen3.5 4B）
• それまで使っていたGemma系12Bも、Tempフォルダから動く新しいサービスを「様子見」と書いた

効いたのは、モデルを替えることよりAIに任せる範囲を減らすことでした。急ぐかどうかはルールが決めて別に知らせ、AIには「何が起きたかを、行を写さず40字程度で」「次に確かめることを1つ」の2行だけを書かせます。逆に「書かれているとおりに」と強く指示した回では、使っていたモデルが入力の行をそのまま写すだけになりました。

このほか、公開されたばかりのLFM3 1.7B（約1.5GB）も試しましたが、行数を守らず、入力に無い数字を書きました。この形で試した3GB台以下のモデル3つは、まだ事実を足しました。9件だけの比較なので傾向として読んでください。

ローカルLLMの導入：PC選びから社内で使い始めるまで

会社でローカルLLMを使い始めるときは、モデル選びより先に「何に使うか」を決めると迷いが減ります。当社が自社と支援先で進めてきた順番は、おおよそ次のとおりです。

1. 使う業務を1つに絞る：社内規程やマニュアルを探す、会議の議事録の下書きを作る、など。最初から全部をAIに任せようとしない
2. 今あるPCで足りるかを確かめる：見るのはGPUのメモリ（VRAM）です。必要スペック診断で目安を出し、足りなければGPUを積んだPCを用意します
3. 自社の文章で試す：ふだんの業務の質問を10問ほど用意し、正解と比べます。当社は制度の判定30件を毎月同じ条件で試し、精度が落ちていないかを確かめています
4. 社内の文書を読ませる仕組みを作る：落とし穴2のとおり、正確さが要る仕事は資料を渡して答えさせる形（RAG）にします。当社はDifyで組んでいます
5. 使う人と、人が確認するところを決める：AIに決めさせること、AIが案を出して人が決めること、人だけが決めることを、業務ごとに分けておきます

費用は、既存のPCに入れるか新しくPCを用意するかと、どこまで作り込むかで変わります。当社の支援の料金の目安はサービスのページに載せています。社外に出せない文書をAIで扱いたい、という段階からでもご相談いただけます（無料相談）。

よくある質問

MacでもローカルLLMは動きますか？

動きます。Apple Silicon（M1〜M4など）のMacは本体のメモリをCPUとGPUで分け合うため、メモリの大きいMacなら大きめのモデルも載せやすくなります。ただしGPUに回せるのはメモリ全体の一部で、必要スペック診断では約7割として計算しています。なお、当社が業務で使っているのはWindowsとNVIDIAのGPUの構成です。

ノートPCでも使えますか？

3〜8Bクラスの小さいモデルなら、GPUを積んだノートPCでも動かせます。GPUがない場合もCPUと本体のメモリで動きますが、かなり遅くなります（次の質問に実測値）。12B以上を毎日の業務で使うなら、VRAM16GB以上のGPUを積んだデスクトップPCが現実的です。

GPUなしでもローカルLLMは動きますか？

動きます。GPUを積んでいない当社のノートPC（Intel Core 5 120U・メモリ32GB）で、Nemotron 3.5 Bolt E4Bにログを2行で要約させたところ、1件に約50秒かかりました（モデルの読み込み約30秒・生成は毎秒約2.7トークン）。本体のメモリは約5.8GB使いました（前面で1件だけ流した値）。一方、ブラウザなど普段の作業を開いたまま裏で流したときは、モデルの読み込みの段階でメモリが足りなくなり、1件も終わりませんでした（そのときの空きは約8.7GB）。計測は1件だけなので、GPUなしで使うなら、普段の作業とは別に8GBよりも余裕のある空きを先に確かめてください。

日本語でも使えますか？

使えます。当社で使っているモデルも、すべて日本語の業務で使っています。ただし日本語の出来はモデルによって差があり、同じ系列でも世代や大きさで結果が変わります。自社の業務の文章で試してから決めるのがおすすめです。

VRAM16GBのGPUで、どこまでできますか？

当社の場合、文章の下書き・長い会議の議事録・制度の照合・社内PCのログの要約の4つの用途を、3つのモデルを切り替えながら1枚でこなしています。4bitなら12〜14Bクラス、3値のように強く圧縮したモデルなら27Bクラスまでが目安です。同時に複数を載せない前提で考えてください。

ローカルLLMを会社に導入するには、何から始めればよいですか？

使う業務を1つに絞り、今あるPCのGPUメモリ（VRAM）で足りるかを確かめるところからです。そのうえで、ふだんの業務の質問を10問ほど用意して自社の文章で試し、正確さが要る仕事は社内の文書を読ませる仕組み（RAG）と人の確認を組み合わせます。