「ChatGPTを使いたいが、うちはネットに繋がない環境なので無理」——医療機関や製造業の現場でよく耳にする言葉です。セキュリティポリシーやネットワーク制約によって、クラウドAIサービスを利用できない組織は少なくありません。

この記事では、そうした制約のある現場でも導入できる「完全オフラインAI」の仕組みを、giverthが自社で検証し、導入支援で提案している Dify + Ollama の構成を中心に解説します。

なぜクラウドAIが使えない現場があるのか

クラウドAI（ChatGPT・Claude・Gemini等）を業務利用する場合、入力したテキストはインターネット経由でサービス提供会社のサーバーへ送信されます。この点が、以下のような組織では問題になります。

  • 医療機関：患者情報・診療記録を外部サーバーに送信できない（個人情報保護法・医療情報の安全管理ガイドライン）
  • 自治体・官公庁：行政情報の外部送信を禁止するセキュリティポリシー
  • 製造業・研究機関：技術情報・設計データの漏洩リスクを排除したい
  • 閉域ネットワーク環境：そもそもインターネット接続がない施設内ネットワーク
ポイント
クラウドAIの利用禁止は「AI活用の禁止」ではありません。オンプレミス（社内サーバー）やローカルPC上でAIを動かすことで、情報を外部に送らずにAIの恩恵を受けられます。

完全オフラインAIの仕組み

オフラインAIを実現するためには、主に2つのコンポーネントが必要です。

① ローカルLLM：Ollama

Ollamaは、LLM（大規模言語モデル）をローカルPC・サーバー上で動かすためのオープンソースツールです。Meta の Llama、MistralAI の Mistral、Google の Gemma など、多数のモデルに対応しています。

Ollamaを使うと、インターネット接続なしにAIモデルを動かせます。モデルファイルを事前にダウンロードしておけば、その後は完全オフラインで動作します。

動作環境の目安
一般的な業務用途（文書作成補助・Q&A・要約）であれば、VRAM 8GB以上のGPU搭載PCで十分です。GPUなしのCPU実行も可能ですが、応答速度は低下します。

② AIアプリケーション基盤：Dify

Difyは、LLMを使ったアプリケーション（チャットボット・RAG・ワークフロー）をノーコード〜ローコードで構築できるオープンソースプラットフォームです。

OllamaがAIの「エンジン」だとすると、DifyはそのエンジンをユーザーフレンドリーなUIとして提供する「車体」にあたります。

  • ブラウザから使えるチャットUI（ChatGPTライクな操作感）
  • 社内ドキュメントをAIに読み込ませるRAG（検索拡張生成）機能
  • 複数の処理を組み合わせたワークフロー自動化
  • Docker で社内サーバーやPCにデプロイ可能

Dify + Ollama の構成イメージ

両者を組み合わせると、以下のような構成になります。

システム構成（例）

社内PC / サーバー
　├── Ollama（LLMエンジン）　← モデルをローカルで実行
　└── Dify（アプリUI）　← ブラウザからアクセス

社内の他のPC → ブラウザで Dify にアクセス → Ollama に問い合わせ
　　　　　　　　　　↑ すべて社内ネットワーク完結・外部通信なし

この構成の最大のメリットは、一切の情報がインターネットに出ないことです。社内ドキュメントや患者情報を入力しても、外部のAIサービスへは送信されません。端末の更新やマルウェア対策、アクセス管理は別に必要です。

DifyをローカルPC・サーバーで動かす手順（概要）

Difyをローカル環境で動かすには、DockerとOllamaの2つを導入するだけで基本的なセットアップが完了します。手順は以下の流れです。

  1. Docker / Docker Compose をインストール——Difyの動作基盤。WindowsはDocker Desktop、Linux・macOSはネイティブインストール
  2. DifyをローカルPCに取得・起動——GitHubからリポジトリをクローンし、dify/docker に移動。cp .env.example .env で設定ファイルを作り、docker compose up -d を実行する。初回はブラウザで http://localhost/install を開き、管理者アカウントを作成する。版によって追加の設定があるため、Dify公式の手順もあわせて確認する
  3. Ollamaをインストール・モデルをダウンロード——Ollama公式サイトからインストーラーを取得。ollama pull llama3 等のコマンドでモデルをローカルに保存（ネット接続が必要）
  4. DifyにOllamaを登録——DifyのUI上でOllamaプラグインを追加し（ネット接続が必要）、モデルプロバイダーの設定でBase URLに http://host.docker.internal:11434 を登録する。DifyはDockerの中で動くため、localhost ではDifyのコンテナ自身を指してしまう。Linuxでは、ホストのIPアドレスを指定し、Ollama側も OLLAMA_HOST で外から受け付ける設定にする
  5. チャット・RAGアプリを作成——Dify上でアプリを作成し、社内ドキュメントをナレッジとして登録。ブラウザから ChatGPT ライクに利用できる
ローカル環境構築のポイント
モデルのダウンロード（手順3）とOllamaプラグインの追加（手順4）は初回にインターネット接続が必要ですが、その後は完全オフラインで動作します。閉域ネットワークの場合は、別のPCで取得したモデルファイルをUSBで移送する運用も可能です。Dify自体もDockerイメージをオフラインで取り込む方法があります。プラグインは依存パッケージの扱いで取り込みに失敗することがあるため、閉域に入れる前に検証してください。

自社での検証

giverthでは、Difyとローカルモデルの構成を自社のPCで動かし、生活習慣病管理料の判定を毎月30問のテストで確かめています。クラウドを使わないまま、業務の判定にどこまで使えるかを検証しています。

導入にあたっての現実的な課題

完全オフラインAIの導入には、いくつか注意点もあります。

  • ハードウェアの選定：モデルの規模によって必要なGPU・メモリが変わります。事前のベンチマークが重要です
  • モデル選定：日本語対応の精度はモデルによって大きく差があります。用途に応じたモデル選定が必要です
  • 初期セットアップ：Docker・Ollama の設定はある程度の技術知識が必要です
  • モデルの更新：新しいモデルをオフライン環境に取り込む運用フローを設計する必要があります

giverthでは、ハードウェア選定からモデル選定・初期構築・運用定着まで、一貫してサポートします。「技術的なことはよくわからないが、AIを使いたい」という現場でも対応可能です。

まとめ

完全オフラインAIは、クラウドが使えない現場でもAIの恩恵を受けるための現実的な選択肢です。Dify + Ollama の組み合わせにより、比較的低コストで実用的なAI環境を構築できます。

「うちの環境でもAIを使えるのか？」という疑問をお持ちの方は、まず無料のヒアリングからご相談ください。現場の状況をお聞きした上で、最適な構成をご提案します。

ネットにつながないAI（オフラインAI）の導入を支援しています

院内・社内のPCだけで動き、データを外に出さないAIです。近いほうからご覧ください。

医療機関・介護事業所の方 中小企業の方
沼尻 義弘 — 株式会社giverth 代表取締役
沼尻 義弘
株式会社giverth 代表取締役 ／ ITコンサルタント・PM

病院勤務12年（筑波メディカルセンター病院／医事課・システム担当）の現場経験を持つITコンサルタント。医療機関・中小企業向けの完全オフラインAI導入支援（Dify + Ollama）に特化。

無料相談はこちら →

「うちの環境でも動くか？」まずメールで聞いてみてください

構成の確認・費用感・デモ体験まで、返信3営業日以内でお伝えします。
費用も決定も不要です。

メールで相談する（無料）