ローカルLLMの速度低下をGPU・メモリ・モデルサイズで診断する画面
← ブログ一覧
AI4分

Ollamaが遅い原因は?モデル・メモリ・GPUを順番に確認する方法

Ollamaが遅いとき、最初にPCを買い替える必要はありません。大きすぎるモデル、長すぎるコンテキスト、GPUへ収まりきらない状態、複数リクエストの同時処理など、設定と使い方だけで負荷が増えている場合があります。

速度は最初の読み込み時間と、回答が始まってからの生成速度を分けて確認します。前者だけが遅いならモデルのロード、後者も遅いなら計算資源やコンテキストを疑います。

この記事でわかること

  • Ollamaが遅い原因は?モデル・メモリ・GPUを順番に確認する方法の具体的な確認手順
  • 原因を一つずつ切り分ける方法
  • 再発時に残しておく情報

最初に記録する4項目

  • 使用しているモデル名とパラメータ規模
  • 最初の文字が出るまでの秒数
  • 回答が始まった後の体感速度
  • 同時に動かしているアプリと空きメモリ

同じ質問文を使って比較すると、モデル変更や設定変更の効果を判断しやすくなります。

手順1:ollama psでCPU・GPU配置を見る

ターミナルでollama psを実行すると、現在読み込まれているモデルと処理先を確認できます。Ollama公式FAQでは、PROCESSOR列が100% GPUなら全体がGPU、100% CPUならシステムメモリ、混在表示ならCPUとGPUへ分かれていると説明しています。

モデルがGPUメモリへ収まらずCPU側へ移ると、体感速度が大きく変わる場合があります。まず小さいモデルで同じ質問を試し、速度差を記録してください。

手順2:コンテキスト長を増やしすぎていないか

長い会話履歴や大量の資料を保持するコンテキストは、その分だけメモリを使います。公式FAQではOLLAMA_CONTEXT_LENGTHnum_ctxで設定できると案内されています。

速度確認では、まず新しい会話を作り、短いプロンプトで比較します。長文を扱う必要がある場合も、最大値へ固定せず、用途を満たす範囲で段階的に増やします。

手順3:同時実行と読み込みモデル数

複数モデルや並列リクエストはメモリ使用量を増やします。公式FAQでは、必要RAMがOLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTHに応じて増えると説明されています。

速度を切り分けるときは、利用アプリを一つにし、同時リクエストを止めます。不要なモデルはollama stop モデル名でメモリから外して再テストします。

手順4:モデルサイズを下げて比較する

モデルを変更すると回答品質も変わるため、速度だけで決めないことが重要です。それでも、現在のメモリに収まる量子化モデルや小さいパラメータ規模を試すと、遅さの原因が計算資源かを判断できます。

同じ用途で小さいモデルが十分なら、普段は小さいモデル、難しい質問だけ大きいモデルという使い分けも可能です。

改善確認の順番

  1. 新しい会話と短い質問で基準を測る
  2. ollama psで処理先を見る
  3. 不要なモデルとアプリを終了する
  4. コンテキストを短くする
  5. 小さいモデルで同じ質問を試す

変更は一つずつ行い、最初の文字が出るまでの時間と生成中の速度を別々に記録してください。

まとめ

一度に複数の設定を変えず、同じ条件で比較することが解決への近道です。最初の状態、変更した項目、結果を短く記録しておけば、再発時にも無駄な再インストールや買い替えを避けやすくなります。

関連するLEXIAの記事

参考にした公式情報

まずは、やりたいことを聞かせてください

「何から手をつければいいか分からない」段階でも大丈夫です。 ご相談・お見積りは無料。碧南近郊なら直接伺います。