自宅のProxmox上にGPUパススルーのVMを1台立てて、ローカルLLMの推論環境として使っている。構成自体は平凡なのだが、運用してみると「パススルーVMならでは」のハマりどころがいくつかあったので、メモとして残しておく。

構成

  • ホスト:Proxmox、物理メモリ32GiB
  • VM:Ubuntu、GeForce GTX 1660 SUPER(VRAM 6GiB)をPCIパススルー
  • 推論基盤:Docker上の Ollama + Open WebUI
  • モデル:Qwen3-8B のGGUF量子化版(q3_K_L、約4.1GiB)

ハマりどころ1:パススルーVMのメモリは「最大値」で効く

いちばん効いた教訓がこれ。GPUパススルーを有効にしたVMでは、設定した最大メモリがホスト側でほぼ常駐扱いになる。ゲスト側でバルーニングによって見かけのメモリを減らしても、ホスト側の空きは思ったほど戻ってこない。

当初は16GiB+バルーニングで運用していたが、ホストの空きメモリが0.5GiB程度まで圧迫されてしまった。あれこれ試した結果、バルーニングを無効化して8GiB固定にするのが落としどころで、ホストの空きは約7.5GiBまで回復した。ちなみに24GiB設定でもホストはかなり苦しく、32GiBではVM自体が起動しなかった。

パススルーVMのメモリは「最大値で確保されるもの」と割り切って、ホスト全体の残量から逆算して決めるのが安全だと思う。なお、最大メモリの変更はバルーニングのように動的には効かず、VMの完全な停止→起動が必要になる。

ハマりどころ2:ドライバのバージョン不整合

ある日、Open WebUIが起動エラー(HTTP 500)で返ってくるようになった。両方のコンテナ自体は存在していて、一見するとアプリ側の問題に見える。

実際の原因はNVIDIAドライバのバージョン不整合だった。読み込まれているカーネルモジュールと、ユーザーランド側のライブラリ(NVML)のバージョンがずれており、nvidia-smi 自体が失敗する状態で、OllamaのコンテナがGPUを掴めずに起動できていなかった。ドライバの永続化デーモンの状態も崩れていた。

対処はVMの再起動で、モジュールとライブラリのバージョンが揃ったところで復旧した。教訓はシンプルで、コンテナを作り直す前に、まずドライバのバージョンとデーモンの状態を確認すること。再起動はゲスト内の全ワークロードが止まるので、やる前に影響範囲の確認は要る。

モデル選定:VRAM 6GiBが全ての上限

6GiBというVRAMが、この環境のあらゆる判断の上限になる。現在の常駐モデルはQwen3-8Bの量子化GGUFで、約4.1GiBに収まるものを使っている。

以前は、もっと大きなMoEモデルを「GPUに載る分+残りはCPUオフロード」という構成で動かすことも試した。動くには動くのだが、日常的に使うには遅すぎて、結局その構成は撤去した。小さいGPUでは「載るかどうか」より「速度が実用かどうか」で判断した方がいい、というのが今のところの結論。

GPUの共有:優先順位を先に決めて自動化する

このGPUは推論専用ではなく、計算用途の常駐ジョブとも共用している。運用ルールは「AIが優先」。推論側の利用を検知したら常駐ジョブを止める、温度が上限に達したら止める、といった制御を管理スクリプト側で回している。

1枚のGPUを複数の用途で取り合う構成にするなら、優先順位と停止・再開の条件を先に決めて自動化しておくと、後から揉めない。

ディスクの話:解放量は「報告値」ではなく実測で見る

不要になったモデルや環境をVMから削除したときのメモ。ゲスト側でTRIMが報告する解放量と、ホスト側で実際に増えた空き容量は一致しないことがある。ファイルシステムの同期(sync)を挟んでからTRIMをやり直すと、実量に近づいた。

削除作業の成否確認は、ゲスト側の報告値ではなく、ホスト側の空き容量の実バイト数で見るのが確実。

まとめ

パススルーVMのAI環境は、作ること自体よりも「ホスト側のリソース勘定」と「ドライバの整合性チェック」という運用の部分が本体だった。逆に言えば、その2点を押さえておけば、6GiB級の古めのGPUでもローカルLLMの置き場としては十分実用になる。