Proxmoxで踏んだ障害の記録:LXCのext4破損とホストのディスク枯渇
自宅のProxmox VE環境で、ここ数か月のあいだに踏んだ障害のうち、切り分けと対処の流れを残せそうなものを2件と小ネタ1件まとめる。どちらも「ゲストの中だけ見ていても分からない」タイプの障害だった。
1. LXCのext4ディレクトリ破損でバックアップが失敗する
症状
Proxmox Backup Server(PBS)への日次バックアップが TASK ERROR: job errors で落ちるようになった。ログには、対象コンテナ内の一時ディレクトリを指して EBADMSG: Not a data message(OSエラー74)が記録される。コンテナの中でそのディレクトリに ls や rm をしても Bad message で操作できない。ホスト側の dmesg には EXT4-fs error ... Directory block failed checksum と Please run e2fsck -D が出ていた。
原因
ext4の特定ディレクトリエントリのハッシュツリーブロック/チェックサムが破損していた。壊れていたのはエディタ関連の一時ステージングディレクトリで実データではなかったが、バックアップクライアントがファイルツリーを走査する途中でこのエラーを踏み、ジョブ全体が中断していた。
対処
稼働中のゲストディスクにはfsckできないので、手順の順番が大事だった。
- 対象コンテナを停止する
- MMP(Multi-Mount Protection)をクリアしてから
e2fsck -f -y -Dを実行する。-Dはディレクトリの再構築・最適化で、dmesgの案内どおりの指定 e2fsck -fnで読み取り専用チェックを再実行し、エラー0件を確認する- コンテナを起動し、破損していた一時ディレクトリを削除する
- バックアップを手動でテスト実行し、完走を確認する
1 | pct stop <VMID> |
教訓
- バックアップ失敗の切り分けは、ホスト側の
dmesgを見ると早い。ゲスト内から分かるのは「読めないファイルがある」ことだけだった - fsckは「停止してアンマウント済み」を確認してから。MMPの解除も、未マウントの確認なしには行わない
2. ホストのディスク枯渇でVMが止まる
症状
qm list ではrunning表示なのに、詳細を見ると qmpstatus: io-error。書き込みに失敗したVMが一時停止状態になっていた。NFSを提供しているVMがこの状態になると、共有先のゲストやバックアップ処理まで応答しなくなる。厄介なのは、LXCゲストの中から見ると空き容量があるように見えるケースで、実際には疎(スパース)なrawディスクを置いているホスト側が満杯だった。
ext4の予約領域の影響で、物理的には空きがあっても一般ユーザー向けの利用可能容量が0になることもある。予約率の変更は応急措置でしかなく、容量確保の代わりにはならない。
原因と回収作業
容量を圧迫していたのは、バックアップの中間ファイルや生成物の蓄積だった。GitLabのバックアップTARがPBS障害のあとに溜まっていたり、データベースのコアダンプが数十GiB積み上がっていたり、Dockerのビルドキャッシュが膨らんでいたりと、発生源はその時々で違う。
回収の基本形はこうなった。
- 稼働中ゲストの空きはTRIMで返す(ホストから
pct fstrim、VMはゲスト内でfstrim) - 残すべきファイルは別ストレージへ退避し、SHA-256の一致を確認してから元を削除する
- 旧カーネルは、実行中・最新・予備を保持したうえで、対象パッケージだけを削除する
ハマりどころ
- TRIMの報告量とホストの実回収量は一致しない。 スパースなディスクでは、ゲスト側で数十GiB削除してもホストの空きがすぐには増えないことがある。削除→
sync→再TRIMで初めて返ってくるケースもあった。効果はホスト側dfの差で評価する - 自動TRIMのタイムアウトでロックが残る。 自作の監視スクリプトが
pct fstrimをタイムアウトで途中終了させ、lock: fstrimが残留したことがある。解除するときは「実際に走っているTRIMタスクがないこと」を毎回確認してから手動でpct unlockする。自動でunlockする作りにはしない - ホストが完全満杯だとTRIM自体が失敗する。 その場合は、稼働中ゲストの既存マウントをホスト側から辿って
fstrimする手もある
再発防止
- バックアップの大きな中間ファイルは、ホストのルート領域に置かず、別ストレージ上の作業領域へ分離した
- バックアップ開始前に必要容量を見積もり、不足していれば実行せずに通知するガードを入れた(事前チェックであり、ディスクquotaではない)
- 生成したバックアップは、全量読み戻しとSHA-256一致を確認してから元ファイルを消す運用に統一した
3. 小ネタ:PBSのAPI接続拒否
PBSのAPIが接続拒否になってバックアップが失敗したこともある。原因はPBSコンテナ内のランタイムディレクトリの所有者・権限が崩れていて、バックアップ用ユーザーがPIDファイルを作れず、プロキシが起動できていなかった。systemd-tmpfilesの設定で権限を恒久化して復旧。証明書や認証情報の問題ではなかった。「接続拒否=ネットワークか認証」と決めつけず、サービスがそもそも起動できているかを先に見る、という教訓だった。