自宅のProxmox VE環境で、ここ数か月のあいだに踏んだ障害のうち、切り分けと対処の流れを残せそうなものを2件と小ネタ1件まとめる。どちらも「ゲストの中だけ見ていても分からない」タイプの障害だった。

1. LXCのext4ディレクトリ破損でバックアップが失敗する

症状

Proxmox Backup Server(PBS)への日次バックアップが TASK ERROR: job errors で落ちるようになった。ログには、対象コンテナ内の一時ディレクトリを指して EBADMSG: Not a data message(OSエラー74)が記録される。コンテナの中でそのディレクトリに ls や rm をしても Bad message で操作できない。ホスト側の dmesg には EXT4-fs error ... Directory block failed checksum と Please run e2fsck -D が出ていた。

原因

ext4の特定ディレクトリエントリのハッシュツリーブロック/チェックサムが破損していた。壊れていたのはエディタ関連の一時ステージングディレクトリで実データではなかったが、バックアップクライアントがファイルツリーを走査する途中でこのエラーを踏み、ジョブ全体が中断していた。

対処

稼働中のゲストディスクにはfsckできないので、手順の順番が大事だった。

  1. 対象コンテナを停止する
  2. MMP(Multi-Mount Protection)をクリアしてから e2fsck -f -y -D を実行する。-D はディレクトリの再構築・最適化で、dmesgの案内どおりの指定
  3. e2fsck -fn で読み取り専用チェックを再実行し、エラー0件を確認する
  4. コンテナを起動し、破損していた一時ディレクトリを削除する
  5. バックアップを手動でテスト実行し、完走を確認する
1
2
3
4
5
6
pct stop <VMID>
tune2fs -f -E clear_mmp /dev/pve/vm-<VMID>-disk-0
e2fsck -f -y -D /dev/pve/vm-<VMID>-disk-0
e2fsck -fn /dev/pve/vm-<VMID>-disk-0 # エラー0件を確認
pct start <VMID>
vzdump <VMID> --storage <PBS> --mode snapshot # 手動テスト

教訓

  • バックアップ失敗の切り分けは、ホスト側の dmesg を見ると早い。ゲスト内から分かるのは「読めないファイルがある」ことだけだった
  • fsckは「停止してアンマウント済み」を確認してから。MMPの解除も、未マウントの確認なしには行わない

2. ホストのディスク枯渇でVMが止まる

症状

qm list ではrunning表示なのに、詳細を見ると qmpstatus: io-error。書き込みに失敗したVMが一時停止状態になっていた。NFSを提供しているVMがこの状態になると、共有先のゲストやバックアップ処理まで応答しなくなる。厄介なのは、LXCゲストの中から見ると空き容量があるように見えるケースで、実際には疎(スパース)なrawディスクを置いているホスト側が満杯だった。

ext4の予約領域の影響で、物理的には空きがあっても一般ユーザー向けの利用可能容量が0になることもある。予約率の変更は応急措置でしかなく、容量確保の代わりにはならない。

原因と回収作業

容量を圧迫していたのは、バックアップの中間ファイルや生成物の蓄積だった。GitLabのバックアップTARがPBS障害のあとに溜まっていたり、データベースのコアダンプが数十GiB積み上がっていたり、Dockerのビルドキャッシュが膨らんでいたりと、発生源はその時々で違う。

回収の基本形はこうなった。

  • 稼働中ゲストの空きはTRIMで返す(ホストから pct fstrim、VMはゲスト内で fstrim)
  • 残すべきファイルは別ストレージへ退避し、SHA-256の一致を確認してから元を削除する
  • 旧カーネルは、実行中・最新・予備を保持したうえで、対象パッケージだけを削除する

ハマりどころ

  • TRIMの報告量とホストの実回収量は一致しない。 スパースなディスクでは、ゲスト側で数十GiB削除してもホストの空きがすぐには増えないことがある。削除→sync→再TRIMで初めて返ってくるケースもあった。効果はホスト側 df の差で評価する
  • 自動TRIMのタイムアウトでロックが残る。 自作の監視スクリプトが pct fstrim をタイムアウトで途中終了させ、lock: fstrim が残留したことがある。解除するときは「実際に走っているTRIMタスクがないこと」を毎回確認してから手動で pct unlock する。自動でunlockする作りにはしない
  • ホストが完全満杯だとTRIM自体が失敗する。 その場合は、稼働中ゲストの既存マウントをホスト側から辿って fstrim する手もある

再発防止

  • バックアップの大きな中間ファイルは、ホストのルート領域に置かず、別ストレージ上の作業領域へ分離した
  • バックアップ開始前に必要容量を見積もり、不足していれば実行せずに通知するガードを入れた(事前チェックであり、ディスクquotaではない)
  • 生成したバックアップは、全量読み戻しとSHA-256一致を確認してから元ファイルを消す運用に統一した

3. 小ネタ:PBSのAPI接続拒否

PBSのAPIが接続拒否になってバックアップが失敗したこともある。原因はPBSコンテナ内のランタイムディレクトリの所有者・権限が崩れていて、バックアップ用ユーザーがPIDファイルを作れず、プロキシが起動できていなかった。systemd-tmpfilesの設定で権限を恒久化して復旧。証明書や認証情報の問題ではなかった。「接続拒否=ネットワークか認証」と決めつけず、サービスがそもそも起動できているかを先に見る、という教訓だった。