自己ホストGitLabの運用メモ:配置の判断と日々の運用
自前で運用しているGitLab(gitlab.n1l.dev)の運用メモ。Proxmox上のLXCコンテナの中で、公式Dockerイメージの単一コンテナとして動かしている。ホストを移した経緯と、バージョンアップやCIまわりで決めている運用の型をまとめる。
配置:なぜホストを移したか
もともとGitLabは別のホスト上のコンテナで動かしていた。ところがある日、そのホストのOS用SSDで書き込みタイムアウトとI/Oエラーが発生し、ext4のジャーナルがabortしてルートファイルシステムが緊急読み取り専用(emergency_ro)に移行した。Dockerコンテナの作成に失敗し、CIがsystem failureで落ち始めた。
SMARTの全体判定はPASSEDで、SSD本体・接続・コントローラのどこが原因かは切り分けられなかった。再起動後は読み書き可能に戻ったが、「戻った=直った」ではないので、GitLabは健全なホストへ移すことにした。
移行方式でも一手間あった。移行元と移行先でストレージ形式が違い(LVM-Thinからディレクトリ型へ)、pct migrate が使えなかったため、コンテナを停止して vzdump の出力をNFS経由で転送し、移行先で pct restore する方式に切り替えた。移行の検証が終わってから移行元と中間コピーは削除し、移行前の完全バックアップは保持している。なお、移行後の書き込みは新しいコンテナにしかないので、古いバックアップへ安易に戻すと移行後の変更が消える。復元するときはこの点を最初に確認する。
移行先ホストはメモリに余裕がなかったため、同じホストで動いているGPU用VMのメモリ割当を段階的に見直して捻出した(24GiBから18GiBへ)。このとき学んだのは、設定値を変えただけでは適用されたことにならない、ということ。再起動を挟むと古い値のまま起動してしまうことがあるので、qm list や qm config --current で実適用を必ず確認する。
外部公開は、コンテナ内で動かしているcloudflaredのトンネル経由にしている。
バージョンアップの型
GitLabは単一コンテナ構成なので、更新には停止が伴う。「前回許可したから今回も止めていい」とはせず、停止の可否は更新ごとに確認する前提で手順を組んでいる。
- 公式のupgrade pathと各バージョンのupgrade notesを確認し、イメージを先にpullしておく
- 公式のdatabase-onlyバックアップを取得し、設定・secrets・Composeファイルを別途退避する。バックアップはコンテナの外にもコピーする(DBのみのバックアップはリポジトリやLFS全体のバックアップではない、という区別も記録しておく)
- CIの新規受付を止め、実行中ジョブが0件になってから本体を更新する
- 更新後、後述の完了判定を通してからCI受付を戻す
ロールバックは「旧イメージに差し戻す」だけでは成立しない。DB移行が入るため、対応する旧バージョンのDBバックアップと、設定・暗号化キーのセットが必要になる。
セキュリティ修正を含むパッチリリースでは、この型のまま前倒しで適用している。CVSS 10.0のcriticalが出たこともあったが、手順が決まっていると、急ぐときほど雑にならずに済む。
CI Runnerの止め方・戻し方
Runnerは本体とは別ホスト上のサービスとして動かしている。本体更新のときは、Runnerプロセスへ SIGQUIT を送って新規ジョブの受付だけを止め、実行中のジョブは自然終了を待つ。登録全体をpauseしたり削除したりはしない。
Runnerは通常 Restart=always なので、待機中に勝手に再起動しないよう、一時的なdrop-inで再起動を抑止する。更新が終わったら、自分で作ったdrop-inだけを削除して元に戻し、実際のジョブ受信とログ送信まで確認する。受付を止めたあとも取得済みジョブが残ることがあるので、本体更新に入る前に、DB上のrunningジョブが0件であることも確認している。
完了判定:healthyだけでは不十分
Dockerの healthy は当てにならない。初回マイグレーション中は、PumaやSidekiq、NGINXがまだ起動していなくてもhealthy表示になることがあった。そこで完了判定は次のセットにしている。
- コンテナ内部からのreadinessチェック(全項目ok)
gitlab-ctl statusで全サービスがrun状態- 公開URLのサインインページがHTTP 200
- CIが実際のジョブを受けて、ログ送信まで通ること
加えて、新しいバージョンではバックグラウンド移行が追加されることがある。アプリが復旧しても移行が裏で続く場合があるので、次のアップグレード前に完了を確認する。
容量管理
GitLabまわりで容量を食うのは、バックアップのTARと、その圧縮中間データだ。最終TARと中間ファイルが同時に存在する時間帯がピークになる。対策として、コンテナのルートを32GiBから48GiBへオンライン拡張した。
旧バージョンのイメージは、消す前に docker save でコンテナ外へ退避し、gzipの整合性・tarの内容・SHA-256を検証してから、対象タグを指定して削除する。稼働中イメージや永続データを巻き込む一括pruneはしない。
また、ゲスト内の df の使用率と、ホスト側のLVM-Thinプールの使用率は一致しない。容量アラートを見るときは、コンテナ内・ホスト・thinプールを分けて確認する。
障害例:Docker更新後にGitLabが起動しない
Dockerエンジンを更新したあとの再起動で、GitLabコンテナが AlreadyExists エラーで起動しなかったことがある。実際にはGitLabのプロセスは存在せず、containerdのshimだけが残留していた。稼働中コンテナがないことを確認したうえでcontainerdを再起動し、既存コンテナを docker start して復旧した。原因の断定と再発防止策は未確定のままなので、この手順を稼働中コンテナのある環境へ無条件に適用はしない。