Kompiradのジョブ起動失敗について
お世話になっております。
KompiraEnterprise稼働中サーバのyum updateを実行したところ
アップデート完了後に「Kompiraエンジンが停止しています」というエラーが出てジョブ実行できなくなりました。
※現状リストアで切り戻したので現在は稼働しています。
kompiradサービス自体は正常に起動し、サービス状態もactive(Running)で問題ないように思います。
・環境
Kompira 1.6.2.post3
RedhatEL 8.3
ログを見ましたが原因がよくわからず困っています。
/var/log/kompira/kompirad.log
[2025-03-19 17:05:07,157:1883355:kompirad:CollectThread] INFO: collect_handler: started: collect_interval=0.2
[2025-03-19 17:05:07,157:1883355:kompirad:MainThread] INFO: [WorkerManager] initialize: max_worker=32, max_alive=64
[2025-03-19 17:05:07,158:1883355:kompirad:MainThread] INFO: [Engine] initializing in recovery mode
[2025-03-19 17:05:07,175:1883355:kompirad:QueueManager] INFO: [QueueManager] thread started
[2025-03-19 17:05:07,175:1883355:kompirad:QueueManager] INFO: [QueueManager] _connect start
[2025-03-19 17:05:07,179:1883355:kompirad:QueueManager] ERROR: [QueueManager] socket error: [Errno 111] Connection refused
[2025-03-19 17:05:07,179:1883355:kompirad:QueueManager] INFO: [QueueManager] waiting 30 seconds for retry connection ...
[2025-03-19 17:05:07,180:1883355:kompirad:ExpireManager] INFO: ExpireManager: started
[2025-03-19 17:05:07,232:1883355:kompirad:MainThread] INFO: [Engine] started.
[2025-03-19 17:05:17,646:1883355:kompirad:MainThread] INFO: [Engine] caught SystemExit
[2025-03-19 17:05:18,181:1883355:kompirad:ExpireManager] INFO: ExpireManager: finished: remain=0
[2025-03-19 17:05:18,372:1883355:kompirad:CollectThread] INFO: collect_handler: finished: count=0
[2025-03-19 17:05:19,173:1883355:kompirad:ResultThread] INFO: result_handler: finished: count=0
[2025-03-19 17:05:19,173:1883355:kompirad:MainThread] INFO: [WorkerManager] terminate_all_workers: []
[2025-03-19 17:05:19,173:1883355:kompirad:MainThread] INFO: [Engine] finished.
[2025-03-19 17:05:19,173:1883355:kompirad:MainThread] INFO: kompirad: going to terminate engine_server
[2025-03-19 17:05:19,188:1883355:kompirad:QueueManager] INFO: [QueueManager] retry connection
[2025-03-19 17:05:19,188:1883355:kompirad:QueueManager] INFO: [QueueManager] _connect start
[2025-03-19 17:05:19,191:1883355:kompirad:QueueManager] ERROR: [QueueManager] socket error: [Errno 111] Connection refused
[2025-03-19 17:05:19,191:1883355:kompirad:QueueManager] INFO: [QueueManager] waiting 30 seconds for retry connection ...
[2025-03-19 17:05:19,191:1883355:kompirad:QueueManager] INFO: [QueueManager] retry connection
[2025-03-19 17:05:19,191:1883355:kompirad:QueueManager] INFO: [QueueManager] _connect start
[2025-03-19 17:05:19,195:1883355:kompirad:QueueManager] ERROR: [QueueManager] socket error: [Errno 111] Connection refused
[2025-03-19 17:05:19,195:1883355:kompirad:QueueManager] INFO: [QueueManager] waiting 30 seconds for retry connection ...
[2025-03-19 17:05:19,195:1883355:kompirad:QueueManager] INFO: [QueueManager] retry connection
[2025-03-19 17:05:19,195:1883355:kompirad:QueueManager] INFO: [QueueManager] _connect start
[2025-03-19 17:05:19,198:1883355:kompirad:QueueManager] ERROR: [QueueManager] socket error: [Errno 111] Connection refused
[2025-03-19 17:05:19,198:1883355:kompirad:QueueManager] ERROR: [QueueManager] gave up retry connection
[2025-03-19 17:05:19,198:1883355:kompirad:QueueManager] INFO: [QueueManager] thread finished
[2025-03-19 17:05:19,672:1883355:kompirad:EngineServer] INFO: [EngineServer] thread finished
[2025-03-19 17:05:19,680:1883355:kompirad:MainThread] INFO: terminate_children: finish
[2025-03-19 17:05:19,681:1883355:kompirad:MainThread] INFO: kompirad: bye
[2025-03-19 17:05:19] INFO: starting pre-start of kompirad [ja]
[2025-03-19 17:05:19] INFO: PostgreSQL is running
[2025-03-19 17:05:20,670:1883548:kompirad:MainThread] INFO: kompira version = 1.6.2.post3
[2025-03-19 17:05:20,671:1883548:kompirad:MainThread] INFO: sys.version = 3.6.8 (default, Nov 15 2024, 08:11:39)
[GCC 8.5.0 20210514 (Red Hat 8.5.0-22)]
[2025-03-19 17:05:20,671:1883548:kompirad:MainThread] INFO: sys.stdin = <_io.TextIOWrapper name='<stdin>' mode='r' encoding='UTF-8'> (UTF-8)
[2025-03-19 17:05:20,671:1883548:kompirad:MainThread] INFO: sys.stdout = <_io.TextIOWrapper name='<stdout>' mode='w' encoding='UTF-8'> (UTF-8)
[2025-03-19 17:05:20,671:1883548:kompirad:MainThread] INFO: sys.stderr = <_io.TextIOWrapper name='<stderr>' mode='w' encoding='UTF-8'> (UTF-8)
[2025-03-19 17:05:20,671:1883548:kompirad:MainThread] INFO: sys.getdefaultencoding = utf-8
[2025-03-19 17:05:20,671:1883548:kompirad:MainThread] INFO: sys.getfilesystemencoding = utf-8
[2025-03-19 17:05:20,671:1883548:kompirad:MainThread] INFO: locale.getdefaultlocale = ja_JP, UTF-8
[2025-03-19 17:05:20,671:1883548:kompirad:MainThread] INFO: locale.getpreferredencoding = UTF-8
[2025-03-19 17:05:20,671:1883548:kompirad:EngineServer] INFO: [EngineServer] thread started
[2025-03-19 17:05:20,671:1883548:kompirad:MainThread] INFO: [Engine] starting...
[2025-03-19 17:05:20,672:1883548:kompirad:ResultThread] INFO: result_handler: started: result_timeout=1.0
[2025-03-19 17:05:20,672:1883548:kompirad:CollectThread] INFO: collect_handler: started: collect_interval=0.2
[2025-03-19 17:05:20,672:1883548:kompirad:MainThread] INFO: [WorkerManager] initialize: max_worker=32, max_alive=64
[2025-03-19 17:05:20,672:1883548:kompirad:MainThread] INFO: [Engine] initializing in recovery mode
[2025-03-19 17:05:20,703:1883548:kompirad:QueueManager] INFO: [QueueManager] thread started
[2025-03-19 17:05:20,704:1883548:kompirad:QueueManager] INFO: [QueueManager] _connect start
[2025-03-19 17:05:20,704:1883548:kompirad:ExpireManager] INFO: ExpireManager: started
[2025-03-19 17:05:20,734:1883548:kompirad:QueueManager] ERROR: [QueueManager] socket error: [Errno 111] Connection refused
[2025-03-19 17:05:20,734:1883548:kompirad:QueueManager] INFO: [QueueManager] waiting 30 seconds for retry connection ...
-
正式なコメント
フィックスポイントの高橋と申します。
ログからは kompirad サービスから rabbitmq-server に対して AMQP 接続できなくなっているように見受けられます（kompirad や kompira_jobmngrd の動作には rabbitmq-server との連携が必要です）。稼働中に yum update したことで、何らかの原因で rabbitmq-server サービスが正常に動作していない状況になったのではないかと推測されます。
kompira のインストーラ (install.sh) では、kompirad など各サービスなどを停止させてパッケージのインストールやアップデートを行いますし、rabbitmq-server はインストールするバージョンの制御なども行なっています。
手作業で yum update される場合は、想定外のアップデートなどで正常に動作しなくなる可能性もありますのでご注意ください。
コメントアクション -
フィックスポイント 高橋様
ご回答ありがとうございます。
kompiradとkompira_jobmngrdは停止した状態で手動yum updateを実行しましたが同様の結果でした。
KompiraEnterpriseのバージョンはアップデートせずにKompiraで利用している各パッケージの最新化方法はございますでしょうか。
Kompiraがインストールされているサーバの推奨されるパッケージアップデート方法がございましたらご教示いただけますと幸いです。
※導入時にinstall.shでインストールした各パッケージのアップデート自体が非推奨であれば作業中止します。
以上、よろしくお願いいたします。
-
KompiraEnterpriseのバージョンはアップデートせずにKompiraで利用している各パッケージの最新化方法はございますでしょうか。
Kompiraがインストールされているサーバの推奨されるパッケージアップデート方法がございましたらご教示いただけますと幸いです。基本的には install.sh を用いて Kompira パッケージごとアップデートしていただくことをご紹介させていただいています。
サーバ全体のパッケージアップデートの方法となると書かれているように yum update が一般的になりますが、OS や環境、実施の時期によっては今回のように問題が生じることもありえます。個別にご自身で問題解決できない場合はお控えいただいたほうがよいかもしれません。
今回については、ログの詳細などを確認してみないとわかりませんが、rabbitmq-server（または erlang）パッケージがサポート範囲外にアップデートしてしまったのではないか、という推測はできます。
この推測が正しければ、/etc/yum.conf の exclude 行に rabbitmq-server と erlang を追加して、yum update の対象外とすることで、それ以外のパッケージをアップデートできるかもしれません。
exclude=rabbitmq-server erlang
参考になさってみてください。
サインインしてコメントを残してください。
コメント
4件のコメント