Hi everyone, Recently i had a problem with my pve cluster and while looking through logs we find this kind of logs in every node Aug 29 10:44:26 pve01-poz kernel: [697358.187283] libceph: osd17 (1)10.0.0.3:6810 socket closed (con state OPEN) Aug 29 10:45:43 pve01-poz kernel: [697434.733343] libceph: osd1 (1)10.0.0.1:6837 socket closed (con state OPEN) Aug 29 10:46:54 pve01-poz kernel: [697506.414196] libceph: osd15 (1)10.0.0.1:6836 socket closed (con state OPEN) Aug 29 10:47:56 pve01-poz kernel: [697567.855454] libceph: osd4 (1)10.0.0.1:6802 socket closed (con state OPEN) Aug 29 10:49:08 pve01-poz kernel: [697639.497740] libceph: osd4 (1)10.0.0.1:6802 socket closed (con state OPEN) Aug 29 10:51:50 pve01-poz kernel: [697802.060504] libceph: osd12 (1)10.0.0.3:6811 socket closed (con state OPEN) Aug 29 10:55:37 pve01-poz kernel: [698028.664214] libceph: osd1 (1)10.0.0.1:6837 socket closed (con state OPEN) The problem we had was with corosync that is using another network and other ethernet ports. But we'd like to know if this logs are normal and it's just part of how Ceph work or if we should dig deep to check what is causing this logs Thank you in advance for your time and help Samuel Moya Tinoco Departamento de Sistemas y Redes Móvil: (+34) 606985997 smoya@vivelibre.es<mailto:smoya@vivelibre.es> ViveLibre C/ La Orotava 4 28660 Boadilla del Monte Madrid www.vivelibre.es<http://www.vivelibre.es/> [cid:image001.png@01DC219E.CAC50090] Soluciones inteligentes para la autonomía personal "Tanto este mensaje como todos los posibles documentos adjuntos al mismo son confidenciales y están dirigidos exclusivamente a los destinatarios de los mismos. Por favor, si Usted no es uno de dichos destinatarios, notifíquenos este hecho y elimine el mensaje de su sistema. Queda prohibida la copia, difusión o revelación de su contenido a terceros sin el previo consentimiento por escrito de VIVELIBRE AUTONOMÍA PERSONAL S.L.U. (VIVELIBRE). En caso contrario, vulnerará la legislación vigente. De conformidad con lo establecido en el Reglamento (UE) 2016/679, General de Protección de Datos, le informamos de que sus datos son objeto de tratamiento por VIVELIBRE, en calidad de Responsable del Tratamiento. VIVELIBRE tratará sus datos con la finalidad de mantener la relación contractual, gestionar su solicitud, así como remitirle comunicaciones de carácter comercial relacionadas con su ámbito de actividad y los servicios prestados. Si desea ejercitar sus derechos de acceso, rectificación, supresión, limitación, oposición o portabilidad, puede dirigirse a la dirección postal Calle de la Orotava 4, 28660, Boadilla del Monte, (Madrid) o a la dirección de correo electrónico protecciondedatos@vivelibre.es. Para obtener más información sobre cómo tratamos sus datos, consulta nuestra Política de Privacidad en Política de Privacidad - Vivelibre."
Yes, these are informational messages telling you the kernel client is closing a tcp connection to an osd. Here's a Red Hat KCS on this topic: https://access.redhat.com/solutions/2202981 On Wed, Sep 10, 2025 at 12:54 PM Samuel Moya Tinoco <smoya@vivelibre.es> wrote:
Hi everyone,
Recently i had a problem with my pve cluster and while looking through logs we find this kind of logs in every node
Aug 29 10:44:26 pve01-poz kernel: [697358.187283] libceph: osd17 (1) 10.0.0.3:6810 socket closed (con state OPEN) Aug 29 10:45:43 pve01-poz kernel: [697434.733343] libceph: osd1 (1) 10.0.0.1:6837 socket closed (con state OPEN) Aug 29 10:46:54 pve01-poz kernel: [697506.414196] libceph: osd15 (1) 10.0.0.1:6836 socket closed (con state OPEN) Aug 29 10:47:56 pve01-poz kernel: [697567.855454] libceph: osd4 (1) 10.0.0.1:6802 socket closed (con state OPEN) Aug 29 10:49:08 pve01-poz kernel: [697639.497740] libceph: osd4 (1) 10.0.0.1:6802 socket closed (con state OPEN) Aug 29 10:51:50 pve01-poz kernel: [697802.060504] libceph: osd12 (1) 10.0.0.3:6811 socket closed (con state OPEN) Aug 29 10:55:37 pve01-poz kernel: [698028.664214] libceph: osd1 (1) 10.0.0.1:6837 socket closed (con state OPEN)
The problem we had was with corosync that is using another network and other ethernet ports. But we'd like to know if this logs are normal and it's just part of how Ceph work or if we should dig deep to check what is causing this logs
Thank you in advance for your time and help
*Samuel Moya Tinoco*
Departamento de Sistemas y Redes
Móvil: (+34) 606985997
smoya@vivelibre.es
*ViveLibre*
C/ La Orotava 4
28660 Boadilla del Monte
Madrid
www.vivelibre.es
Soluciones inteligentes para la autonomía personal
*"Tanto este mensaje como todos los posibles documentos adjuntos al mismo son confidenciales y están dirigidos exclusivamente a los destinatarios de los mismos. Por favor, si Usted no es uno de dichos destinatarios, notifíquenos este hecho y elimine el mensaje de su sistema. Queda prohibida la copia, difusión o revelación de su contenido a terceros sin el previo consentimiento por escrito de VIVELIBRE AUTONOMÍA PERSONAL S.L.U. (VIVELIBRE). En caso contrario, vulnerará la legislación vigente. De conformidad con lo establecido en el Reglamento (UE) 2016/679, General de Protección de Datos, le informamos de que sus datos son objeto de tratamiento por VIVELIBRE, en calidad de Responsable del Tratamiento. VIVELIBRE tratará sus datos con la finalidad de mantener la relación contractual, gestionar su solicitud, así como remitirle comunicaciones de carácter comercial relacionadas con su ámbito de actividad y los servicios prestados. Si desea ejercitar sus derechos de acceso, rectificación, supresión, limitación, oposición o portabilidad, puede dirigirse a la dirección postal Calle de la Orotava 4, 28660, Boadilla del Monte, (Madrid) o a la dirección de correo electrónico protecciondedatos@vivelibre.es <protecciondedatos@vivelibre.es>. Para obtener más información sobre cómo tratamos sus datos, consulta nuestra Política de Privacidad en Política de Privacidad - Vivelibre.” * _______________________________________________ ceph-users mailing list -- ceph-users@ceph.io To unsubscribe send an email to ceph-users-leave@ceph.io
-- Kelson White Sr. Software Maintenance Engineer Red Hat - Denver <https://www.redhat.com/>
On Wed, Sep 10, 2025 at 9:10 PM Kelson White <kelwhite@redhat.com> wrote:
Yes, these are informational messages telling you the kernel client is closing a tcp connection to an osd. Here's a Red Hat KCS on this topic: https://access.redhat.com/solutions/2202981
Hi Kelson, It's the other way around, namely when an OSD closes the session underneath the kernel client -- one that the kernel client didn't intend to be closed -- or there is some kind of disruption. When the kernel client closes its session voluntarily, no message is emitted. Thanks, Ilya
On Wed, Sep 10, 2025 at 12:54 PM Samuel Moya Tinoco <smoya@vivelibre.es> wrote:
Hi everyone,
Recently i had a problem with my pve cluster and while looking through logs we find this kind of logs in every node
Aug 29 10:44:26 pve01-poz kernel: [697358.187283] libceph: osd17 (1)10.0.0.3:6810 socket closed (con state OPEN) Aug 29 10:45:43 pve01-poz kernel: [697434.733343] libceph: osd1 (1)10.0.0.1:6837 socket closed (con state OPEN) Aug 29 10:46:54 pve01-poz kernel: [697506.414196] libceph: osd15 (1)10.0.0.1:6836 socket closed (con state OPEN) Aug 29 10:47:56 pve01-poz kernel: [697567.855454] libceph: osd4 (1)10.0.0.1:6802 socket closed (con state OPEN) Aug 29 10:49:08 pve01-poz kernel: [697639.497740] libceph: osd4 (1)10.0.0.1:6802 socket closed (con state OPEN) Aug 29 10:51:50 pve01-poz kernel: [697802.060504] libceph: osd12 (1)10.0.0.3:6811 socket closed (con state OPEN) Aug 29 10:55:37 pve01-poz kernel: [698028.664214] libceph: osd1 (1)10.0.0.1:6837 socket closed (con state OPEN)
The problem we had was with corosync that is using another network and other ethernet ports. But we'd like to know if this logs are normal and it's just part of how Ceph work or if we should dig deep to check what is causing this logs
Thank you in advance for your time and help
Samuel Moya Tinoco
Departamento de Sistemas y Redes
Móvil: (+34) 606985997
smoya@vivelibre.es
ViveLibre
C/ La Orotava 4
28660 Boadilla del Monte
Madrid
www.vivelibre.es
Soluciones inteligentes para la autonomía personal
"Tanto este mensaje como todos los posibles documentos adjuntos al mismo son confidenciales y están dirigidos exclusivamente a los destinatarios de los mismos. Por favor, si Usted no es uno de dichos destinatarios, notifíquenos este hecho y elimine el mensaje de su sistema. Queda prohibida la copia, difusión o revelación de su contenido a terceros sin el previo consentimiento por escrito de VIVELIBRE AUTONOMÍA PERSONAL S.L.U. (VIVELIBRE). En caso contrario, vulnerará la legislación vigente. De conformidad con lo establecido en el Reglamento (UE) 2016/679, General de Protección de Datos, le informamos de que sus datos son objeto de tratamiento por VIVELIBRE, en calidad de Responsable del Tratamiento. VIVELIBRE tratará sus datos con la finalidad de mantener la relación contractual, gestionar su solicitud, así como remitirle comunicaciones de carácter comercial relacionadas con su ámbito de actividad y los servicios prestados. Si desea ejercitar sus derechos de acceso, rectificación, supresión, limitación, oposición o portabilidad, puede dirigirse a la dirección postal Calle de la Orotava 4, 28660, Boadilla del Monte, (Madrid) o a la dirección de correo electrónico protecciondedatos@vivelibre.es. Para obtener más información sobre cómo tratamos sus datos, consulta nuestra Política de Privacidad en Política de Privacidad - Vivelibre.” _______________________________________________ ceph-users mailing list -- ceph-users@ceph.io To unsubscribe send an email to ceph-users-leave@ceph.io
--
Kelson White
Sr. Software Maintenance Engineer
Red Hat - Denver
_______________________________________________ ceph-users mailing list -- ceph-users@ceph.io To unsubscribe send an email to ceph-users-leave@ceph.io
I am getting the same messages sporadically. Are they something to be concerned about? Is there a way to stop them or find/fix the underlying issue? Unfortunately, you need a Red Hat subscription to view the KCS link. Can anyone post it here if they have access? -----Original Message----- From: Ilya Dryomov <idryomov@gmail.com> Sent: Wednesday, September 10, 2025 4:16 PM To: Kelson White <kelwhite@redhat.com> Cc: Samuel Moya Tinoco <smoya@vivelibre.es>; ceph-users@ceph.io Subject: [ceph-users] Re: OSD socket closed On Wed, Sep 10, 2025 at 9:10 PM Kelson White <kelwhite@redhat.com> wrote:
Yes, these are informational messages telling you the kernel client is closing a tcp connection to an osd. Here's a Red Hat KCS on this topic: https://access.redhat.com/solutions/2202981
Hi Kelson, It's the other way around, namely when an OSD closes the session underneath the kernel client -- one that the kernel client didn't intend to be closed -- or there is some kind of disruption. When the kernel client closes its session voluntarily, no message is emitted. Thanks, Ilya
On Wed, Sep 10, 2025 at 12:54 PM Samuel Moya Tinoco <smoya@vivelibre.es> wrote:
Hi everyone,
Recently i had a problem with my pve cluster and while looking through logs we find this kind of logs in every node
Aug 29 10:44:26 pve01-poz kernel: [697358.187283] libceph: osd17 (1)10.0.0.3:6810 socket closed (con state OPEN) Aug 29 10:45:43 pve01-poz kernel: [697434.733343] libceph: osd1 (1)10.0.0.1:6837 socket closed (con state OPEN) Aug 29 10:46:54 pve01-poz kernel: [697506.414196] libceph: osd15 (1)10.0.0.1:6836 socket closed (con state OPEN) Aug 29 10:47:56 pve01-poz kernel: [697567.855454] libceph: osd4 (1)10.0.0.1:6802 socket closed (con state OPEN) Aug 29 10:49:08 pve01-poz kernel: [697639.497740] libceph: osd4 (1)10.0.0.1:6802 socket closed (con state OPEN) Aug 29 10:51:50 pve01-poz kernel: [697802.060504] libceph: osd12 (1)10.0.0.3:6811 socket closed (con state OPEN) Aug 29 10:55:37 pve01-poz kernel: [698028.664214] libceph: osd1 (1)10.0.0.1:6837 socket closed (con state OPEN)
The problem we had was with corosync that is using another network and other ethernet ports. But we'd like to know if this logs are normal and it's just part of how Ceph work or if we should dig deep to check what is causing this logs
Thank you in advance for your time and help
Samuel Moya Tinoco
Departamento de Sistemas y Redes
Móvil: (+34) 606985997
smoya@vivelibre.es
ViveLibre
C/ La Orotava 4
28660 Boadilla del Monte
Madrid
www.vivelibre.es
Soluciones inteligentes para la autonomía personal
"Tanto este mensaje como todos los posibles documentos adjuntos al mismo son confidenciales y están dirigidos exclusivamente a los destinatarios de los mismos. Por favor, si Usted no es uno de dichos destinatarios, notifíquenos este hecho y elimine el mensaje de su sistema. Queda prohibida la copia, difusión o revelación de su contenido a terceros sin el previo consentimiento por escrito de VIVELIBRE AUTONOMÍA PERSONAL S.L.U. (VIVELIBRE). En caso contrario, vulnerará la legislación vigente. De conformidad con lo establecido en el Reglamento (UE) 2016/679, General de Protección de Datos, le informamos de que sus datos son objeto de tratamiento por VIVELIBRE, en calidad de Responsable del Tratamiento. VIVELIBRE tratará sus datos con la finalidad de mantener la relación contractual, gestionar su solicitud, así como remitirle comunicaciones de carácter comercial relacionadas con su ámbito de actividad y los servicios prestados. Si desea ejercitar sus derechos de acceso, rectificación, supresión, limitación, oposición o portabilidad, puede dirigirse a la dirección postal Calle de la Orotava 4, 28660, Boadilla del Monte, (Madrid) o a la dirección de correo electrónico protecciondedatos@vivelibre.es. Para obtener más información sobre cómo tratamos sus datos, consulta nuestra Política de Privacidad en Política de Privacidad - Vivelibre.” _______________________________________________ ceph-users mailing list -- ceph-users@ceph.io To unsubscribe send an email to ceph-users-leave@ceph.io
--
Kelson White
Sr. Software Maintenance Engineer
Red Hat - Denver
_______________________________________________ ceph-users mailing list -- ceph-users@ceph.io To unsubscribe send an email to ceph-users-leave@ceph.io
_______________________________________________ ceph-users mailing list -- ceph-users@ceph.io To unsubscribe send an email to ceph-users-leave@ceph.io
participants (4)
-
Administrator
-
Ilya Dryomov
-
Kelson White
-
Samuel Moya Tinoco