Hi, the excessive monitor_cond_change cpu usage of ovn-controller in larger deployments is quite common. You can try to set `external_ids:ovn-monitor-all` to true on all (or the most affecting) ovn-controller nodes.
Thanks Felix On Mon, Nov 06, 2023 at 07:29:30AM +0000, Шагов Георгий via discuss wrote: > Hello Team! > > Update > > We have extended logs to DBG level at the problem SBDB Node and it was found > that there is a very Excessive monitor_cond_change request from > ovn_controller of one of Network Nodes. > This request takes about 230Kb in Json. It has about 3k+ datapathes. But the > uniq datapathes are about half of these, i.e. 1500+ > It this a normal behavior I wonder? Or it looks like a bug? > > Thnx in advance > > > > From: discuss <[email protected]> on behalf of Шагов > Георгий via discuss <[email protected]> > Reply to: Шагов Георгий <[email protected]> > Date: Saturday, 4 November 2023, 21:05 > To: "[email protected]" <[email protected]> > Subject: [ovs-discuss] OVSDB-server of SBDB cluster node takes 100% CPU > > ВНИМАНИЕ! ВНЕШНИЙ ОТПРАВИТЕЛЬ > Если отправитель почты неизвестен, не переходите по ссылкам, не сообщайте > пароль, > не запускайте вложения и сообщите коллегам из ЦКЗ на > [email protected]<mailto:[email protected]> > Hello Team! > > OVS-2.17.7 > OVN-22.03.3 > > We have a cluster of SDBD in 5 Nodes. When we make a load from NBDB/NorthD > (making/deleting routers) we observe a strange behavior: > > * Some nodes (ovsdb-server) of the cluster spontaneously starts in 100% > CPU > * It could be one or two nodes, not leading, what is remarkable > * Leading node and the rest nodes of the cluster remains in 20-30% CPU or > even less > * This happens for 3-10 mins > * Usually, it is causing leader re-election > * We have extended election-time for a leader re-election it gets better; > re-election is not so frequent; ant yet we are still observing 100% for some > node > > Here are the very confusing lines from the logs for the nodes (ovsdb-server) > with 100% CPU utilization: > > 2023-11-04T07:01:13.447Z|292408|poll_loop|INFO|wakeup due to 1-ms timeout at > ../lib/reconnect.c:677 (72% CPU usage) > 2023-11-04T07:01:13.448Z|292409|poll_loop|INFO|wakeup due to 1-ms timeout at > ../lib/reconnect.c:677 (72% CPU usage) > > Any clues are extremely appreciated! > > Thnx in advance > Yours truly, George > УВЕДОМЛЕНИЕ О КОНФИДЕНЦИАЛЬНОСТИ: Это электронное сообщение и любые > документы, приложенные к нему, содержат конфиденциальную информацию. > Настоящим уведомляем Вас о том, что если это сообщение не предназначено Вам, > использование, копирование, распространение информации, содержащейся в > настоящем сообщении, а также осуществление любых действий на основе этой > информации, строго запрещено. Если Вы получили это сообщение по ошибке, > пожалуйста, сообщите об этом отправителю по электронной почте и удалите это > сообщение. > CONFIDENTIALITY NOTICE: This email and any files attached to it are > confidential. If you are not the intended recipient you are notified that > using, copying, distributing or taking any action in reliance on the contents > of this information is strictly prohibited. If you have received this email > in error please notify the sender and delete this email. > > > УВЕДОМЛЕНИЕ О КОНФИДЕНЦИАЛЬНОСТИ: Это электронное сообщение и любые > документы, приложенные к нему, содержат конфиденциальную информацию. > Настоящим уведомляем Вас о том, что если это сообщение не предназначено Вам, > использование, копирование, распространение информации, содержащейся в > настоящем сообщении, а также осуществление любых действий на основе этой > информации, строго запрещено. Если Вы получили это сообщение по ошибке, > пожалуйста, сообщите об этом отправителю по электронной почте и удалите это > сообщение. > CONFIDENTIALITY NOTICE: This email and any files attached to it are > confidential. If you are not the intended recipient you are notified that > using, copying, distributing or taking any action in reliance on the contents > of this information is strictly prohibited. If you have received this email > in error please notify the sender and delete this email. > _______________________________________________ > discuss mailing list > [email protected] > https://mail.openvswitch.org/mailman/listinfo/ovs-discuss Diese E Mail enthält möglicherweise vertrauliche Inhalte und ist nur für die Verwertung durch den vorgesehenen Empfänger bestimmt. Sollten Sie nicht der vorgesehene Empfänger sein, setzen Sie den Absender bitte unverzüglich in Kenntnis und löschen diese E Mail. Hinweise zum Datenschutz finden Sie hier<https://www.datenschutz.schwarz>. This e-mail may contain confidential content and is intended only for the specified recipient/s. If you are not the intended recipient, please inform the sender immediately and delete this e-mail. Information on data protection can be found here<https://www.datenschutz.schwarz>. _______________________________________________ discuss mailing list [email protected] https://mail.openvswitch.org/mailman/listinfo/ovs-discuss
