Hello Felix! I really appreciate your attention! I did as you suggested, applying ` external_ids:ovn-monitor-all ` option of ovn-controller config into ovsswitch db. It worked like magic! CPU of Ovsdb-server processes of SBDB cluster dropped almost to 0%, Yet we have started to observe spontaneous 100% CPU bursts (every 5-10secs) at ovn-controller processes, both Network and Compute Nodes, that's expectable
Thanks again Yours truly, George On 06.11.2023, 18:26, "Felix Huettner" <[email protected] <mailto:[email protected]>arz> wrote: Hi, 1) yes. For us it was worth the tradeof 1a) not unless you are heavily bandwidth restricted 2) relays are great, but we run with relays and with monitor-all=True as this gave us the best stability so far Thanks Felix On Mon, Nov 06, 2023 at 01:20:37PM +0000, Шагов Георгий wrote: > Hello Felix > > Thank you for the hint! > Looking into the spec for the option [external_ids:ovn-monitor-all] I have a > couple of questions if you please > > 1) we do exchange request traffic from ovn-controller to SBDB ovsdb-server to > the traffic from ovsdb-server to ovn-controller with full info for all > datapathes, even not related to current chassis, do not we? > 1a) Do you observe any additional risks here? > 2) do you think that Relay Option could help in this case? > > Thx in advance > > On 06.11.2023, 10:59, "Felix Huettner" <[email protected] > <mailto:[email protected]> <mailto:[email protected] > <mailto:[email protected]>>arz> wrote: > > > Hi, > > > the excessive monitor_cond_change cpu usage of ovn-controller in larger > deployments is quite common. > You can try to set `external_ids:ovn-monitor-all` to true on all (or the > most affecting) ovn-controller nodes. > > > Thanks > Felix > > > On Mon, Nov 06, 2023 at 07:29:30AM +0000, Шагов Георгий via discuss wrote: > > Hello Team! > > > > Update > > > > We have extended logs to DBG level at the problem SBDB Node and it was > > found that there is a very Excessive monitor_cond_change request from > > ovn_controller of one of Network Nodes. > > This request takes about 230Kb in Json. It has about 3k+ datapathes. But > > the uniq datapathes are about half of these, i.e. 1500+ > > It this a normal behavior I wonder? Or it looks like a bug? > > > > Thnx in advance > > > > > > > > From: discuss <[email protected] > > <mailto:[email protected]> > > <mailto:[email protected] > > <mailto:[email protected]>>> on behalf of Шагов Георгий > > via discuss <[email protected] > > <mailto:[email protected]> <mailto:[email protected] > > <mailto:[email protected]>>> > > Reply to: Шагов Георгий <[email protected] <mailto:[email protected]> > > <mailto:[email protected] <mailto:[email protected]>>> > > Date: Saturday, 4 November 2023, 21:05 > > To: "[email protected] <mailto:[email protected]> > > <mailto:[email protected] <mailto:[email protected]>>" > > <[email protected] <mailto:[email protected]> > > <mailto:[email protected] <mailto:[email protected]>>> > > Subject: [ovs-discuss] OVSDB-server of SBDB cluster node takes 100% CPU > > > > ВНИМАНИЕ! ВНЕШНИЙ ОТПРАВИТЕЛЬ > > Если отправитель почты неизвестен, не переходите по ссылкам, не сообщайте > > пароль, > > не запускайте вложения и сообщите коллегам из ЦКЗ на [email protected] > > <mailto:[email protected]> <mailto:[email protected] > > <mailto:[email protected]>><mailto:[email protected] > > <mailto:[email protected]> <mailto:[email protected] > > <mailto:[email protected]>>> > > Hello Team! > > > > OVS-2.17.7 > > OVN-22.03.3 > > > > We have a cluster of SDBD in 5 Nodes. When we make a load from NBDB/NorthD > > (making/deleting routers) we observe a strange behavior: > > > > * Some nodes (ovsdb-server) of the cluster spontaneously starts in 100% CPU > > * It could be one or two nodes, not leading, what is remarkable > > * Leading node and the rest nodes of the cluster remains in 20-30% CPU or > > even less > > * This happens for 3-10 mins > > * Usually, it is causing leader re-election > > * We have extended election-time for a leader re-election it gets better; > > re-election is not so frequent; ant yet we are still observing 100% for > > some node > > > > Here are the very confusing lines from the logs for the nodes > > (ovsdb-server) with 100% CPU utilization: > > > > 2023-11-04T07:01:13.447Z|292408|poll_loop|INFO|wakeup due to 1-ms timeout > > at ../lib/reconnect.c:677 (72% CPU usage) > > 2023-11-04T07:01:13.448Z|292409|poll_loop|INFO|wakeup due to 1-ms timeout > > at ../lib/reconnect.c:677 (72% CPU usage) > > > > Any clues are extremely appreciated! > > > > Thnx in advance > > Yours truly, George > > УВЕДОМЛЕНИЕ О КОНФИДЕНЦИАЛЬНОСТИ: Это электронное сообщение и любые > > документы, приложенные к нему, содержат конфиденциальную информацию. > > Настоящим уведомляем Вас о том, что если это сообщение не предназначено > > Вам, использование, копирование, распространение информации, содержащейся в > > настоящем сообщении, а также осуществление любых действий на основе этой > > информации, строго запрещено. Если Вы получили это сообщение по ошибке, > > пожалуйста, сообщите об этом отправителю по электронной почте и удалите это > > сообщение. > > CONFIDENTIALITY NOTICE: This email and any files attached to it are > > confidential. If you are not the intended recipient you are notified that > > using, copying, distributing or taking any action in reliance on the > > contents of this information is strictly prohibited. If you have received > > this email in error please notify the sender and delete this email. > > > > > > УВЕДОМЛЕНИЕ О КОНФИДЕНЦИАЛЬНОСТИ: Это электронное сообщение и любые > > документы, приложенные к нему, содержат конфиденциальную информацию. > > Настоящим уведомляем Вас о том, что если это сообщение не предназначено > > Вам, использование, копирование, распространение информации, содержащейся в > > настоящем сообщении, а также осуществление любых действий на основе этой > > информации, строго запрещено. Если Вы получили это сообщение по ошибке, > > пожалуйста, сообщите об этом отправителю по электронной почте и удалите это > > сообщение. > > CONFIDENTIALITY NOTICE: This email and any files attached to it are > > confidential. If you are not the intended recipient you are notified that > > using, copying, distributing or taking any action in reliance on the > > contents of this information is strictly prohibited. If you have received > > this email in error please notify the sender and delete this email. > > > > _______________________________________________ > > discuss mailing list > > [email protected] <mailto:[email protected]> > > <mailto:[email protected] <mailto:[email protected]>> > > https://mail.openvswitch.org/mailman/listinfo/ovs-discuss > > <https://mail.openvswitch.org/mailman/listinfo/ovs-discuss> > > <https://mail.openvswitch.org/mailman/listinfo/ovs-discuss> > > <https://mail.openvswitch.org/mailman/listinfo/ovs-discuss>> > > > Diese E Mail enthält möglicherweise vertrauliche Inhalte und ist nur für die > Verwertung durch den vorgesehenen Empfänger bestimmt. > Sollten Sie nicht der vorgesehene Empfänger sein, setzen Sie den Absender > bitte unverzüglich in Kenntnis und löschen diese E Mail. > > > Hinweise zum Datenschutz finden Sie hier<https://www.datenschutz.schwarz/> > <https://www.datenschutz.schwarz/>> <https://www.datenschutz.schwarz/;> > <https://www.datenschutz.schwarz/;>>. > > > > > This e-mail may contain confidential content and is intended only for the > specified recipient/s. > If you are not the intended recipient, please inform the sender immediately > and delete this e-mail. > > > Information on data protection can be found > here<https://www.datenschutz.schwarz/> <https://www.datenschutz.schwarz/>> > <https://www.datenschutz.schwarz/;> <https://www.datenschutz.schwarz/;>>. > > > > УВЕДОМЛЕНИЕОКОНФИДЕНЦИАЛЬНОСТИ:Этоэлектронноесообщениеилюбыедокументы,приложенныекнему,содержатконфиденциальнуюинформацию.НастоящимуведомляемВасотом,чтоеслиэтосообщениенепредназначеноВам,использование,копирование,распространениеинформации,содержащейсявнастоящемсообщении,атакжеосуществлениелюбыхдействийнаосновеэтойинформации,строгозапрещено.ЕслиВыполучилиэтосообщениепоошибке,пожалуйста,сообщитеобэтомотправителюпоэлектроннойпочтеиудалитеэтосообщение. > CONFIDENTIALITY NOTICE: This email and any files attached to it are > confidential. If you are not the intended recipient you are notified that > using, copying, distributing or taking any action in reliance on the contents > of this information is strictly prohibited. If you have received this email > in error please notify the sender and delete this email. Diese E Mail enthält möglicherweise vertrauliche Inhalte und ist nur für die Verwertung durch den vorgesehenen Empfänger bestimmt. Sollten Sie nicht der vorgesehene Empfänger sein, setzen Sie den Absender bitte unverzüglich in Kenntnis und löschen diese E Mail. Hinweise zum Datenschutz finden Sie hier<https://www.datenschutz.schwarz/> <https://www.datenschutz.schwarz/>>. This e-mail may contain confidential content and is intended only for the specified recipient/s. If you are not the intended recipient, please inform the sender immediately and delete this e-mail. Information on data protection can be found here<https://www.datenschutz.schwarz/> <https://www.datenschutz.schwarz/>>. УВЕДОМЛЕНИЕОКОНФИДЕНЦИАЛЬНОСТИ:Этоэлектронноесообщениеилюбыедокументы,приложенныекнему,содержатконфиденциальнуюинформацию.НастоящимуведомляемВасотом,чтоеслиэтосообщениенепредназначеноВам,использование,копирование,распространениеинформации,содержащейсявнастоящемсообщении,атакжеосуществлениелюбыхдействийнаосновеэтойинформации,строгозапрещено.ЕслиВыполучилиэтосообщениепоошибке,пожалуйста,сообщитеобэтомотправителюпоэлектроннойпочтеиудалитеэтосообщение. CONFIDENTIALITY NOTICE: This email and any files attached to it are confidential. If you are not the intended recipient you are notified that using, copying, distributing or taking any action in reliance on the contents of this information is strictly prohibited. If you have received this email in error please notify the sender and delete this email. _______________________________________________ discuss mailing list [email protected] https://mail.openvswitch.org/mailman/listinfo/ovs-discuss
