Public bug reported: Functional test "test_metadata_proxy_rate_limiting_ipv6" is failing from time to time due to the timeout while connecting to the metadata proxy (haproxy) service.
Examples of failure: https://07237e8f4ab85c729718-eb12a13160f6c15076811ebfc6dacfe7.ssl.cf5.rackcdn.com/periodic/opendev.org/openstack/neutron/master/neutron- functional-with-pyroute2-master/c8a8c8b/job-output.txt https://9d8741f9b12c72356853-cbb980286bb4edf7e11c952127446228.ssl.cf2.rackcdn.com/periodic/opendev.org/openstack/neutron/master/neutron- functional/0ecf80c/job-output.txt https://storage.gra.cloud.ovh.net/v1/AUTH_dcaab5e32b234d56b626f72581e3644c/zuul_opendev_logs_6d2/926922/3/check/neutron- functional-with-uwsgi/6d257e7/job-output.txt Stacktrace: 2024-08-26 07:23:33.221508 | controller | Captured traceback: 2024-08-26 07:23:33.221518 | controller | ~~~~~~~~~~~~~~~~~~~ 2024-08-26 07:23:33.221525 | controller | Traceback (most recent call last): 2024-08-26 07:23:33.221572 | controller | 2024-08-26 07:23:33.221583 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/functional/agent/l3/test_metadata_proxy.py", line 109, in _query_metadata_proxy 2024-08-26 07:23:33.221594 | controller | raw_headers = machine.execute(cmd) 2024-08-26 07:23:33.221603 | controller | 2024-08-26 07:23:33.221623 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/common/machine_fixtures.py", line 56, in execute 2024-08-26 07:23:33.221636 | controller | return ns_ip_wrapper.netns.execute(*args, **kwargs) 2024-08-26 07:23:33.221647 | controller | 2024-08-26 07:23:33.221658 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/agent/linux/ip_lib.py", line 775, in execute 2024-08-26 07:23:33.221672 | controller | return utils.execute(cmd, check_exit_code=check_exit_code, 2024-08-26 07:23:33.221711 | controller | 2024-08-26 07:23:33.221724 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/agent/linux/utils.py", line 155, in execute 2024-08-26 07:23:33.221735 | controller | raise exceptions.ProcessExecutionError(msg, 2024-08-26 07:23:33.221746 | controller | 2024-08-26 07:23:33.222884 | controller | neutron_lib.exceptions.ProcessExecutionError: Exit code: 28; Cmd: ['ip', 'netns', 'exec', 'test-e2ea0587-ad1e-44fd-8d6d-b6e5efb3c857', 'curl', '--max-time', 60, '-D-', 'http://[fe80::a9fe:a9fe%port19caee]:80']; Stdin: ; Stdout: ; Stderr: % Total % Received % Xferd Average Speed Time Time Time Current 2024-08-26 07:23:33.224396 | controller | Dload Upload Total Spent Left Speed 2024-08-26 07:23:33.224505 | controller | 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:01 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:02 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:03 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:05 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:07 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:08 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:09 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:10 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:11 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:13 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:15 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:17 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:18 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:20 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:21 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:22 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:23 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:24 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:25 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:26 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:27 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:28 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:29 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:30 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:31 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:32 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:33 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:34 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:35 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:36 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:37 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:38 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:39 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:40 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:41 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:42 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:43 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:44 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:45 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:46 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:47 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:48 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:49 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:50 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:51 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:52 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:53 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:54 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:55 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:56 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:57 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:58 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:59 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:01:00 --:--:-- 0 2024-08-26 07:23:33.287025 | controller | curl: (28) Connection timed out after 60000 milliseconds 2024-08-26 07:23:33.287075 | controller | 2024-08-26 07:23:33.287087 | controller | 2024-08-26 07:23:33.287096 | controller | 2024-08-26 07:23:33.287105 | controller | During handling of the above exception, another exception occurred: 2024-08-26 07:23:33.287112 | controller | 2024-08-26 07:23:33.287122 | controller | 2024-08-26 07:23:33.287131 | controller | Traceback (most recent call last): 2024-08-26 07:23:33.287138 | controller | 2024-08-26 07:23:33.287145 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/base.py", line 178, in func 2024-08-26 07:23:33.287156 | controller | return f(self, *args, **kwargs) 2024-08-26 07:23:33.287165 | controller | 2024-08-26 07:23:33.287172 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/functional/agent/l3/test_metadata_proxy.py", line 194, in test_metadata_proxy_rate_limiting_ipv6 2024-08-26 07:23:33.287180 | controller | self._test_rate_limiting(2, machine, ipv6=True, interface=interface) 2024-08-26 07:23:33.287190 | controller | 2024-08-26 07:23:33.287199 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/functional/agent/l3/test_metadata_proxy.py", line 169, in _test_rate_limiting 2024-08-26 07:23:33.287206 | controller | firstline = self._query_metadata_proxy(machine, ipv6=ipv6, 2024-08-26 07:23:33.287213 | controller | 2024-08-26 07:23:33.287223 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/functional/agent/l3/test_metadata_proxy.py", line 116, in _query_metadata_proxy 2024-08-26 07:23:33.287231 | controller | self.fail('metadata proxy unreachable ' 2024-08-26 07:23:33.287239 | controller | 2024-08-26 07:23:33.287245 | controller | File "/usr/lib/python3.10/unittest/case.py", line 675, in fail 2024-08-26 07:23:33.287255 | controller | raise self.failureException(msg) 2024-08-26 07:23:33.287264 | controller | 2024-08-26 07:23:33.287271 | controller | AssertionError: metadata proxy unreachable on http://[fe80::a9fe:a9fe%port19caee]:80 before timeout ** Affects: neutron Importance: High Status: Confirmed ** Tags: functional-tests gate-failure -- You received this bug notification because you are a member of Yahoo! Engineering Team, which is subscribed to neutron. https://bugs.launchpad.net/bugs/2079048 Title: Metadata functional tests failing due to connection timeout Status in neutron: Confirmed Bug description: Functional test "test_metadata_proxy_rate_limiting_ipv6" is failing from time to time due to the timeout while connecting to the metadata proxy (haproxy) service. Examples of failure: https://07237e8f4ab85c729718-eb12a13160f6c15076811ebfc6dacfe7.ssl.cf5.rackcdn.com/periodic/opendev.org/openstack/neutron/master/neutron- functional-with-pyroute2-master/c8a8c8b/job-output.txt https://9d8741f9b12c72356853-cbb980286bb4edf7e11c952127446228.ssl.cf2.rackcdn.com/periodic/opendev.org/openstack/neutron/master/neutron- functional/0ecf80c/job-output.txt https://storage.gra.cloud.ovh.net/v1/AUTH_dcaab5e32b234d56b626f72581e3644c/zuul_opendev_logs_6d2/926922/3/check/neutron- functional-with-uwsgi/6d257e7/job-output.txt Stacktrace: 2024-08-26 07:23:33.221508 | controller | Captured traceback: 2024-08-26 07:23:33.221518 | controller | ~~~~~~~~~~~~~~~~~~~ 2024-08-26 07:23:33.221525 | controller | Traceback (most recent call last): 2024-08-26 07:23:33.221572 | controller | 2024-08-26 07:23:33.221583 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/functional/agent/l3/test_metadata_proxy.py", line 109, in _query_metadata_proxy 2024-08-26 07:23:33.221594 | controller | raw_headers = machine.execute(cmd) 2024-08-26 07:23:33.221603 | controller | 2024-08-26 07:23:33.221623 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/common/machine_fixtures.py", line 56, in execute 2024-08-26 07:23:33.221636 | controller | return ns_ip_wrapper.netns.execute(*args, **kwargs) 2024-08-26 07:23:33.221647 | controller | 2024-08-26 07:23:33.221658 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/agent/linux/ip_lib.py", line 775, in execute 2024-08-26 07:23:33.221672 | controller | return utils.execute(cmd, check_exit_code=check_exit_code, 2024-08-26 07:23:33.221711 | controller | 2024-08-26 07:23:33.221724 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/agent/linux/utils.py", line 155, in execute 2024-08-26 07:23:33.221735 | controller | raise exceptions.ProcessExecutionError(msg, 2024-08-26 07:23:33.221746 | controller | 2024-08-26 07:23:33.222884 | controller | neutron_lib.exceptions.ProcessExecutionError: Exit code: 28; Cmd: ['ip', 'netns', 'exec', 'test-e2ea0587-ad1e-44fd-8d6d-b6e5efb3c857', 'curl', '--max-time', 60, '-D-', 'http://[fe80::a9fe:a9fe%port19caee]:80']; Stdin: ; Stdout: ; Stderr: % Total % Received % Xferd Average Speed Time Time Time Current 2024-08-26 07:23:33.224396 | controller | Dload Upload Total Spent Left Speed 2024-08-26 07:23:33.224505 | controller | 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:01 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:02 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:03 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:05 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:07 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:08 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:09 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:10 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:11 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:13 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:15 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:17 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:18 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:20 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:21 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:22 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:23 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:24 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:25 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:26 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:27 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:28 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:29 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:30 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:31 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:32 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:33 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:34 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:35 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:36 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:37 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:38 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:39 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:40 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:41 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:42 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:43 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:44 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:45 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:46 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:47 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:48 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:49 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:50 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:51 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:52 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:53 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:54 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:55 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:56 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:57 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:58 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:00:59 --:--:-- 0 0 0 0 0 0 0 0 0 --:--:-- 0:01:00 --:--:-- 0 2024-08-26 07:23:33.287025 | controller | curl: (28) Connection timed out after 60000 milliseconds 2024-08-26 07:23:33.287075 | controller | 2024-08-26 07:23:33.287087 | controller | 2024-08-26 07:23:33.287096 | controller | 2024-08-26 07:23:33.287105 | controller | During handling of the above exception, another exception occurred: 2024-08-26 07:23:33.287112 | controller | 2024-08-26 07:23:33.287122 | controller | 2024-08-26 07:23:33.287131 | controller | Traceback (most recent call last): 2024-08-26 07:23:33.287138 | controller | 2024-08-26 07:23:33.287145 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/base.py", line 178, in func 2024-08-26 07:23:33.287156 | controller | return f(self, *args, **kwargs) 2024-08-26 07:23:33.287165 | controller | 2024-08-26 07:23:33.287172 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/functional/agent/l3/test_metadata_proxy.py", line 194, in test_metadata_proxy_rate_limiting_ipv6 2024-08-26 07:23:33.287180 | controller | self._test_rate_limiting(2, machine, ipv6=True, interface=interface) 2024-08-26 07:23:33.287190 | controller | 2024-08-26 07:23:33.287199 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/functional/agent/l3/test_metadata_proxy.py", line 169, in _test_rate_limiting 2024-08-26 07:23:33.287206 | controller | firstline = self._query_metadata_proxy(machine, ipv6=ipv6, 2024-08-26 07:23:33.287213 | controller | 2024-08-26 07:23:33.287223 | controller | File "/home/zuul/src/opendev.org/openstack/neutron/neutron/tests/functional/agent/l3/test_metadata_proxy.py", line 116, in _query_metadata_proxy 2024-08-26 07:23:33.287231 | controller | self.fail('metadata proxy unreachable ' 2024-08-26 07:23:33.287239 | controller | 2024-08-26 07:23:33.287245 | controller | File "/usr/lib/python3.10/unittest/case.py", line 675, in fail 2024-08-26 07:23:33.287255 | controller | raise self.failureException(msg) 2024-08-26 07:23:33.287264 | controller | 2024-08-26 07:23:33.287271 | controller | AssertionError: metadata proxy unreachable on http://[fe80::a9fe:a9fe%port19caee]:80 before timeout To manage notifications about this bug go to: https://bugs.launchpad.net/neutron/+bug/2079048/+subscriptions -- Mailing list: https://launchpad.net/~yahoo-eng-team Post to : yahoo-eng-team@lists.launchpad.net Unsubscribe : https://launchpad.net/~yahoo-eng-team More help : https://help.launchpad.net/ListHelp
