Hi,
Ötleteket keresek, hogy mit nézzek még meg, mert már kezdenek a hajszálaim
kihullani ettől a problémától.
Alapszitu: Debian Squeeze (6.0) Dom0, IBM HS22-es pengék, 57711-es broadcom
nic-ekkel, bnx2x driver.
Ha simán két debian közt mérek egyet iperf-el, akkor ilyeneket mérek:
node02:~# iperf -c 10.10.3.7
TCP window size: 27.9 KByte (default)
[ 3] local 10.10.3.4 port 38408 connected with 10.10.3.7 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 11.5 GBytes 9.90 Gbits/sec
node02:~# iperf -c 10.11.3.7
TCP window size: 27.9 KByte (default)
[ 3] local 10.11.3.4 port 33478 connected with 10.11.3.7 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 11.5 GBytes 9.89 Gbits/sec
node02: 10.x.3.4, node05: 10.x.3.7
A 10-es 2. byte-u a node05-es natív vlanjában van, a többi taggelve, a
11-es 2. byte-u alhálót a node02-es kapja az interfészen natívan, és a
többit tagelve.
(A 10-es és 11-es alháló azért van, mert az iSCSI storage-t multipath-al
tervezem elérni, és így a szerverek egyik fele az egyik interface-n látja
tageletlenül, a szerverek másik fele a másik interface-n látja
tageletlenül.)
Ugyanezek az eredmények, ha a default kernel helyett a 2.6.32-5-xen-amd64
kernelt bootolom a node05-ön.
node02-n lenny van + virtualbox + hw offload kikapcsolva a vbox miatt.
Szerintem ezek magyarázzák, miért rosszabbak kicsit az eredmények, amikor
node05-ről mérem node02-t:
root@node05:~# iperf -c 10.10.3.4
TCP window size: 27.9 KByte (default)
[ 3] local 10.10.3.7 port 37561 connected with 10.10.3.4 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 10.4 GBytes 8.92 Gbits/sec
root@node05:~# iperf -c 10.11.3.4
TCP window size: 27.9 KByte (default)
[ 3] local 10.11.3.7 port 58597 connected with 10.11.3.4 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 9.78 GBytes 8.40 Gbits/sec
Amit semmi nem magyaráz: Miért lassul rettenetesen le, amikor a xen-es
kernelt XEN hypervisorral együtt bootolom a node05-re:
node02:~# iperf -c 10.10.3.5
TCP window size: 27.9 KByte (default)
[ 3] local 10.10.3.4 port 51229 connected with 10.10.3.5 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 6.34 GBytes 5.45 Gbits/sec
node02:~# iperf -c 10.11.3.5
TCP window size: 27.9 KByte (default)
[ 3] local 10.11.3.4 port 58196 connected with 10.11.3.5 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 6.32 GBytes 5.42 Gbits/sec
root@node05:~# xm info
host : node05
release : 2.6.32-5-xen-amd64
version : #1 SMP Wed Jan 12 05:46:49 UTC 2011
machine : x86_64
nr_cpus : 8
nr_nodes : 2
cores_per_socket : 4
threads_per_core : 1
cpu_mhz : 2000
hw_caps :
bfebfbff:28100800:00000000:00001b40:009ce3bd:00000000:00000001:00000000
virt_caps : hvm hvm_directio
total_memory : 16372
free_memory : 3674
node_to_cpu : node0:0-3
node1:4-7
node_to_memory : node0:2802
node1:871
node_to_dma32_mem : node0:478
node1:0
max_node_id : 1
xen_major : 4
xen_minor : 0
xen_extra : .1
xen_caps : xen-3.0-x86_64 xen-3.0-x86_32p hvm-3.0-x86_32
hvm-3.0-x86_32p hvm-3.0-x86_64
xen_scheduler : credit
xen_pagesize : 4096
platform_params : virt_start=0xffff800000000000
xen_changeset : unavailable
xen_commandline : placeholder
cc_compiler : gcc version 4.4.5 (Debian 4.4.5-10)
cc_compile_by : waldi
cc_compile_domain : debian.org
cc_compile_date : Wed Jan 12 14:04:06 UTC 2011
xend_config_format : 4
t@node05:~# tail -20 /proc/cpuinfo
processor : 7
vendor_id : GenuineIntel
cpu family : 6
model : 26
model name : Intel(R) Xeon(R) CPU E5504 @ 2.00GHz
stepping : 5
cpu MHz : 2000.112
cache size : 4096 KB
fpu : yes
fpu_exception : yes
cpuid level : 11
wp : yes
flags : fpu de tsc msr pae mce cx8 apic sep mtrr mca cmov pat
clflush acpi mmx fxsr sse sse2 ss ht syscall nx lm constant_tsc rep_good
nonstop_tsc aperfmperf pni est ssse3 cx16 sse4_1 sse4_2 popcnt hypervisor
lahf_lm
bogomips : 4000.22
clflush size : 64
cache_alignment : 64
address sizes : 40 bits physical, 48 bits virtual
power management:
Bármilyen használható tipp, ötlet, bármi nagyon jól jönne!
Köszi!
Üdv:Gyur!
_________________________________________________
linux lista - linux@mlf.linux.rulez.org
http://mlf2.linux.rulez.org/mailman/listinfo/linux
