Print

Please login or register.
1 Hour 1 Day 1 Week 1 Month Forever
Login with username, password and session length

[Ronski]

Was that on Linux or Windows Alex?

[Ronski]

I received my LC to LC OM3 fibre cable today, and the transceivers work, so I'm now running fibre between the server and switch.

I've moved the cards around, both in my X99 system and the server as the cards were in slots not able to fully utilise maximum speed, but it made no difference to my Iperf3 results. I  think it's a Windows thing, and may be also Iperf3, I found some talk of it having some problems on Windows. At some point I'll try Linux Live USB stick on the two desktop systems.

The motherboard on the server only has PCIe 2 slots (it is 10 years old), but as far as I can work out the x8 slot the NIC is in should be plenty fast enough. I'm considering changing the motherboard, and at some point installing Windows 10 Pro on there instead of WHS2011 which is now out of support.

[Alex Atkin UK]

Was that on Linux or Windows Alex?

I think I tested on both but to be safe I will assume Linux, the NAS I was testing against would always be Linux though.

https://forum.kitz.co.uk/index.php/topic,24581.msg413332.html

[Ronski]

I'm now hitting around 9Gbps between the two Windows 10 machines, but getting substantially lower to the server, between 4 to 6Gbps. This is with Jumbo Packets of 9014 bytes on all three machines.

The server is about 10 years old, running WHS2011 on an i3 540 CPU, but I don't see any increase in CPU usage during the tests. The NIC is a Supermicro AOC-STGN-I2S SFP+ which uses an Intel 82599 chipset. It's plugged into the x16 socket, but is a x8 card, socket is PCIe v2.

Code: [Select]

Microsoft Windows [Version 10.0.19042.630]
(c) 2020 Microsoft Corporation. All rights reserved.

C:\Temp>iperf3 -c 192.168.0.10
Connecting to host 192.168.0.10, port 5201
[  5] local 192.168.0.11 port 29224 connected to 192.168.0.10 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   998 MBytes  8.37 Gbits/sec
[  5]   1.00-2.00   sec  1.06 GBytes  9.12 Gbits/sec
[  5]   2.00-3.00   sec  1.00 GBytes  8.62 Gbits/sec
[  5]   3.00-4.00   sec   980 MBytes  8.22 Gbits/sec
[  5]   4.00-5.00   sec  1.05 GBytes  9.03 Gbits/sec
[  5]   5.00-6.00   sec  1.08 GBytes  9.25 Gbits/sec
[  5]   6.00-7.00   sec  1.09 GBytes  9.36 Gbits/sec
[  5]   7.00-8.00   sec  1.09 GBytes  9.32 Gbits/sec
[  5]   8.00-9.00   sec  1.09 GBytes  9.37 Gbits/sec
[  5]   9.00-10.00  sec  1.04 GBytes  8.95 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  10.4 GBytes  8.96 Gbits/sec                  sender
[  5]   0.00-10.05  sec  10.4 GBytes  8.91 Gbits/sec                  receiver

iperf Done.

C:\Temp>iperf3 -c 192.168.0.10
Connecting to host 192.168.0.10, port 5201
[  5] local 192.168.0.11 port 29228 connected to 192.168.0.10 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  1.02 GBytes  8.78 Gbits/sec
[  5]   1.00-2.00   sec  1.07 GBytes  9.19 Gbits/sec
[  5]   2.00-3.00   sec  1.06 GBytes  9.10 Gbits/sec
[  5]   3.00-4.00   sec  1.02 GBytes  8.75 Gbits/sec
[  5]   4.00-5.00   sec  1.12 GBytes  9.60 Gbits/sec
[  5]   5.00-6.00   sec  1.07 GBytes  9.15 Gbits/sec
[  5]   6.00-7.00   sec  1018 MBytes  8.54 Gbits/sec
[  5]   7.00-8.00   sec  1.02 GBytes  8.76 Gbits/sec
[  5]   8.00-9.00   sec  1.09 GBytes  9.32 Gbits/sec
[  5]   9.00-10.00  sec  1.11 GBytes  9.57 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  10.6 GBytes  9.08 Gbits/sec                  sender
[  5]   0.00-10.04  sec  10.6 GBytes  9.04 Gbits/sec                  receiver

iperf Done.

C:\Temp>iperf3 -c 192.168.0.10 -P2
Connecting to host 192.168.0.10, port 5201
[  5] local 192.168.0.11 port 29230 connected to 192.168.0.10 port 5201
[  7] local 192.168.0.11 port 29231 connected to 192.168.0.10 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   569 MBytes  4.76 Gbits/sec
[  7]   0.00-1.00   sec   574 MBytes  4.80 Gbits/sec
[SUM]   0.00-1.00   sec  1.12 GBytes  9.56 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec   558 MBytes  4.69 Gbits/sec
[  7]   1.00-2.00   sec   570 MBytes  4.79 Gbits/sec
[SUM]   1.00-2.00   sec  1.10 GBytes  9.48 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec   576 MBytes  4.83 Gbits/sec
[  7]   2.00-3.00   sec   583 MBytes  4.89 Gbits/sec
[SUM]   2.00-3.00   sec  1.13 GBytes  9.72 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec   545 MBytes  4.58 Gbits/sec
[  7]   3.00-4.00   sec   546 MBytes  4.59 Gbits/sec
[SUM]   3.00-4.00   sec  1.07 GBytes  9.16 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec   575 MBytes  4.82 Gbits/sec
[  7]   4.00-5.00   sec   571 MBytes  4.78 Gbits/sec
[SUM]   4.00-5.00   sec  1.12 GBytes  9.60 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec   553 MBytes  4.64 Gbits/sec
[  7]   5.00-6.00   sec   585 MBytes  4.90 Gbits/sec
[SUM]   5.00-6.00   sec  1.11 GBytes  9.54 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec   544 MBytes  4.56 Gbits/sec
[  7]   6.00-7.00   sec   552 MBytes  4.63 Gbits/sec
[SUM]   6.00-7.00   sec  1.07 GBytes  9.20 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec   543 MBytes  4.56 Gbits/sec
[  7]   7.00-8.00   sec   537 MBytes  4.51 Gbits/sec
[SUM]   7.00-8.00   sec  1.05 GBytes  9.07 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec   519 MBytes  4.35 Gbits/sec
[  7]   8.00-9.00   sec   484 MBytes  4.07 Gbits/sec
[SUM]   8.00-9.00   sec  1004 MBytes  8.42 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec   551 MBytes  4.62 Gbits/sec
[  7]   9.00-10.00  sec   541 MBytes  4.54 Gbits/sec
[SUM]   9.00-10.00  sec  1.07 GBytes  9.15 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  5.40 GBytes  4.64 Gbits/sec                  sender
[  5]   0.00-10.04  sec  5.40 GBytes  4.62 Gbits/sec                  receiver
[  7]   0.00-10.00  sec  5.41 GBytes  4.65 Gbits/sec                  sender
[  7]   0.00-10.04  sec  5.41 GBytes  4.63 Gbits/sec                  receiver
[SUM]   0.00-10.00  sec  10.8 GBytes  9.29 Gbits/sec                  sender
[SUM]   0.00-10.04  sec  10.8 GBytes  9.25 Gbits/sec                  receiver

iperf Done.

C:\Temp>iperf3 -c 192.168.0.20
Connecting to host 192.168.0.20, port 5201
[  5] local 192.168.0.11 port 29256 connected to 192.168.0.20 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   338 MBytes  2.83 Gbits/sec
[  5]   1.00-2.00   sec   414 MBytes  3.48 Gbits/sec
[  5]   2.00-3.00   sec   409 MBytes  3.43 Gbits/sec
[  5]   3.00-4.00   sec   419 MBytes  3.52 Gbits/sec
[  5]   4.00-5.00   sec   403 MBytes  3.38 Gbits/sec
[  5]   5.00-6.00   sec   426 MBytes  3.58 Gbits/sec
[  5]   6.00-7.00   sec   356 MBytes  2.99 Gbits/sec
[  5]   7.00-8.00   sec   376 MBytes  3.15 Gbits/sec
[  5]   8.00-9.00   sec   384 MBytes  3.22 Gbits/sec
[  5]   9.00-10.00  sec   408 MBytes  3.42 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  3.84 GBytes  3.30 Gbits/sec                  sender
[  5]   0.00-10.03  sec  3.84 GBytes  3.29 Gbits/sec                  receiver

iperf Done.

C:\Temp>iperf3 -c 192.168.0.20 -P4
Connecting to host 192.168.0.20, port 5201
[  5] local 192.168.0.11 port 29258 connected to 192.168.0.20 port 5201
[  7] local 192.168.0.11 port 29259 connected to 192.168.0.20 port 5201
[  9] local 192.168.0.11 port 29260 connected to 192.168.0.20 port 5201
[ 11] local 192.168.0.11 port 29261 connected to 192.168.0.20 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   156 MBytes  1.31 Gbits/sec
[  7]   0.00-1.00   sec   152 MBytes  1.28 Gbits/sec
[  9]   0.00-1.00   sec   140 MBytes  1.18 Gbits/sec
[ 11]   0.00-1.00   sec   137 MBytes  1.15 Gbits/sec
[SUM]   0.00-1.00   sec   586 MBytes  4.92 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec   194 MBytes  1.63 Gbits/sec
[  7]   1.00-2.00   sec   185 MBytes  1.55 Gbits/sec
[  9]   1.00-2.00   sec   163 MBytes  1.37 Gbits/sec
[ 11]   1.00-2.00   sec   159 MBytes  1.33 Gbits/sec
[SUM]   1.00-2.00   sec   701 MBytes  5.88 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec   199 MBytes  1.67 Gbits/sec
[  7]   2.00-3.00   sec   184 MBytes  1.55 Gbits/sec
[  9]   2.00-3.00   sec   163 MBytes  1.37 Gbits/sec
[ 11]   2.00-3.00   sec   161 MBytes  1.35 Gbits/sec
[SUM]   2.00-3.00   sec   708 MBytes  5.94 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec   207 MBytes  1.73 Gbits/sec
[  7]   3.00-4.00   sec   186 MBytes  1.56 Gbits/sec
[  9]   3.00-4.00   sec   163 MBytes  1.37 Gbits/sec
[ 11]   3.00-4.00   sec   153 MBytes  1.29 Gbits/sec
[SUM]   3.00-4.00   sec   709 MBytes  5.95 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec   187 MBytes  1.57 Gbits/sec
[  7]   4.00-5.00   sec   183 MBytes  1.54 Gbits/sec
[  9]   4.00-5.00   sec   126 MBytes  1.06 Gbits/sec
[ 11]   4.00-5.00   sec   123 MBytes  1.03 Gbits/sec
[SUM]   4.00-5.00   sec   620 MBytes  5.20 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec   218 MBytes  1.83 Gbits/sec
[  7]   5.00-6.00   sec   200 MBytes  1.68 Gbits/sec
[  9]   5.00-6.00   sec   160 MBytes  1.34 Gbits/sec
[ 11]   5.00-6.00   sec   154 MBytes  1.29 Gbits/sec
[SUM]   5.00-6.00   sec   732 MBytes  6.14 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec   200 MBytes  1.68 Gbits/sec
[  7]   6.00-7.00   sec   172 MBytes  1.44 Gbits/sec
[  9]   6.00-7.00   sec   165 MBytes  1.38 Gbits/sec
[ 11]   6.00-7.00   sec   157 MBytes  1.31 Gbits/sec
[SUM]   6.00-7.00   sec   694 MBytes  5.82 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec   196 MBytes  1.65 Gbits/sec
[  7]   7.00-8.00   sec   181 MBytes  1.52 Gbits/sec
[  9]   7.00-8.00   sec   160 MBytes  1.34 Gbits/sec
[ 11]   7.00-8.00   sec   157 MBytes  1.31 Gbits/sec
[SUM]   7.00-8.00   sec   694 MBytes  5.82 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec   211 MBytes  1.77 Gbits/sec
[  7]   8.00-9.00   sec   192 MBytes  1.61 Gbits/sec
[  9]   8.00-9.00   sec   154 MBytes  1.29 Gbits/sec
[ 11]   8.00-9.00   sec   150 MBytes  1.26 Gbits/sec
[SUM]   8.00-9.00   sec   708 MBytes  5.94 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec   213 MBytes  1.79 Gbits/sec
[  7]   9.00-10.00  sec   192 MBytes  1.61 Gbits/sec
[  9]   9.00-10.00  sec   167 MBytes  1.40 Gbits/sec
[ 11]   9.00-10.00  sec   164 MBytes  1.37 Gbits/sec
[SUM]   9.00-10.00  sec   736 MBytes  6.16 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  1.94 GBytes  1.66 Gbits/sec                  sender
[  5]   0.00-10.01  sec  1.94 GBytes  1.66 Gbits/sec                  receiver
[  7]   0.00-10.00  sec  1.78 GBytes  1.53 Gbits/sec                  sender
[  7]   0.00-10.01  sec  1.78 GBytes  1.53 Gbits/sec                  receiver
[  9]   0.00-10.00  sec  1.53 GBytes  1.31 Gbits/sec                  sender
[  9]   0.00-10.01  sec  1.52 GBytes  1.31 Gbits/sec                  receiver
[ 11]   0.00-10.00  sec  1.48 GBytes  1.27 Gbits/sec                  sender
[ 11]   0.00-10.01  sec  1.48 GBytes  1.27 Gbits/sec                  receiver
[SUM]   0.00-10.00  sec  6.73 GBytes  5.78 Gbits/sec                  sender
[SUM]   0.00-10.01  sec  6.73 GBytes  5.77 Gbits/sec                  receiver

iperf Done.

C:\Temp>iperf3 -c 192.168.0.20 -P8
Connecting to host 192.168.0.20, port 5201
[  5] local 192.168.0.11 port 29266 connected to 192.168.0.20 port 5201
[  7] local 192.168.0.11 port 29267 connected to 192.168.0.20 port 5201
[  9] local 192.168.0.11 port 29268 connected to 192.168.0.20 port 5201
[ 11] local 192.168.0.11 port 29269 connected to 192.168.0.20 port 5201
[ 13] local 192.168.0.11 port 29270 connected to 192.168.0.20 port 5201
[ 15] local 192.168.0.11 port 29271 connected to 192.168.0.20 port 5201
[ 17] local 192.168.0.11 port 29272 connected to 192.168.0.20 port 5201
[ 19] local 192.168.0.11 port 29273 connected to 192.168.0.20 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  68.4 MBytes   573 Mbits/sec
[  7]   0.00-1.00   sec  66.6 MBytes   559 Mbits/sec
[  9]   0.00-1.00   sec   132 MBytes  1.10 Gbits/sec
[ 11]   0.00-1.00   sec   143 MBytes  1.20 Gbits/sec
[ 13]   0.00-1.00   sec  66.5 MBytes   558 Mbits/sec
[ 15]   0.00-1.00   sec  62.8 MBytes   526 Mbits/sec
[ 17]   0.00-1.00   sec  63.8 MBytes   535 Mbits/sec
[ 19]   0.00-1.00   sec  60.9 MBytes   510 Mbits/sec
[SUM]   0.00-1.00   sec   663 MBytes  5.56 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  76.9 MBytes   645 Mbits/sec
[  7]   1.00-2.00   sec  74.0 MBytes   621 Mbits/sec
[  9]   1.00-2.00   sec   153 MBytes  1.28 Gbits/sec
[ 11]   1.00-2.00   sec   146 MBytes  1.22 Gbits/sec
[ 13]   1.00-2.00   sec  85.0 MBytes   713 Mbits/sec
[ 15]   1.00-2.00   sec  73.0 MBytes   613 Mbits/sec
[ 17]   1.00-2.00   sec  75.1 MBytes   630 Mbits/sec
[ 19]   1.00-2.00   sec  75.4 MBytes   632 Mbits/sec
[SUM]   1.00-2.00   sec   758 MBytes  6.36 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec  83.5 MBytes   700 Mbits/sec
[  7]   2.00-3.00   sec  79.5 MBytes   667 Mbits/sec
[  9]   2.00-3.00   sec   146 MBytes  1.22 Gbits/sec
[ 11]   2.00-3.00   sec   129 MBytes  1.08 Gbits/sec
[ 13]   2.00-3.00   sec  81.6 MBytes   685 Mbits/sec
[ 15]   2.00-3.00   sec  80.2 MBytes   673 Mbits/sec
[ 17]   2.00-3.00   sec  78.0 MBytes   654 Mbits/sec
[ 19]   2.00-3.00   sec  82.5 MBytes   692 Mbits/sec
[SUM]   2.00-3.00   sec   760 MBytes  6.37 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec  78.0 MBytes   654 Mbits/sec
[  7]   3.00-4.00   sec  75.4 MBytes   632 Mbits/sec
[  9]   3.00-4.00   sec   145 MBytes  1.22 Gbits/sec
[ 11]   3.00-4.00   sec   134 MBytes  1.13 Gbits/sec
[ 13]   3.00-4.00   sec  76.9 MBytes   645 Mbits/sec
[ 15]   3.00-4.00   sec  72.8 MBytes   610 Mbits/sec
[ 17]   3.00-4.00   sec  74.2 MBytes   623 Mbits/sec
[ 19]   3.00-4.00   sec  69.9 MBytes   586 Mbits/sec
[SUM]   3.00-4.00   sec   727 MBytes  6.10 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec  78.1 MBytes   655 Mbits/sec
[  7]   4.00-5.00   sec  63.5 MBytes   533 Mbits/sec
[  9]   4.00-5.00   sec   163 MBytes  1.37 Gbits/sec
[ 11]   4.00-5.00   sec   148 MBytes  1.24 Gbits/sec
[ 13]   4.00-5.00   sec  80.6 MBytes   676 Mbits/sec
[ 15]   4.00-5.00   sec  74.4 MBytes   624 Mbits/sec
[ 17]   4.00-5.00   sec  76.8 MBytes   644 Mbits/sec
[ 19]   4.00-5.00   sec  74.2 MBytes   623 Mbits/sec
[SUM]   4.00-5.00   sec   759 MBytes  6.36 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec  78.8 MBytes   659 Mbits/sec
[  7]   5.00-6.00   sec  74.8 MBytes   625 Mbits/sec
[  9]   5.00-6.00   sec   143 MBytes  1.19 Gbits/sec
[ 11]   5.00-6.00   sec   135 MBytes  1.13 Gbits/sec
[ 13]   5.00-6.00   sec  79.8 MBytes   667 Mbits/sec
[ 15]   5.00-6.00   sec  73.0 MBytes   611 Mbits/sec
[ 17]   5.00-6.00   sec  76.8 MBytes   642 Mbits/sec
[ 19]   5.00-6.00   sec  74.1 MBytes   620 Mbits/sec
[SUM]   5.00-6.00   sec   734 MBytes  6.14 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec  74.9 MBytes   630 Mbits/sec
[  7]   6.00-7.00   sec  66.0 MBytes   555 Mbits/sec
[  9]   6.00-7.00   sec   157 MBytes  1.32 Gbits/sec
[ 11]   6.00-7.00   sec   141 MBytes  1.19 Gbits/sec
[ 13]   6.00-7.00   sec  74.6 MBytes   628 Mbits/sec
[ 15]   6.00-7.00   sec  68.1 MBytes   573 Mbits/sec
[ 17]   6.00-7.00   sec  71.6 MBytes   603 Mbits/sec
[ 19]   6.00-7.00   sec  70.2 MBytes   591 Mbits/sec
[SUM]   6.00-7.00   sec   723 MBytes  6.09 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  77.9 MBytes   653 Mbits/sec
[  7]   7.00-8.00   sec  76.6 MBytes   642 Mbits/sec
[  9]   7.00-8.00   sec   152 MBytes  1.27 Gbits/sec
[ 11]   7.00-8.00   sec   144 MBytes  1.21 Gbits/sec
[ 13]   7.00-8.00   sec  79.4 MBytes   666 Mbits/sec
[ 15]   7.00-8.00   sec  73.9 MBytes   619 Mbits/sec
[ 17]   7.00-8.00   sec  75.6 MBytes   634 Mbits/sec
[ 19]   7.00-8.00   sec  73.6 MBytes   617 Mbits/sec
[SUM]   7.00-8.00   sec   753 MBytes  6.31 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  82.5 MBytes   692 Mbits/sec
[  7]   8.00-9.00   sec  83.4 MBytes   700 Mbits/sec
[  9]   8.00-9.00   sec   144 MBytes  1.21 Gbits/sec
[ 11]   8.00-9.00   sec   146 MBytes  1.22 Gbits/sec
[ 13]   8.00-9.00   sec  79.6 MBytes   668 Mbits/sec
[ 15]   8.00-9.00   sec  72.9 MBytes   611 Mbits/sec
[ 17]   8.00-9.00   sec  72.1 MBytes   605 Mbits/sec
[ 19]   8.00-9.00   sec  75.0 MBytes   629 Mbits/sec
[SUM]   8.00-9.00   sec   755 MBytes  6.34 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  81.6 MBytes   684 Mbits/sec
[  7]   9.00-10.00  sec  77.6 MBytes   650 Mbits/sec
[  9]   9.00-10.00  sec   153 MBytes  1.28 Gbits/sec
[ 11]   9.00-10.00  sec   150 MBytes  1.26 Gbits/sec
[ 13]   9.00-10.00  sec  82.1 MBytes   688 Mbits/sec
[ 15]   9.00-10.00  sec  73.8 MBytes   618 Mbits/sec
[ 17]   9.00-10.00  sec  79.1 MBytes   663 Mbits/sec
[ 19]   9.00-10.00  sec  74.1 MBytes   621 Mbits/sec
[SUM]   9.00-10.00  sec   771 MBytes  6.46 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec   780 MBytes   655 Mbits/sec                  sender
[  5]   0.00-10.01  sec   780 MBytes   654 Mbits/sec                  receiver
[  7]   0.00-10.00  sec   737 MBytes   618 Mbits/sec                  sender
[  7]   0.00-10.01  sec   737 MBytes   618 Mbits/sec                  receiver
[  9]   0.00-10.00  sec  1.45 GBytes  1.25 Gbits/sec                  sender
[  9]   0.00-10.01  sec  1.45 GBytes  1.25 Gbits/sec                  receiver
[ 11]   0.00-10.00  sec  1.38 GBytes  1.19 Gbits/sec                  sender
[ 11]   0.00-10.01  sec  1.38 GBytes  1.19 Gbits/sec                  receiver
[ 13]   0.00-10.00  sec   786 MBytes   659 Mbits/sec                  sender
[ 13]   0.00-10.01  sec   786 MBytes   659 Mbits/sec                  receiver
[ 15]   0.00-10.00  sec   725 MBytes   608 Mbits/sec                  sender
[ 15]   0.00-10.01  sec   724 MBytes   607 Mbits/sec                  receiver
[ 17]   0.00-10.00  sec   743 MBytes   623 Mbits/sec                  sender
[ 17]   0.00-10.01  sec   743 MBytes   623 Mbits/sec                  receiver
[ 19]   0.00-10.00  sec   730 MBytes   612 Mbits/sec                  sender
[ 19]   0.00-10.01  sec   730 MBytes   612 Mbits/sec                  receiver
[SUM]   0.00-10.00  sec  7.23 GBytes  6.21 Gbits/sec                  sender
[SUM]   0.00-10.01  sec  7.23 GBytes  6.20 Gbits/sec                  receiver

iperf Done.

C:\Temp>

[Alex Atkin UK]

I'd definitely try booting the server from a Linux USB stick, just to confirm its not a hardware problem.

[Ronski]

I've now tested with Linux Mint on the server and get slightly better results, but still no where near what it should be.

Code: [Select]

Iperf3 Windows 10 to Linux Mint on my server.

Microsoft Windows [Version 10.0.19042.630]
(c) 2020 Microsoft Corporation. All rights reserved.

C:\Temp>iperf3 -c 192.168.0.209
Connecting to host 192.168.0.209, port 5201
[  5] local 192.168.0.11 port 9274 connected to 192.168.0.209 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   530 MBytes  4.44 Gbits/sec
[  5]   1.00-2.00   sec   442 MBytes  3.71 Gbits/sec
[  5]   2.00-3.00   sec   458 MBytes  3.84 Gbits/sec
[  5]   3.00-4.00   sec   484 MBytes  4.06 Gbits/sec
[  5]   4.00-5.00   sec   544 MBytes  4.57 Gbits/sec
[  5]   5.00-6.00   sec   448 MBytes  3.76 Gbits/sec
[  5]   6.00-7.00   sec   401 MBytes  3.36 Gbits/sec
[  5]   7.00-8.01   sec   427 MBytes  3.56 Gbits/sec
[  5]   8.01-9.00   sec   446 MBytes  3.77 Gbits/sec
[  5]   9.00-10.00  sec   473 MBytes  3.97 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  4.54 GBytes  3.90 Gbits/sec                  sender
[  5]   0.00-10.05  sec  4.54 GBytes  3.88 Gbits/sec                  receiver

iperf Done.

C:\Temp>iperf3 -c 192.168.0.209 -P2
Connecting to host 192.168.0.209, port 5201
[  5] local 192.168.0.11 port 9276 connected to 192.168.0.209 port 5201
[  7] local 192.168.0.11 port 9277 connected to 192.168.0.209 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.01   sec   335 MBytes  2.79 Gbits/sec
[  7]   0.00-1.01   sec   335 MBytes  2.79 Gbits/sec
[SUM]   0.00-1.01   sec   670 MBytes  5.58 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.01-2.00   sec   338 MBytes  2.85 Gbits/sec
[  7]   1.01-2.00   sec   337 MBytes  2.84 Gbits/sec
[SUM]   1.01-2.00   sec   674 MBytes  5.70 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec   334 MBytes  2.80 Gbits/sec
[  7]   2.00-3.00   sec   297 MBytes  2.49 Gbits/sec
[SUM]   2.00-3.00   sec   631 MBytes  5.29 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec   332 MBytes  2.79 Gbits/sec
[  7]   3.00-4.00   sec   326 MBytes  2.74 Gbits/sec
[SUM]   3.00-4.00   sec   658 MBytes  5.52 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec   301 MBytes  2.52 Gbits/sec
[  7]   4.00-5.00   sec   299 MBytes  2.51 Gbits/sec
[SUM]   4.00-5.00   sec   600 MBytes  5.03 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec   336 MBytes  2.81 Gbits/sec
[  7]   5.00-6.00   sec   331 MBytes  2.78 Gbits/sec
[SUM]   5.00-6.00   sec   667 MBytes  5.59 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec   345 MBytes  2.89 Gbits/sec
[  7]   6.00-7.00   sec   341 MBytes  2.86 Gbits/sec
[SUM]   6.00-7.00   sec   686 MBytes  5.75 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec   296 MBytes  2.49 Gbits/sec
[  7]   7.00-8.00   sec   292 MBytes  2.45 Gbits/sec
[SUM]   7.00-8.00   sec   589 MBytes  4.94 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec   330 MBytes  2.77 Gbits/sec
[  7]   8.00-9.00   sec   328 MBytes  2.75 Gbits/sec
[SUM]   8.00-9.00   sec   658 MBytes  5.52 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec   348 MBytes  2.92 Gbits/sec
[  7]   9.00-10.00  sec   338 MBytes  2.83 Gbits/sec
[SUM]   9.00-10.00  sec   686 MBytes  5.74 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  3.22 GBytes  2.76 Gbits/sec                  sender
[  5]   0.00-10.05  sec  3.22 GBytes  2.75 Gbits/sec                  receiver
[  7]   0.00-10.00  sec  3.15 GBytes  2.70 Gbits/sec                  sender
[  7]   0.00-10.05  sec  3.15 GBytes  2.69 Gbits/sec                  receiver
[SUM]   0.00-10.00  sec  6.37 GBytes  5.47 Gbits/sec                  sender
[SUM]   0.00-10.05  sec  6.36 GBytes  5.44 Gbits/sec                  receiver

iperf Done.

C:\Temp>

[Ronski]

Actually this is all getting rather confusing, Iperf3 from the X99 to the server generally seems to be slower than from the X570 PC, and I've just discovered if I do -R -P2 from the X570 I can hit an average of 8.4Gbps and even 9.37Gbps, then another time it will barely manage 4.16Gbps, most odd.

[Ronski]

I run a more windows optimised test, which equates to around 9Gbps 

Code: [Select]

C:\NTttcp>ntttcp.exe -s -m 8,*,192.168.0.10 -l 128k -a 2 -t 15

Copyright Version 5.33

Network activity progressing...



Thread  Time(s) Throughput(KB/s) Avg B / Compl

======  ======= ================ =============

     0   14.999       144496.033    131072.000

     1   15.000       144989.867    131072.000

     2   14.999       144922.728    131072.000

     3   14.999       144956.864    131072.000

     4   15.000       145058.133    131072.000

     5   14.999       144538.703    131072.000

     6   14.999       145221.415    131072.000

     7   14.999       144547.236    131072.000



#####  Totals:  #####



   Bytes(MEG)    realtime(s) Avg Frame Size Throughput(MB/s)

================ =========== ============== ================

    16972.750000      15.000       1456.187         1131.517



Throughput(Buffers/s) Cycles/Byte       Buffers

===================== =========== =============

             9052.133       2.438    135782.000



DPCs(count/s) Pkts(num/DPC)   Intr(count/s) Pkts(num/intr)

============= ============= =============== ==============

    16160.867         2.489       21234.200          1.894



Packets Sent Packets Received Retransmits Errors Avg. CPU %

============ ================ =========== ====== ==========

    12221792           603255          16      8     23.582


C:\NTttcp>

[Alex Atkin UK]

iperf3 can be weird sometimes, I have seen it report lower than actual file transfers before.