AMD EPYC 7003 Milan Workload Profile NIC Throughput Intensive
Beim Betrieb von AMD EPYC 7003 Milan basierten Servern kann es in der Standardkonfiguration zu kurzzeitigen Einbrüchen beim Netzwerk-Datendurchsatz kommen. Abhilfe schafft hier im BIOS die Workload Profile Einstellung NIC Throughput Intensive. Diese deaktiviert die dynamische Anpassung der Infinity Fabric P-States (Algorithm Performance Boost (APB) Energiesparfunktion) und setzt weitere Parameter. Erforderlich ist diese Einstellung beispielsweise beim Betrieb von Broadcom P225P oder NVIDIA ConntectX-5 (MCX512A-ACAT) Netzwerkkarten.
Problembeschreibung
Beim Betrieb von mehreren ASUS RS700A-E11-RS12U Servern in einem geswitchten 25 Gigabit Netzwerk kommt es wiederholt zu Einbrüchen des Datendurchsatzes:
# iperf -m -i 1 -f G -t 60 -c 192.168.10.161 ------------------------------------------------------------ Client connecting to 192.168.10.161, TCP port 5001 TCP window size: 325 KByte (default) ------------------------------------------------------------ [ 1] local 192.168.10.160 port 45634 connected with 192.168.10.161 port 5001 (MSS=8960) [ ID] Interval Transfer Bandwidth [ 1] 0.0000-1.0000 sec 2.79 GBytes 2.79 GBytes/sec [ 1] 1.0000-2.0000 sec 2.68 GBytes 2.68 GBytes/sec [...] [ 1] 18.0000-19.0000 sec 2.86 GBytes 2.86 GBytes/sec [ 1] 19.0000-20.0000 sec 0.997 GBytes 0.997 GBytes/sec [ 1] 20.0000-21.0000 sec 0.166 GBytes 0.166 GBytes/sec [ 1] 21.0000-22.0000 sec 0.152 GBytes 0.152 GBytes/sec [ 1] 22.0000-23.0000 sec 0.117 GBytes 0.117 GBytes/sec [ 1] 23.0000-24.0000 sec 0.319 GBytes 0.319 GBytes/sec [ 1] 24.0000-25.0000 sec 2.31 GBytes 2.31 GBytes/sec [...]
Bei einer Direktverkabelung zweier Server (ohne Switch) kommt es nicht zu diesen Problemen.
Testaufbau
- Server (4 Stück):
- ASUS RS700A-E11-RS12U mit BIOS 1201 (Release Date 09/07/2022, Milan Agesa code 1.0.0.9)
- 2x AMD EPYC 7313 (3,00 GHz, 16-Core, 128 MB)
- 512 GB (8x 64GB) ECC Reg DDR4 2933 RAM
- 2x 25 Gigabit Broadcom P225P oder NVIDIA ConnectX-5 MCX512A-ACAT (bei Tests mit NVIDIA ConnectX-6 MCX621102AN-ADAT traten keine Probleme auf)
- Betriebssystem: Ubuntu 22.04 LTS mit Linux Kernel 5.15
- Switch:
- MikroTik CRS518-16XS-2XQ-RM[1] mit RouterOS 7.8 (Build Time Feb/24/2023 09:03:00)
Lösung
Um eine durchgängig stabile Netzwerk-Durchsatz-Performance zu erreichen, wählen Sie im BIOS folgende Einstellungen:
Das Aktivieren des Workload Profiles NIC Throughput Intensive setzt unter anderem folgende Parameter:[2]
- xGMI Force Link Width = x16
- APBDIS = 1
- Fixed SOC P-State = P0
- DF C-States = Enabled
- Determinism Slider = Power
- IOMMU = Disabled (Linux)
Einzelnachweise
- ↑ MikroTik CRS518-16XS-2XQ-RM Review Cheaper 25GbE and 100GbE Switching (servethehome.com, 13.12.2022)
- ↑ 2,0 2,1 Workload Tunung Guide AMD EPYC 7003 (www.amd.com)
Autor: Werner Fischer Werner Fischer arbeitet im Product Management Team von Thomas-Krenn. Er evaluiert dabei neueste Technologien und teilt sein Wissen in Fachartikeln, bei Konferenzen und im Thomas-Krenn Wiki. Bereits 2005 - ein Jahr nach seinem Abschluss des Studiums zu Computer- und Mediensicherheit an der FH Hagenberg - heuerte er beim bayerischen Server-Hersteller an. Als Öffi-Fan nutzt er gerne Bus & Bahn und genießt seinen morgendlichen Spaziergang ins Büro.
|