Broadcom BCM57508 NetXtreme

Jan 30, 2024

Manchmal möchte man einfach schnell sein. Der Broadcom BCM57508 NetXtreme-E ist ein 200GbE OCP NIC 3.0-Adapter. Uns wurde gesagt, dass es sich um einen 100-GbE-Adapter handele, aber später stellte sich heraus, dass es sich tatsächlich um eine 200-GbE-Version handelte, sodass wir dachten, dass es sich lohnen würde, ihn unseren Lesern zu zeigen.

Hier ist die Broadcom BCM57508 NetXtreme-E-Netzwerkkarte. Einer der größten Trends bei Servern ist die Verwendung des OCP NIC 3.0-Formfaktors in Servern. Vor Jahren hatten wir für fast jeden Serveranbieter einen anderen Mezzanine-Formfaktor. Jetzt verfügen wir über den OCP NIC 3.0-Formfaktor, der nicht nur von Hyperscalern, sondern auch von traditionellen Serveranbietern verwendet wird.

Auf der Rückseite der Karte befinden sich zwei QSFP56-Ports. Diese ermöglichen eine schnellere Kommunikation als die 100-GbE-QSFP28-Ports, die wir gesehen haben.

Die Broadcom BCM57508 ist eine der PCIe Gen4 x16-Karten des Unternehmens. Für zwei 200-GbE-Verbindungen wäre PCIe Gen5 x16 erforderlich, um über die Host-Bandbreite für den Betrieb von zwei 200-Gbit/s-Ports zu verfügen.

Hier ist ein kurzer Blick auf den Kühlkörper. Diese Karten und die PCIe-Versionen weisen einen typischen Stromverbrauch von unter 20 W auf. Eine der größten Herausforderungen für DPUs in diesen Formfaktoren ist der Stromverbrauch und die Kühlung von OCP NIC 3.0-Karten mit höherer TDP.

Hier ist eine Seitenansicht der Karte.

Hier ist die andere Seite.

Schauen wir uns nun an, wie die Netzwerkkarte installiert aussieht.

Obwohl uns bei der Überprüfung des Supermicro SYS-221H-TNR gesagt wurde, dass es sich um einen 100-GbE-Adapter handele, sahen wir Folgendes, als er in Ubuntu installiert wurde:

Als wir ethtool überprüften, sahen wir 200000baseCR4/Full oder 200 Gbit/s Vollduplex.

Wir haben einen 200GbE-fähigen Adapter, den wir testen konnten.

Eine der Herausforderungen besteht darin, dass wir zwar über eine Menge 100-GbE-Geräte verfügen und viele 400-GbE-Geräte haben werden, auf der 200-GbE-Seite jedoch weniger Infrastruktur vorhanden ist. Wir hatten den QSFP28-DD-Switch im Dell EMC S5248F-ON, aber das war kein QSFP56.

Letztendlich erhielten wir an beiden Enden optische Komponenten und konnten den Switch schließlich mit der Netzwerkkarte verbinden, mussten aber für iperf3-Sitzungen mehrere 100-GbE-Testknoten verwenden. Mit der 400-GbE-Abdeckung werden wir in den nächsten Wochen mehr darüber erfahren, wie komplex einige der Verkabelungen und Anschlüsse werden. Wir haben etwa 1.000 US-Dollar für die Suche nach „preiswerten“ DACs ausgegeben, um bei diesem Projekt vier Knoten an einen Switch anzuschließen

Dennoch haben wir Folgendes gesehen, als wir versuchten, eine 1x 200-GbE-Verbindung herzustellen:

Wir haben auf jeden Fall eine Geschwindigkeit von weit über 100 GbE erreicht, aber wir haben auch die 200 Gbit/s deutlich unterschritten. Bei diesen Geschwindigkeiten müssen wir viel mehr NIC-Tuning vornehmen, um dieses Leistungsniveau zu erreichen. Für unsere baldigen 400-GbE-Ergebnisse mussten wir viel mehr tun, als wir hier tun, also lesen Sie dies bitte, da wir überprüft haben, dass es verbunden ist und über 100-GbE-Geschwindigkeiten überträgt, aber es ist nicht optimiert.

Folgendes haben wir beim Versuch mit zwei 100-GbE-Clients durch den Wechsel zur Netzwerkkarte erhalten.

Das entspricht wahrscheinlich eher dem, was wir erwartet hätten.

Eine kurze Anmerkung hier ist, dass wir etwas wie DPDK oder ähnliches ausführen müssen, das nicht eingerichtet wurde. Die CPU-Auslastung bei Geschwindigkeiten von 200 Gbit/s ist eine Herausforderung.

Im Hinblick auf die Stromversorgung würden wir bei einer PCIe-Version dieser Karte eine typische Nennleistung von 16 bis 20 W mit DACs und mehr mit Optik erwarten.

Im Labor verwenden wir in der Regel hauptsächlich NVIDIA (Mellanox) ConnectX-5/ConnectX-6-Karten (und BlueField-2-DPUs) sowie die Intel E800-Serie. Dennoch verfügt Broadcom über einen soliden NIC-Marktanteil, daher sollten wir diese stärker abdecken als bisher.

Dabei handelt es sich entweder eher um einen dualen 100-GbE-Adapter oder um einen einzelnen 200-GbE-Adapter. Durch PCIe Gen4 x16 ist es uns nicht möglich, über die Netzwerkkarte zwei 200-GbE-Geschwindigkeiten an einen Host zu übertragen.

Diese Adapter unterstützen RDMA und andere Funktionen, aber da es so viele Funktionen gibt, nach denen unsere Leser suchen, empfehlen wir Leuten, nach diesen zu suchen, wenn sie an den Karten interessiert sind.

Wir hoffen, dass es den Leuten Spaß macht, diese Art von Karten zu sehen, wenn wir auf sie stoßen.