こんにちは。SB C&Sの幸田です。

第5回となる今回は、高速・低遅延かつ高機能なAI基盤のEthernetでNVIDIA Spectrum-X をご紹介できればと思います。
NVIDIA Spectrum-X は、前回の記事でご説明したRoCEが直面している課題を解決するソリューションです。

NVIDIA Spectrum-X とは　AI基盤のEast-West通信での明確な優位性

https://www.nvidia.com/ja-jp/networking/spectrumx/ より

NVIDIA Spectrum-X とは、サーバー側に搭載するDPU(ネットワークアダプタ) の NVIDIA BlueField-3 と、スイッチである Spectrum-4 の組み合わせによって構成されるソリューションです。この2つを統合することによって、RoCEが新たに直面している課題への対処を実現しています。
この点において2025年7月現在、他ベンダーの製品仕様や新たに策定中の通信規格などに大きく差をつけ、高い優位性をもっているソリューションであるということができます。

まずはSpectrum-Xが、前回記事でRoCEの主な課題として挙げた2点、"帯域利用率の低下" と "パケット到着順序の乱れ" に対して、それぞれどのように対処しているかを端的にご説明できればと思います。

高度なアダプティブ ルーティング ー RoCEの "帯域利用率の低下"への対処

前回の記事内容と重複しますが、まず純粋なRoCEのみの利用によって生じてしまう、AI基盤のネットワークの課題のひとつをご説明します。
Ethernetは元来、トラフィックの輻輳などによって発生するパケットの損失と、それをカバーするための再送が起こってしまうことを前提に設計されたプロトコルですが、RDMAではその仕様上、パケットの損失・再送は深刻なパフォーマンスの問題を招いてしまいます。
RoCEにおいて従来から利用されているアダプティブ ルーティングの手法 ECMP (Equal Cost Multi-Path) によって、トラフィックの輻輳をある程度回避し、パケットの損失・再送を避けることは従来から可能でした。
ですが昨今、生成AIをはじめとした新たなワークロードの登場によって、従来は発生し得なかった巨大なフロー(エレファントフロー)がみられるようになりました。
ECMPの仕組みではそれによって発生する特定の経路の輻輳を的確に分散することができないうえ、別の経路はほとんど使われていない状況が発生してしまうなど、ネットワークの利用効率を大幅に下げてしまうケースがみられていたのです。

NVIDIA社 ご提供資料より

そこでSpectrum-Xでは、スイッチとDPUを統合して輻輳状態をリアルタイムに監視し、よりきめ細かに輻輳の検知・トラフィックの分散を行う機能が実装されました。
これによってパケットの損失・再送が大幅に抑制されるだけでなく、ネットワーク全体の帯域の利用効率が向上し、従来のRoCEでは50-60%だったところから、Spectrum-Xでは97%にまで引き上げられています。

DDPによるパケットのリオーダリング ー RoCEの "パケット到着順序の乱れ" への対処

こちらもまずは前回記事で挙げたRoCEの課題を振り返るところから失礼します。
パケットの「損失・再送」に加えて、RDMAの大敵となるのはパケットの「順序の乱れ(Out-of-Order, 略称OoO)・再送」です。AI基盤で採用されることの多い複数のパスをもつネットワークを経由して、ノード(GPU搭載サーバー)からノードへ送られるパケットは、通った経路の輻輳状況などの違いによって、送信された時とは異なる順序で宛先のノードに届いてしまうケースがあります。これも従来のRoCEネットワークにおいて再送を招くきっかけとなり、やはりRDMAのパフォーマンスに重大な影響を与えてしまうケースのひとつでした。

NVIDIA社 ご提供資料より

NVIDIA Spectrum-Xでは、送信側・受信側のノードに搭載されているネットワークアダプタをNVIDIA BlueField-3とし、そして間のスイッチをSpectrum-4としてEast-Westネットワーク全体を統合することによって、この事象に対処しています。
送信側のBlueField-3からパケットが送信される際、パケットに対してマーキングを行い、Spectrum-4スイッチのアダプティブルーティングによって最適な経路を通過後に、受信側のBlueField-3でパケットを一旦バッファリングします。そして送信時のマーキングの情報に基づいて、本来あるべき順序に再整理＝リオーダリングしたのちにノードのOSへ渡します。パケットの再送は当然発生せず、高いRDMAのパフォーマンスが維持されます。
この機能は Direct Data Placement (DDP) と呼称されています。

NVIDIA Ethernet プロダクトのご紹介

それでは以下、Spectrum-Xを構成するDPUとスイッチ、および関連する個々のプロダクトについてご紹介します。

NVIDIA Spectrum SN5000 シリーズ スイッチ

https://www.nvidia.com/ja-jp/networking/ethernet-switching/ より

SN5600外観 SN5000シリーズのデータシート より

Spectrumは、NVIDIAの高速Ethernetスイッチのシリーズです。最新はSpectrum-4であり、SN5000シリーズとあるように5000番台のナンバリングが付与されているプロダクトが展開されています。
上の画像の SN5600 が代表的なプロダクトのひとつで、1つのケージは400Gbps x2の800Gbpsもの帯域幅をもち、OSFP (octal small form-factor pluggable) での接続が提供されます。OSFPには2分割されたケーブルが接続されます。QSFPよりもやや物理的に大きく互換性の無いインターフェースですので、その点はご留意ください。
なお North-South のネットワーク接続を行う際には、接続先のストレージやサーバーのNICがこのSN5600の速度よりも遅いことが多々ありますが、接続先が2股あるいは4股に分かれたスプリットケーブルを採用することで、適切なコストで効率よく接続することが可能です (後述の LinkX を参照) 。

NVIDIA BlueFIeld-3 DPU

https://www.nvidia.com/ja-jp/networking/products/data-processing-unit/ より

BlueFieldはDPU - Data Processing Unit と呼ばれる新しいタイプのネットワークアダプタで、高性能なチップおよび応用範囲の広いいくつもの機能が搭載されています。
最新版の BlueField-3 と Spectrum-4 スイッチとの組み合わせによって構成される Spectrum-X によって、AI基盤において得られるメリットは先述のとおりです。
輻輳制御の処理に加えて、暗号化、トンネリングなど様々なネットワークパケットに関する処理を、サーバーシステムのCPUからこのDPUへオフロードすることが可能です。
また、DOCAと呼ばれるSDKを中心としたオフロードのHowToを公開しており、多数のベンダーが連携製品を開発しています。例えばネットワークの仮想化を行うことができる仮想化基盤ソフトウェア(ハイパーバイザー)が、本来CPUの負荷となるトンネリングの処理や分散ファイアウォールの処理をDPUに委ねるといったインテグレーションを実装しています。
ポート数や帯域幅によっていくつかの型番がありますので、最適なものを選択してご利用いただくこととなります。詳細はBlueField-3の公式なユーザーガイドにある Specifications をご覧ください。

LinkX　ケーブルとトランシーバー

NVIDIAは、前述の各種ネットワークプロダクトの接続を確実に行うケーブル、およびトランシーバーを LinkX というブランドで展開しています。※InfiniBandプロダクトのご紹介記事の内容と重複しますがご容赦ください。
こちらの LinkX Configuration Maps をご覧いただくことで、通常であれば困難なケーブルの選定を一気に進めることが可能です。
DGXや、3rd partyのサーバーを選択した場合に搭載する各種HCA/DPU/NICと、先述のSpectrumスイッチ、InfiniBandのQuantumスイッチなど、各種プロダクト間の接続にどのようなケーブルやトランシーバーが必要となるかを非常に分かりやすく、かつ製品の型番まで含めて具体的に掲載している資料です。
光ケーブルとトランシーバーを組み合わせる方法、光ケーブルとトランシーバーが一体となったAOC (Active Optical Cable、アクティブ光ケーブル) を用いる方法、そして光通信を介さないDACケーブルを採用する方法があります。光ケーブルはしなやかでケーブリングが容易、かつ長距離の伝送ができます。一方でDACケーブルは安価ではあるのですが、やや硬くケーブリングに工夫が必要であることと、伝送距離の限度が数メートルになってしまう点に注意が必要です。

CiscoもNVIDIA Spectrum-Xを採用

Cisco ブログ Scaling AI in the Enterprise より

AI基盤におけるRoCEの主要な課題に対して、このように直接的な対処がされたソリューションを市場に展開しているベンダーは、2025年7月現在のところNVIDIAの他には存在していないといえます。
EthernetのデファクトスタンダードといってよいCiscoも、2025年初旬からNVIDIA Spectrum-Xを採用したプロダクトを展開していく旨を発表しており、ついに2025年4月の段階ではスイッチにSpectrum-4のチップを搭載し、BlueField-3を備えるノード間を統合するネットワークアーキテクチャの発表を行いました。
これはいよいよ、AI基盤のEthernet領域をNVIDIA Spectrum-Xが席巻しているといってよい状況です。

まとめ

以上、NVIDIAのEthernetプロダクトについてご紹介しました。
Spectrum-Xについてのご紹介のボリュームが多くなりましたが、積極的にそうすべきという考えになるほど現時点で頭ひとつふたつ抜けて優れたソリューションであることを認識させられました。

AI基盤のEast-West通信においては従来、必須の要素技術となるRDMAを実現するために開発されたといっていいInfiniBandが選択肢として一般的でしたが、ここまでのご紹介で把握していただけたとおり、現在ではEthernetも同等あるいはそれ以上の選択肢として市場に展開されています。今後、AIの普及がさらに進んでいく中で、既存のシステムとの接続性、そして運用の一貫性などが極めて重要なテーマとなってくることが見込まれますので、Ethernetはより注目されるものと考えられます。

次回は、本連載の一旦の最終回となる第6回、リファレンスアーキテクチャについてのご紹介です。
ネットワークの実装に直結するナレッジをまとめてご紹介する予定ですので、ぜひともご期待ください。

★SB C&SではNVIDIA Networking製品に加え、NVIDIA GPU搭載サーバー、およびAI基盤で人気の高い各種ストレージなど、AI基盤の構成要素を幅広くお取扱いしております。トータルでのシステム提案が可能ですので、ぜひ「お問い合わせ」ページより気軽にお声がけをいただければと存じます。