こんにちは。SB C&S の野木です。

本記事では、弊社検証環境を用いて構築したAIクラスタを題材に、NVIDIA Networking技術を活用したネットワークスイッチの初期構築手順をご紹介します。

今回ご紹介する内容は、AIクラスタ構築シリーズの第1弾となります。

次回以降の記事では、NVIDIA GPU Operator、NVIDIA Network Operatorを用いたGPUサーバー側の構築手順についても順次ご紹介する予定です。

なお、本記事の検証ではNVIDIA Spectrum™-4 Ethernetスイッチ(以下、Spectrumスイッチ)を使用しています。

SpectrumスイッチをはじめとするNVIDIA Networking製品の概要については、以下の過去記事で紹介していますので、あわせてご覧いただくことをおすすめします。
【連載】AI時代をリードする NVIDIA Networking のご紹介

また、本記事で紹介する設定およびコマンドは、検証時点（2026年4月）の最新バージョンであるNVIDIA Cumulus® Linux 5.16.1採用して確認しています。

バージョンによってコマンドや設定方法が異なる場合があるため、ご利用の環境に応じて最新の公式ドキュメントも併せてご確認ください。
Cumulus Linux 5.16 User Guide

AIクラスタ構築の全体構成

本シリーズでは、NVIDIA Networkingを活用したAIクラスタの構築をテーマに、ネットワークスイッチの初期設定からGPUサーバー側の構築までを順を追ってご紹介します。

一般的なAIクラスタでは、GPUを搭載した複数台のベアメタルサーバーをコンテナやKubernetesクラスタとして構成し、高速ネットワークを介して各GPUサーバーを接続する構成が広く採用されています。

本シリーズでは検証に利用できるベアメタルサーバーが1台だった為、仮想マシン上にKubernetes をインストールして、Control Plane 1台、Worker Node 2台の計3台のクラスタを構築し、Node間のGPU通信が可能になるまでの検証を実施しています。

Worker Nodeには、それぞれNVIDIA L40S GPUを1枚、およびNVIDIA ConnectX®-7 NICを1枚ずつ認識させ、GPU間のデータ通信はHCA経由で行います。

また、Worker Node間の通信には、AIクラスタ向けEthernetスイッチであるSN5600を採用し、高速ネットワークを利用したNode間通信を構成しています。

本シリーズでは、この検証環境を用いて以下の内容を順番にご紹介する予定です。

• 第1回：Spectrumスイッチ初期構築
• 第2回：NVIDIA GPU Operatorの構築
• 第3回：NVIDIA Network Operatorの構築

今回はシリーズ第1回として、AIクラスタの基盤となるSpectrumスイッチの初期構築手順をご紹介します。

Spectrumスイッチ 初期構築の流れ

ここからは、Spectrumスイッチの初期構築手順についてご紹介します。

今回の検証では、AIクラスタを構成するネットワークスイッチとしてNVIDIA Spectrum-4 SN5600を使用しています。

ベアメタルサーバーにはNVIDIA ConnectX-7 NICを2枚搭載し、OSFP to QSFP112×2（800G to 400G×2）のTwinport Breakout DAC（Direct Attach Cable）ケーブルを用いてスイッチへ接続しています。

本記事では、この構成を前提として、Spectrumスイッチの初期構築を以下の流れで進めます。

• ホスト名や管理IP、DNS、NTPなどの初期設定
• Breakout、swp、Bridge、VLANなどのインターフェース設定

なお、今回の検証では既存設定が投入された状態から作業を開始した経緯があり、工場出荷状態への初期化およびOSアップグレードを実施しましたが、初期構築時は必要がない手順の為、本記事ではご紹介を割愛しています。

※以下、初期化~OSアップグレードまでの手順を外伝として公開しておりますので、必要に応じてご参照ください。
NVIDIA Networkingで構築するAIクラスタ検証 -外伝- Spectrumスイッチ 初期化~OSアップグレード手順編

また、Breakoutやswp、Bridgeなど、Spectrumスイッチ特有の機能については、この後の章で詳しくご紹介します。

初期設定

まず、スイッチ起動後に、管理ネットワーク経由で利用するための基本設定を行います。

本記事では、Cumulus Linuxが提供するNVUE（NVIDIA User Experience）CLIを使用して設定を行います。

Cumulus Linuxでは、Linux標準のコマンドや設定ファイルを直接編集することでも同様の設定が可能です。

一方、NVUEは一般的なネットワークスイッチのCLIに近い操作感で設定できるため、ネットワーク機器の運用に慣れた方でも扱いやすいという特長があります。

また、設定を統一された形式で管理できるため、実際の運用における可読性や保守性にも優れています。

そのため、本記事では、より分かりやすく運用しやすいNVUEを使用した設定手順を紹介します。

初期設定では以下の項目を設定します。

• 管理IPアドレス
• ホスト名
• DNS
• タイムゾーン
• NTPサーバー

上記を設定することで、以降のVLANなどのネットワーク設定を行うための準備が整います。

Step1 管理IPアドレスの設定

まずは管理インターフェース（eth0）へ固定IPアドレスを設定します。

以下は、DHCP設定を無効化し、固定IPアドレスとデフォルトゲートウェイを設定しています。

nv unset interface eth0 ipv4 dhcp-client nv set interface eth0 ip address 10.1.3.63/24 nv set interface eth0 ip gateway 10.1.3.1 nv config apply

Cumulus Linuxでは、「nv set」コマンドで設定内容を登録し、「nv config apply」を実行することで設定が反映されます。

設定反映時には確認メッセージが表示されるため、「y」を入力します。

設定反映後、以下のコマンドで管理IPが設定されたことを確認します。

nv show interface

##出力

※pingコマンドなどによる疎通確認も可能です。

Step2 ホスト名の設定

続いて、スイッチのホスト名を設定します。

nv set system hostname sn5600-01 nv config apply

設定後、再接続することでCLIプロンプトも新しいホスト名へ変更されます。

Step3 DNSの設定

ドメインおよびDNSサーバーを設定します。

今回は以下の内容で設定しています。

• ドメイン名：nvdc.local
• DNSサーバー：10.1.3.59

nv set system dns domain nvdc.local nv set system dns server 10.1.3.59 nv config apply

設定が完了したら、以下のコマンドで反映状況を確認します。

nv show system dns

##出力

Step4 タイムゾーンの設定

続いて、タイムゾーンを日本時間へ変更します。

デフォルトではUTCとなっているため、日本国内で利用する場合は変更しておくとログ解析などが容易になります。

nv set system date-time timezone Asia/Tokyo nv config apply

設定が完了したら、以下のコマンドで反映状況を確認します。

nv show system date-time

##出力

なお、既に実行中のプログラム（ログファイルを含む）やログイン中のユーザーは、タイムゾーンの変更は反映されません。

すべてのサービスとデーモンのタイムゾーンを設定するには、スイッチの再起動が必要となります。

Step5 NTPの設定

最後にNTPサーバーを設定します。

今回は検証用途のため日本の公開NTPサーバーを利用しています。

nv set system ntp server 0.jp.pool.ntp.org nv set system ntp server 1.jp.pool.ntp.org nv config apply

設定後、以下のコマンドを実行しNTPサーバーと同期できていることを確認します。

nv show system ntp server

##出力

なお、Cumulus LinuxではデフォルトでNVIDIAが提供するNTP Poolが利用できるため、通常のインターネット接続環境であれば追加設定を行わなくても時刻同期が可能です。

本検証では、日本国内の公開NTPサーバーを利用する構成例として、0.jp.pool.ntp.orgおよび1.jp.pool.ntp.orgを設定しています。

Spectrumスイッチのインターフェース構成

ここまでで初期設定は完了しました。

ここからは、AIクラスタで利用するネットワークインターフェースを設定していきます。

その前に、Cumulus Linuxにおけるインターフェースの考え方について簡単に説明します。

一般的なL2/L3スイッチでは物理ポートをそのまま設定しますが、Spectrumスイッチでは「swpインターフェース」や「Bridge」といった概念を利用してネットワークを構成します。

まずは、それぞれの役割を確認します。

Breakoutとswpインターフェース

Spectrumスイッチでは、フロントパネルの物理ポートをswp（switch port）インターフェースとして管理します。

Spectrumシリーズは機種によって最大通信速度やBreakout可能な構成が異なりますが、Breakoutを利用することで1つの物理ポートを複数の論理インターフェースへ分割し、それぞれを独立したポートとして利用できます。

例えば、800Gbpsポートを400Gbps×2、または200Gbps×4へ分割できる機種や、400Gbpsポートを100Gbps×4へ分割できる機種などがあります。

Breakout後は、swp1がswp1s0、swp1s1...のようなサブインターフェースとして認識され、それぞれを個別のポートとして設定できます。

Breakoutを利用するには、分割方式に対応した専用のBreakoutケーブルが必要となるため、スイッチだけでなくNICやケーブルの仕様も含めて選定する必要があります。

今回の検証では、SN5600の800Gbpsポートを400Gbps×2へBreakoutし、生成されたswp1s0、swp1s1をそれぞれConnectX-7へ接続する構成としています。

Bridgeとは

Spectrumスイッチでは、BridgeがL2スイッチとして動作し、複数のswpインターフェースを接続します。

Bridgeに所属するインターフェース同士は同一のL2ネットワークとして通信できますが、異なるBridgeに所属するインターフェース間ではL2通信はできません。

また、Bridgeには複数のVLANを設定できるため、同じBridge内でもVLANごとに通信を分離することができます。

例えば上の図では、Bridge1にはVLAN100とVLAN200、Bridge2にはVLAN200、Bridge3にはVLAN300を設定しています。

Bridge1とBridge2はどちらもVLAN200を持っていますが、異なるBridgeに所属しているためL2通信はできません。

今回のようなL2ネットワークを構成する場合は、Bridgeの作成が必須となります。

インターフェース設定

ここからは、SN5600とConnectX-7を接続するインターフェースを設定します。

今回の検証では、SN5600の800Gbpsポートを400Gbps×2にBreakoutし、生成された2つのインターフェースをBridgeへ所属させます。

その後、サーバー間通信で使用するVLANをTagged VLANとして設定します。

今回設定する主な内容は以下のとおりです。

設定項目	設定内容
対象の物理ポート	swp1
Breakout構成	800Gbpsから400Gbps×2へ分割
Breakout後のインターフェース	swp1s0,swp1s1
Bridge名	br_01
VLAN ID	104

Step1 Breakoutの設定

はじめに、SN5600の800Gbpsポートを400Gbps×2へ分割します。

以下のコマンドで、swp1に2分割のBreakout設定を行います。

nv set interface swp1 link breakout 2x nv config apply

設定後、以下のコマンドでインターフェースの状態を確認します。

nv show interface

##出力

設定前はswp1として認識されていた物理ポートが、Breakout後は「swp1s0」「swp1s1」の2つのインターフェースとして表示されます。

Step2 Breakout後のインターフェース有効化

続いて、Breakoutによって生成された「swp1s0」と「swp1s1」を有効化します。

nv set interface swp1s0 nv set interface swp1s1 nv config apply

「nv set interface」を実行することで、対象インターフェースの管理状態が有効になります。

以下のコマンドでインターフェースの状態を確認します。

nv show interface status

##出力

「swp1s0」と「swp1s1」のAdmin StatusおよびOper Statusが、どちらもupになっていることを確認します。

Admin Statusは設定上インターフェースが有効であることを示し、Oper Statusは実際にリンクアップしていることを示します。

Step3 Bridgeの作成

次に、Breakoutしたインターフェースを所属させるBridgeを作成します。

今回は、Bridge名を「br_01」としています。

nv set bridge domain br_01 nv config apply

設定後、以下のコマンドでBridgeが作成されたことを確認します。

nv show bridge

##出力

より詳細な情報を確認する場合は、以下のコマンドを実行します。

nv show bridge domain br_01

##出力

この時点ではBridgeのみを作成しているため、「Bridge Port Info」にはポートが表示されません。

Step4 Bridgeへインターフェースを追加

作成した「br_01」へ、Breakout後の「swp1s0」と「swp1s1」を追加します。

以下のコマンドでは、インターフェース名を範囲指定して2つのインターフェースをまとめて設定しています。

nv set interface swp1s0-1 bridge domain br_01 nv config apply

設定後、以下のコマンドでBridgeに所属するポートを確認します。

nv show bridge domain br_01 port

##出力

「swp1s0」と「swp1s1」が表示され、stateがforwardingになっていることを確認します。

Step5 VLANの追加

続いて、BridgeへVLAN104を追加します。

BridgeにVLANを追加すると、Bridgeに所属するswp1s0とswp1s1でもVLAN104を利用できるようになります。

nv set bridge domain br_01 vlan 104 nv config apply

設定後、以下のコマンドで各ポートのVLAN設定を確認します。

nv show bridge domain br_01 port vlan

##出力

出力を見ると、VLAN 104がtaggedとして追加されています。

 

一方で、この時点ではデフォルトのUntagged VLANとしてVLAN 1も設定されています。

今回の検証では、swp1s0とswp1s1でTagged VLAN 104のみを使用するため、各インターフェースにデフォルトで設定されているUntagged VLAN 1を削除します。

nv set interface swp1s0 bridge domain br_01 untagged none nv set interface swp1s1 bridge domain br_01 untagged none nv config apply

設定後、再度以下のコマンドでVLAN設定を確認します。

nv show bridge domain br_01 port vlan

##出力

swp1s0とswp1s1からVLAN 1の表示がなくなり、VLAN 104のみがtaggedとして設定されていることを確認します。

（※補足）出力に表示される「brport-if101」は、Bridge作成時にシステム内部で自動生成されるBridge用の内部ポートです。

 

以上で、ポートのBreakout、Bridgeへのインターフェース追加、およびVLANの設定は完了です。

（Appendix）Spectrumスイッチの予約VLANについて

Cumulus Linuxでは、スイッチ内部の処理に使用するVLAN IDの範囲が予約VLANとして確保されています。

デフォルトではVLAN 3725～3999が予約されており、この範囲のVLANはユーザー用途では使用できません。

予約VLANの範囲は、以下のコマンドで確認できます。

nv show system global reserved vlan internal

予約VLANの設定はVLAN設計によっては必要な場合もありますが、多くの環境ではデフォルト設定のまま運用できます。

まとめ

本記事では、AIクラスタ構築シリーズの第1回として、NVIDIA Spectrum-4 SN5600を用いた初期構築手順をご紹介しました。

 

ここまでの構成を整理すると、ベアメタルサーバーに搭載した2枚のConnectX-7がSpectrumスイッチへ接続され、Bridge（br_01）上でVLAN104を介したL2ネットワークが利用できる状態となっています。

 

これにより、次回以降に構築するKubernetesクラスタのネットワーク設定やGPU間通信の土台となるネットワーク環境が整いました。

次回は、GPUをKubernetes環境から利用するためのNVIDIA GPU Operatorの構築手順をご紹介します。