SB C&Sの最新技術情報 発信サイト

C&S ENGINEER VOICE

NetApp AFF C190で考えるファイルサーバの設計 〜その2〜

ストレージ / HCI
2021.04.22
 
みなさん、こんにちは
SB C&S 技術担当の小川です。
 
NetApp AFF C190で考えるファイルサーバの設計として前回はストレージの構成と容量について紹介しました。
 
 
今回はネットワークの設計のポイントを紹介します。
 
今回のブログではAFF C190のハードウェアに関わる項目だけでなく、ONTAP全般で利用できる情報も紹介します。
 
 AFF C190のネットワークポート構成             
 
 
ネットワークの設計のポイントを紹介する前にAFF C190に搭載されているネットワークポートについて理解が必要となるので、以下の表に概要をまとめました。
 

 ネットワークポート名

 役割

 概要

e0a,e0b

クラスタネットワークポート

●ONTAPクラスタを構成するためのネットワークポート
●インタフェースはSFP+

e0c,e0d,e0e,e0f (Ethernet)

もしくは

0c,0d,0e,0f (Fiber Channnel)

データ通信用ポート

●データアクセスもしくはSnapMirrorなどのクラスタ間通信で使用されるネットワークポート
●SFP+モデルかRJ-45モデルのどちらかを選択
●SFP+モデルの場合UTA(Unified Target Adapter)であるため初期設定時に10G EthernetかFCのどちらかを設定する

シリアルポート

管理用シリアルポート

●CLIによる設定や管理に使用
●インタフェースはRJ-45

e0M

管理用ポート

●データアクセスには使用しない管理専用ポート
●インタフェースはRJ-45

 
C190_ポートの概要.png
 
 管理ネットワークポートの設計             
 
 
ファイルサーバの設計においてユーザがアクセスするネットワーク(以降、データアクセスネットワーク)と設定や管理を行うためのネットワーク(以降、管理ネットワーク)はお互い干渉しないように物理ネットワークポートを分けて設計します。
ONTAPでも同様にデータアクセスネットワークと管理ネットワークを異なる物理ネットワークポートを分けて設計します。
 
00_データと管理ネットワーク分離png.png
 
管理ネットワークはWebUIへのアクセスやCLIを用いたコマンドでの設定などで必ず使用します。この管理ネットワークをどのネットワークポートに割り当てるのかを設計時に検討します。
 
AFF C190で考慮する管理アクセスは「サービスプロセッサ(SP)」、「クラスタ管理LIF」、「ノード管理LIF」の3つになります。
 

▶サービスプロセッサ(SP)

サービスプロセッサはネットワークを介してコントローラのシリアルコンソールにアクセスするなど、コントローラを直接管理するプロセッサです。そのためONTAPとは独立して動作します。IPアドレスはコントローラそれぞれのe0Mポートに割り当てます。そのためIPアドレスはコントローラ1つに対して1つのIPアドレス(1筐体で2つ)が必要になります。
 

▶クラスタ管理LIF

クラスタ管理LIFはONTAP System ManagerへのWebブラウザからのアクセスやSSHでアクセスしコマンドを実行するなどクラスタ全体の管理に利用されます。
クラスタ管理LIFはクラスタ全体で1つ設定されます。そのためクラスタ内のいずれかのネットワークポートを利用するのですがAFF C190がデータアクセスで使用できるポートは4つなので、データアクセス用にポートを確保する場合はサービスプロセッサで使用されているe0Mにクラスタ管理LIFをひも付ることも可能です。
クラスタ管理LIFのIPアドレスはクラスタ全体で1つ必要になります。クラスタ内にコントローラが増えたとしても必要なIPアドレスは1つとなります。
 

▶ノード管理LIF

クラスタ設定時にコントローラ管理用として設定するLIFです。コントローラ管理用のためコントローラそれぞれに設定が必須となります。クラスタ管理LIFと同様にe0Mにひも付けることが可能です。
ノード管理LIFはコントローラにひも付くためコントローラ1台に対して1つのIPアドレス(1筐体で2つ)が必要となります。
 
01_管理LIF.png
 
例えばAFF C190の1つの筐体でクラスタを構成する場合に必要な管理用のIPアドレスは以下のように合計5つとなります。
 
・サービスプロセッサ:2つ
・クラスタ管理LIF:1つ
・ノード管理LIF:2つ
 
 クラスタネットワークの設計             
 
 
ONTAPは複数のコントローラをネットワークで接続しクラスタを構成することで性能の向上、容量の増加、耐障害性の向上、負荷分散などを実現するシステムです。ONTAPを利用する際は必ずクラスタを構成する必要があります。クラスタを構成する際はコントローラに搭載されているクラスタネットワークポートを使用しクラスタを構成します。
クラスタは2ノードスイッチレスクラスタとスイッチドクラスタのどちらかを構成します。
 

▶2ノードスイッチレスクラスタ

ONTAPのコントローラは障害時にフェイルオーバができるように必ず2つのコントローラでペアを構成します。これをHAペアと呼びます。2ノードスイッチレスクラスタはHAペアを構成する2つのコントローラのみを使用しクラスタネットワークポートを直結して構成します。この構成は1筐体のみでONTAPを利用したい場合に構成します。
IPアドレスは自動で割り振られるため明示的に設定する必要はありません。AFF C190で2ノードスイッチレスクラスタを構成する場合はe0aポートとe0bポートを直結するためネットワークケーブルは2本必要です。
 
05_2node_Switch_Less_Cluster.png
 

▶スイッチドクラスタ

スイッチドクラスタはコントローラのクラスタネットワークポートをNetApp社が指定するモデルのスイッチに接続して構成するクラスタです。スイッチに接続することで1つのクラスタに複数のコントローラを接続することができます。クラスタにコントローラを追加する場合はHAペア単位(2台のコントローラ)で追加します。またクラスタに登録するモデルは必ずしも同一モデルを選択する必要はなく、様々なモデルを1つのクラスタで管理することが可能です。
クラスタを構成する際に使用するスイッチはデータアクセスや管理アクセスでは使用できないので注意して下さい。クラスタネットワークはデータアクセスネットワークや管理ネットワークと物理的に分離します。
AFF C190でスイッチドクラスタを構成する際はe0aとe0bポートの両方をスイッチに接続します。そのため1筐体あたり4本のケーブルが必要となります。
 
06_Switched_Cluster.png
 
 耐障害性、負荷分散、アクセス分離を考慮したネットワークポート設計             
 
 
ファイルサーバのデータアクセスネットワークにおいて障害時でもサービス継続できるようにするために冗長設計を考慮する必要があります。
また、特定の物理ネットワークポートへのアクセスの集中を防ぐために負荷分散の設計が必要となります。
さらにONTAPでは物理ネットワークと論理ネットワークについても設計時に考慮する必要があります。
 
ネットワークを設計する前に以下のポイントを確認することでONTAPのネットワークを設計します。
 
●物理ネットワークポートの種類(RJ-45、SFP+)
●物理ネットワークポートの冗長性の有無
●物理ネットワークポートの負荷分散の方法
●複数のVLANの構成の有無
●コントローラ障害時のフェイルオーバー先の物理ネットワークポート
 
ONTAPは物理ネットワークポートに直接IPアドレスを割り当てアクセスするということはありません。必ず論理ネットワークインタフェースであるLIF(Logical Interface)を用います。
論理的なコントローラであるSVM(Server Virtual Machine)を作成し、そのSVMで使用するプロトコルを設定します。そのSVMにLIFを割り当て、そのLIFにIPアドレスを設定します。さらにLIFとネットワークポートをひも付けることでクライアントからアクセスすることが可能となります。
そのため物理ネットワークポートとLIFの設計は切り離して考えるのではなく関連付けて考える必要があります。
 
今回のブログでは、まず物理ネットワークポートの設計から紹介します。
 

▶物理ネットワークポートの構成

まずは物理ネットワークポートの種類を確認します。AFF C190のデータアクセスで使用可能なEthernetポートはSFP+のモデルか10G Base-Tのモデルのどちらかを選択できます。各モデルとも、コントローラそれぞれに4つのポートが搭載されています。なおSFP+はUTA(Unified Target Adapter)のため初期設定で10G Ethernetか16GB FCのどちらかを使用するか決める仕様となっております。
 
【SFP+ポートモデル】
02_SFPモデル.png
 
【10G Base-Tポートモデル】
03_10G_Base-T_モデル.png
 

▶物理ネットワークポートの冗長構成と負荷分散

ファイルサーバ構成での物理ネットワークポートは耐障害性と負荷分散を考え、4つあるポートのうち2つ以上のポートで1つのリンクアグリゲーショングループ(インターフェイスグループと呼ぶこともあります)をおすすめします。
リンクアグリゲーショングループは以下の3つのモードから耐障害性のアルゴリズムを選択します。括弧内の名称はONTAP System Managerでの設定項目の名前です。どの耐障害性のアルゴリズムを選択するかは接続するネットワークスイッチに依存するため必ずヒヤリングして下さい。
 
【リンクアグリゲーションモード】
●シングルモード (単一)
シングルモードはリンクアグリゲーショングループに属する1つのネットワークポートがアクティブ、それ以外のネットワークポートがスタンバイになる構成です。ネットワークポートの耐障害性を優先に考え、負荷分散を行わない構成です。
 
●スタティックマルチモード (複数)
スタティックマルチモードはIEEE 802.3ad(static)に準拠したモードでリンクアグリゲーショングループに属するすべてのポートを利用した通信を行い、耐障害性と負荷分散を実現します。
 
●ダイナミックマルチモード (LACP)
ダイナミック マルチモード インターフェイス グループは、IEEE 802.3ad(802.1AX)に準拠したモードです。Link Aggregation Control Protocol(LACP)が実装されているため直接接続されたスイッチとグループ メンバーシップの通信を行いリンクアグリゲーションを構成します。このモードも耐障害性と負荷分散を実現します。
 
 
04_リンクアグリゲーショングループの追加.png
 
スタティックマルチモードかダイナミックマルチモードを選択すると負荷分散を実現する以下のバランシングポリシーを選択する必要があります。なお、バランシングポリシーはリンクアグリゲーショングループの設定時のみ選択できます。
  
【バランシングポリシー】
●IPベース
送信元であるLIFと宛先であるクライアントのIPアドレスを元にしたハッシュ計算により使用するネットワークポートを選択します。クライアントが複数のネットワークに配置されているものの、どこか1つのネットワークに多くのクライアントが配置されているような特定のネットワークからのアクセスが多い環境では他のポリシーを選択してください。
 
●MACベース
送信元であるLIFと宛先であるクライアントのMACアドレスを元にしたハッシュ計算により使用するネットワークポートを選択します。ルータやファイアウォールを経由する場合は宛先が固定されるため、使用するネットワークポートも固定されてしまうので送信元と宛先が同一VLANの場合のみ選択してください。
 
●シーケンシャル
ラウンドロビン アルゴリズムを使用して複数のネットワークインタフェース間でパケットを均等に分散します。
 
●ポート
TCPおよびUDPポートに基づいてパケットを均等に分散します。
 
05_バランシングポリシー.png
 
以下、リンクアグリゲーショングループの構成例になります。
 
06_リンクアグリゲーショングループ構成例.png
 

▶異なるVLANからのアクセスに伴うネットワーク設計

様々なクライアントからファイルサーバにアクセスさせる場合に異なるVLANからのアクセスも想定されます。
ONTAPでのVLANの設定はネットワークポートやリンクアグリゲーショングループに対してVLANインタフェースを割り当てることで1つのポートで複数のネットワークへのアクセスが可能になります。
 
07_VLANインタフェース.png
 
08_VLANインタフェース構成例.png
 

▶コントローラフェイルオーバー時のネットワークポート切り替えの設計

リンクアグリゲーショングループを作成することでコントローラ内の耐障害性を向上することは出来ますが、コントローラに障害が発生するとファイルサーバにアクセスできなくなります。そのためコントローラ障害時でもデータアクセスを可能にするためコントローラのフェイルオーバーだけでなく、ネットワークも対向コントローラへの切り替え(ネットワークフェイルオーバ)が必要になります。ネットワークの切り替えを実施するためには「IPspace」と「ブロードキャストドメイン」という設定を行います。
 
「IPspace」はONTAPで同一サブネットや同一IPアドレスを使って異なるSVMへのアクセスを実現するためにネットワーク空間を分ける機能です。
 
09_IPspace.png
 
ブロードキャストドメインはネットワーク用語では「ルータを越えずに通信できる範囲」や「ARP要求が届く範囲」といったブロードキャストパケットが届く範囲を表しますが、ONTAPで定義するブロードキャストドメインは「クラスタ内のネットワークポートをグループ化したもの」で適切にLIFのフェイルオーバを実現するために使用されます。
 
10_ブロードキャストドメイン.png
 
ブロードキャストドメインは必ず1つのIPspaceにひも付きます。1つのIPspaceに複数のブロードキャストドメインをひも付けることも可能です。Ethernetポート、リンクアグリゲーショングループ、VLANインタフェースを適切にフェイルオーバーさせるため必ずブロードキャストドメインにひも付けます。
 
11_IPspaceとブロードキャストドメインのひも付け.png
 
1つのポートを1つのブロードキャストドメインと1つのIPspaceにひも付けるとそのポートはデータアクセス専用やInterCluster通信専用のインタフェースに設定できます。
 
例えばそれぞれのコントローラのEthernetポート 1はデータアクセス専用、Ethernetポート 2はSnapMirrorのInterCluster通信専用というように設定できます。
また、IPspaceとブロードキャストドメインを構成する際にはコントローラAとコントローラBの物理ネットワークポートを登録することで「ポート障害時はリンクアグリゲーションで保護、コントローラ障害時はコントローラフェイルオーバで保護」という耐障害性に優れた構成になります。
 
12_ネットワークインタフェースのひも付け.png
 
以下、リンクアグリゲーショングループに対するIPspace/ブロードキャストドメインの設計例になります。
 
13_ブロードキャストドメイン設定例.png
 
今回はネットワーク設計のポイントについて紹介しました。
次回はSVMの設計、SVMにひも付くデータアクセスネットワーク、共有、クォータについて紹介します。
 
 

【SB C&SNetAppプロモーションTwitterアカウント】

NetAppに関するさまざまな情報を公開しています。

皆様フォロー宜しくお願いいたします。

@sbcas_netapp_pr

TwitterアプリからはこちらのQRコードもどうぞ

Twitter_QRコード.PNG

著者紹介

SB C&S株式会社
技術統括部 第1技術部 2課
小川 正一(VMware vExpert)