NetApp AFF C190で考えるファイルサーバの設計　〜その2〜｜技術ブログ

ストレージ / HCI

NetApp

2021.04.22

みなさん、こんにちは

SB C&S　技術担当の小川です。

NetApp AFF C190で考えるファイルサーバの設計として前回はストレージの構成と容量について紹介しました。

NetApp AFF C190で考えるファイルサーバの設計　〜その1〜

今回はネットワークの設計のポイントを紹介します。

今回のブログではAFF C190のハードウェアに関わる項目だけでなく、ONTAP全般で利用できる情報も紹介します。

　AFF C190のネットワークポート構成　　　　　　　　　　　　　

ネットワークの設計のポイントを紹介する前にAFF C190に搭載されているネットワークポートについて理解が必要となるので、以下の表に概要をまとめました。

ネットワークポート名	役割	概要
e0a,e0b	クラスタネットワークポート	●ONTAPクラスタを構成するためのネットワークポート ●インタフェースはSFP+
e0c,e0d,e0e,e0f (Ethernet) もしくは 0c,0d,0e,0f (Fiber Channnel)	データ通信用ポート	●データアクセスもしくはSnapMirrorなどのクラスタ間通信で使用されるネットワークポート ●SFP+モデルかRJ-45モデルのどちらかを選択 ●SFP+モデルの場合UTA(Unified Target Adapter)であるため初期設定時に10G EthernetかFCのどちらかを設定する
シリアルポート	管理用シリアルポート	●CLIによる設定や管理に使用 ●インタフェースはRJ-45
e0M	管理用ポート	●データアクセスには使用しない管理専用ポート ●インタフェースはRJ-45

　管理ネットワークポートの設計　　　　　　　　　　　　　

ファイルサーバの設計においてユーザがアクセスするネットワーク(以降、データアクセスネットワーク)と設定や管理を行うためのネットワーク(以降、管理ネットワーク)はお互い干渉しないように物理ネットワークポートを分けて設計します。
ONTAPでも同様にデータアクセスネットワークと管理ネットワークを異なる物理ネットワークポートを分けて設計します。

管理ネットワークはWebUIへのアクセスやCLIを用いたコマンドでの設定などで必ず使用します。この管理ネットワークをどのネットワークポートに割り当てるのかを設計時に検討します。

AFF C190で考慮する管理アクセスは「サービスプロセッサ(SP)」、「クラスタ管理LIF」、「ノード管理LIF」の3つになります。

▶サービスプロセッサ(SP)

サービスプロセッサはネットワークを介してコントローラのシリアルコンソールにアクセスするなど、コントローラを直接管理するプロセッサです。そのためONTAPとは独立して動作します。IPアドレスはコントローラそれぞれのe0Mポートに割り当てます。そのためIPアドレスはコントローラ1つに対して1つのIPアドレス(1筐体で2つ)が必要になります。

▶クラスタ管理LIF

クラスタ管理LIFはONTAP System ManagerへのWebブラウザからのアクセスやSSHでアクセスしコマンドを実行するなどクラスタ全体の管理に利用されます。

クラスタ管理LIFはクラスタ全体で1つ設定されます。そのためクラスタ内のいずれかのネットワークポートを利用するのですがAFF C190がデータアクセスで使用できるポートは4つなので、データアクセス用にポートを確保する場合はサービスプロセッサで使用されているe0Mにクラスタ管理LIFをひも付ることも可能です。
クラスタ管理LIFのIPアドレスはクラスタ全体で1つ必要になります。クラスタ内にコントローラが増えたとしても必要なIPアドレスは1つとなります。

▶ノード管理LIF

クラスタ設定時にコントローラ管理用として設定するLIFです。コントローラ管理用のためコントローラそれぞれに設定が必須となります。クラスタ管理LIFと同様にe0Mにひも付けることが可能です。

ノード管理LIFはコントローラにひも付くためコントローラ1台に対して1つのIPアドレス(1筐体で2つ)が必要となります。

例えばAFF C190の1つの筐体でクラスタを構成する場合に必要な管理用のIPアドレスは以下のように合計5つとなります。

・サービスプロセッサ：2つ

・クラスタ管理LIF：1つ

・ノード管理LIF：2つ

　クラスタネットワークの設計　　　　　　　　　　　　　

ONTAPは複数のコントローラをネットワークで接続しクラスタを構成することで性能の向上、容量の増加、耐障害性の向上、負荷分散などを実現するシステムです。ONTAPを利用する際は必ずクラスタを構成する必要があります。クラスタを構成する際はコントローラに搭載されているクラスタネットワークポートを使用しクラスタを構成します。
クラスタは2ノードスイッチレスクラスタとスイッチドクラスタのどちらかを構成します。

▶2ノードスイッチレスクラスタ

ONTAPのコントローラは障害時にフェイルオーバができるように必ず2つのコントローラでペアを構成します。これをHAペアと呼びます。2ノードスイッチレスクラスタはHAペアを構成する2つのコントローラのみを使用しクラスタネットワークポートを直結して構成します。この構成は1筐体のみでONTAPを利用したい場合に構成します。

IPアドレスは自動で割り振られるため明示的に設定する必要はありません。AFF C190で2ノードスイッチレスクラスタを構成する場合はe0aポートとe0bポートを直結するためネットワークケーブルは2本必要です。

▶スイッチドクラスタ

スイッチドクラスタはコントローラのクラスタネットワークポートをNetApp社が指定するモデルのスイッチに接続して構成するクラスタです。スイッチに接続することで1つのクラスタに複数のコントローラを接続することができます。クラスタにコントローラを追加する場合はHAペア単位(2台のコントローラ)で追加します。またクラスタに登録するモデルは必ずしも同一モデルを選択する必要はなく、様々なモデルを1つのクラスタで管理することが可能です。
クラスタを構成する際に使用するスイッチはデータアクセスや管理アクセスでは使用できないので注意して下さい。クラスタネットワークはデータアクセスネットワークや管理ネットワークと物理的に分離します。

AFF C190でスイッチドクラスタを構成する際はe0aとe0bポートの両方をスイッチに接続します。そのため1筐体あたり4本のケーブルが必要となります。

　耐障害性、負荷分散、アクセス分離を考慮したネットワークポート設計　　　　　　　　　　　　　

ファイルサーバのデータアクセスネットワークにおいて障害時でもサービス継続できるようにするために冗長設計を考慮する必要があります。

また、特定の物理ネットワークポートへのアクセスの集中を防ぐために負荷分散の設計が必要となります。

さらにONTAPでは物理ネットワークと論理ネットワークについても設計時に考慮する必要があります。

ネットワークを設計する前に以下のポイントを確認することでONTAPのネットワークを設計します。

●物理ネットワークポートの種類(RJ-45、SFP+)

●物理ネットワークポートの冗長性の有無

●物理ネットワークポートの負荷分散の方法

●複数のVLANの構成の有無

●コントローラ障害時のフェイルオーバー先の物理ネットワークポート

ONTAPは物理ネットワークポートに直接IPアドレスを割り当てアクセスするということはありません。必ず論理ネットワークインタフェースであるLIF(Logical Interface)を用います。

論理的なコントローラであるSVM(Storage Virtual Machine)を作成し、そのSVMで使用するプロトコルを設定します。そのSVMにLIFを割り当て、そのLIFにIPアドレスを設定します。さらにLIFとネットワークポートをひも付けることでクライアントからアクセスすることが可能となります。

そのため物理ネットワークポートとLIFの設計は切り離して考えるのではなく関連付けて考える必要があります。

今回のブログでは、まず物理ネットワークポートの設計から紹介します。

▶物理ネットワークポートの構成

まずは物理ネットワークポートの種類を確認します。AFF C190のデータアクセスで使用可能なEthernetポートはSFP+のモデルか10G Base-Tのモデルのどちらかを選択できます。各モデルとも、コントローラそれぞれに4つのポートが搭載されています。なおSFP+はUTA(Unified Target Adapter)のため初期設定で10G Ethernetか16GB FCのどちらかを使用するか決める仕様となっております。

【SFP+ポートモデル】

【10G Base-Tポートモデル】

▶物理ネットワークポートの冗長構成と負荷分散

ファイルサーバ構成での物理ネットワークポートは耐障害性と負荷分散を考え、4つあるポートのうち2つ以上のポートで1つのリンクアグリゲーショングループ(インターフェイスグループと呼ぶこともあります)をおすすめします。

リンクアグリゲーショングループは以下の3つのモードから耐障害性のアルゴリズムを選択します。括弧内の名称はONTAP System Managerでの設定項目の名前です。どの耐障害性のアルゴリズムを選択するかは接続するネットワークスイッチに依存するため必ずヒヤリングして下さい。

【リンクアグリゲーションモード】

●シングルモード (単一)

シングルモードはリンクアグリゲーショングループに属する1つのネットワークポートがアクティブ、それ以外のネットワークポートがスタンバイになる構成です。ネットワークポートの耐障害性を優先に考え、負荷分散を行わない構成です。

●スタティックマルチモード (複数)

スタティックマルチモードはIEEE 802.3ad（static）に準拠したモードでリンクアグリゲーショングループに属するすべてのポートを利用した通信を行い、耐障害性と負荷分散を実現します。

●ダイナミックマルチモード (LACP)

ダイナミックマルチモードインターフェイスグループは、IEEE 802.3ad（802.1AX）に準拠したモードです。Link Aggregation Control Protocol（LACP）が実装されているため直接接続されたスイッチとグループメンバーシップの通信を行いリンクアグリゲーションを構成します。このモードも耐障害性と負荷分散を実現します。

スタティックマルチモードかダイナミックマルチモードを選択すると負荷分散を実現する以下のバランシングポリシーを選択する必要があります。なお、バランシングポリシーはリンクアグリゲーショングループの設定時のみ選択できます。

【バランシングポリシー】

●IPベース

送信元であるLIFと宛先であるクライアントのIPアドレスを元にしたハッシュ計算により使用するネットワークポートを選択します。クライアントが複数のネットワークに配置されているものの、どこか1つのネットワークに多くのクライアントが配置されているような特定のネットワークからのアクセスが多い環境では他のポリシーを選択してください。

●MACベース

送信元であるLIFと宛先であるクライアントのMACアドレスを元にしたハッシュ計算により使用するネットワークポートを選択します。ルータやファイアウォールを経由する場合は宛先が固定されるため、使用するネットワークポートも固定されてしまうので送信元と宛先が同一VLANの場合のみ選択してください。

●シーケンシャル

ラウンドロビンアルゴリズムを使用して複数のネットワークインタフェース間でパケットを均等に分散します。

●ポート

TCPおよびUDPポートに基づいてパケットを均等に分散します。

以下、リンクアグリゲーショングループの構成例になります。

▶異なるVLANからのアクセスに伴うネットワーク設計

様々なクライアントからファイルサーバにアクセスさせる場合に異なるVLANからのアクセスも想定されます。
ONTAPでのVLANの設定はネットワークポートやリンクアグリゲーショングループに対してVLANインタフェースを割り当てることで1つのポートで複数のネットワークへのアクセスが可能になります。

▶コントローラフェイルオーバー時のネットワークポート切り替えの設計

リンクアグリゲーショングループを作成することでコントローラ内の耐障害性を向上することは出来ますが、コントローラに障害が発生するとファイルサーバにアクセスできなくなります。そのためコントローラ障害時でもデータアクセスを可能にするためコントローラのフェイルオーバーだけでなく、ネットワークも対向コントローラへの切り替え(ネットワークフェイルオーバ)が必要になります。ネットワークの切り替えを実施するためには「IPspace」と「ブロードキャストドメイン」という設定を行います。

「IPspace」はONTAPで同一サブネットや同一IPアドレスを使って異なるSVMへのアクセスを実現するためにネットワーク空間を分ける機能です。

ブロードキャストドメインはネットワーク用語では「ルータを越えずに通信できる範囲」や「ARP要求が届く範囲」といったブロードキャストパケットが届く範囲を表しますが、ONTAPで定義するブロードキャストドメインは「クラスタ内のネットワークポートをグループ化したもの」で適切にLIFのフェイルオーバを実現するために使用されます。

ブロードキャストドメインは必ず1つのIPspaceにひも付きます。1つのIPspaceに複数のブロードキャストドメインをひも付けることも可能です。Ethernetポート、リンクアグリゲーショングループ、VLANインタフェースを適切にフェイルオーバーさせるため必ずブロードキャストドメインにひも付けます。