こんにちは。SB C&S の山田です。
この記事では VMware vSAN を利用する際のハードウェア構成についてご紹介します。
vSANを利用する際、ハードウェア要件はESXiの要件のみではなく、vSANの要件を満たす必要があります。単純に必要な容量を満たしたストレージデバイスを選択すればよいというわけではなく、ストレージデバイスの構成や、スペックに要件があり準拠する必要があります。
vSANのハードウェアを選定する際の主な方法は以下の3つになります。
- HCIアプライアンス
- vSAN ReadyNode
- BYO(Build Your Own)
まず、上記の各選定方法について簡単にご説明します。
HCIアプライアンス
HCIアプライアンスは、各ハードウェアベンダーからvSANの要件を満たした構成済みの製品を購入する方法です。
これらの製品は各ハードウェアベンダーにてテスト済み、検証済みとなるため、vSANの動作が保証されています。
設置時にハードウェアのセットアップやソフトウェアの導入を実施する必要はありません。運用開始前のこれらの作業は各ハードウェアベンダーにて実施済みとなるため、導入に要する時間や作業負荷を軽減することができます。
設置後の設定に関しても、各ハードウェアベンダー独自の設定ツールを利用するかたちとなるため、容易に設定作業を実施することができます。
また、サポートに関しては購入先の各ハードウェアベンダーにてハードウェアとソフトウェアを一括した窓口があります。障害時の運用負荷を低減できます。
vSAN ReadyNode
vSAN ReadyNodeは、VMwareで検証済みの認定パーツのみで構成された製品を各ハードウェアベンダーから購入する方法です。
vSAN Ready Nodeの製品を選定するためにはまず、導入先の規模、要件から指標とする必要があるvSAN ReadyNode プロファイルというものを決める必要があります。
vSAN ReadyNode プロファイルは、オールフラッシュ構成であれば「AF-4 Series」、「AF-6 Series」、「AF-8 Series」があります。
ハイブリッド構成は「HY-2 Series」、「HY-4 Series」、「HY-6 Series」、「HY-8 Series」があります。
これらのvSAN ReadyNode プロファイルは、vSAN Hardware Quick Reference Guideを参考に選択します。規模、要件に近しいパターンを選択します。
vSAN ReadyNode プロファイルを選択したら、vSAN ReadyNodeで構成した製品を提供している各ハードウェアベンダーから、選択したvSAN ReadyNode プロファイルに該当する製品を選定します。
また、要件に近しいvSAN ReadyNode プロファイルがない場合や、vSAN ReadyNode プロファイルに該当する製品のディスク容量などの一部の要件が最適でない場合は、各ハードウェアベンダーの製品のパーツを変更することが可能です。ただし、vSAN ReadyNodeとして認められる範囲内でのカスタマイズとなります。詳細はこちらのKBを参照ください。
BYO(Build Your Own)
BYO(Build Your Own)は自分で一から構成を作成する方法です。
パーツの選定方法としては、VMwareにてvSANの動作を保証したパーツを任意のハードウェアベンダーから選定します。必要な要件に適したベストな構成を作成できることが特徴です。
各ハードウェア選定方法の違いを簡単にご説明しましたが、まとめた表を下記に記載します。
BYOは自分で一から構成を作成すると考えると不明点などが多く大変そうだと感じるかと思います。ここからは不明点などをなるべく払拭できるようにBYOで構成する際の留意するべき点についてご紹介します。
なお、本記事の内容は2021年9月時点での最新情報に基づいております。
vSANで利用するハードウェアは主に下記となります。
各項目について順にご紹介していきます。
- 物理サーバー(x86 サーバー)
- 10GbE以上のNIC
- ESXiブート用のデバイス
- RAIDコントローラ
- キャッシュ用のデバイス
- キャパシティ用のデバイス
物理サーバー
物理サーバーは一般的なx86サーバーを利用します。様々なベンダーにて販売されておりますが、vSAN ReadyNodeのモデルから選定することがベストです。
冒頭でもご紹介しましたが、vSAN ReadyNodeはVMwareから検証済みであることが認定された構成です。物理サーバーはvSAN ReadyNode構成で利用されているモデルから選定することを推奨します。
選定方法ですが、VMware Compatibility Guideを確認します。VMware Compatibility Guide はVMware製品とのハードウェアの互換性ガイドです。こちらにアクセスしvSAN ReadyNodeのモデルを選定します。
URL：https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan
上記のURLにアクセスすると、検索カテゴリがvSANのVMware Compatibility Guideが表示されます。条件を指定して検索をします。
下記の図では、サポート対象リリース、世代、vSAN ReadyNode プロファイルを例として選択してます。(グレーの項目)
サポート対象リリースは、ESXiのサポート対象バージョンです。導入予定のバージョンを選択します。
vSAN ReadyNode プロファイルは、事前に要件、規模から冒頭でご紹介した、vSAN Hardware Quick Reference Guideを参考にして選択します。
世代は、CPUのベンダーと世代です。導入予定のベンダー、世代を選択します。
検索すると該当のハードウェアベンダー毎にモデルが表示されます。これらのモデルはVMwareからvSANの動作が保証されています。
VMware Compatibility Guide はvSANに必要なその他のハードウェアを選定する際にも互換性について参照する必要があり、こちらもあわせて確認する必要があります。詳細については最後にご紹介します。
選定する際の注意点ですが、物理サーバーの製品自体も様々なモデルがあり、CPUのソケット数によって利用できるPCI拡張スロット数、メモリスロット数が異なるといったことに注意する必要があります。
例えば１サーバーにCPUを２ソケットまで搭載可能なモデルでも、１ソケットしか利用しない場合はPCI拡張スロットを最大数使えない仕様や、モデルによってドライブベイ数が異なります。
また、vSANは通常3ノード以上の構成となるため、最低でも3ノード必要となりますが、推奨では4ノードとなっています。これはノード障害時の退避先を確保しておくためです
以前投稿した「VMware vSAN ハイブリッド構成とオールフラッシュ構成の違い」でもご紹介しましたが、データを多重化し許容する障害数を決める可用性ポリシーを FTT (Failures To Tolerate) といいます。FTT = 1の場合、1つのデータに対して3つのコンポーネントをクラスタ内のそれぞれ異なるホスト3台に配置し可用性を担保します。
つまり3ノード構成の場合、１ノードにて障害が発生すると復旧まで可用性を担保できなくなります。そのため、障害発生ノードのコンポーネントの退避先を含め、あらかじめ４ノード構成とすることが推奨されています。
10GbE以上のNIC
クラスタ内の ESXi ホスト間で行われる vSAN に関するデータのやり取りには、vSAN専用のネットワークが必要となります。
以前投稿した「VMware vSAN ハイブリッド構成とオールフラッシュ構成の違い」でもご紹介しましたが、ハイブリッド構成の場合は1GbEと10GbE以上をサポートしています。なお、推奨は10GbE以上です。1GbEの場合は vSAN ネットワーク専用に、他のトラフィックが通らない物理NICを割り当てることが必要です。
ただし、稼働時の同期処理や障害発生時の復旧処理であるリビルド時の処理によってネットワークトラフィックが急増し、1GbEの場合ではネットワーク帯域が枯渇してボトルネックとなる可能性があるため注意が必要です。
10GbE以上のNICであればvSANのトラフィックと他(管理系、vMotion等)のトラフィックを共有することが可能です。
なお、オールフラッシュ構成の場合は10GbE以上のみサポートされております。
また、NICはPCI拡張スロットを消費するため、利用できる空きスロット数を加味して選定する必要があります。
ESXiブート用のデバイス
ESXiをインストールするデバイスは、vSANデータストアに利用するキャッシュ用デバイスとキャパシティ用デバイスとは別にする必要があります。ESXiのインストール先デバイスの選択肢は、HDD、SSD、M.2SSDなどがあります。
以前はUSB/SDを利用する選択肢もありましたが、現在はVMwareから非推奨と案内されております。
USB/SDを利用した場合、ホスト再起動時にログ情報が失われます。これは、ログの保存領域が RAM(メモリ) 上に存在するためです。メモリは揮発性のため障害による再起動などが発生してしまうとログ情報が消えてしまい、障害の原因調査ができなくなってしまいます。また、老朽化による障害が発生しやすいなどの耐久性に関する問題があるため非推奨となります。
参考情報：https://kb.vmware.com/s/article/85685
上記の理由により、ログを保全するためには恒久的ストレージであるHDD、SSD、M.2_SSDを利用する必要があります。
HDD、SSDを利用する際はあわせてRAIDコントローラが必要になります。なお、RAIDコントローラはESXiブート用のデバイスとvSAN データストア用のデバイスを兼用することは仕様上できませんので、最低2枚以上用意する必要があります。その分サーバーのPCI拡張スロットを消費することとなります。
M.2_SSDを利用する場合は、サーバーのモデルにもよりますが、RAIDコントローラを利用せずM.2スロットを利用するモデルがあるため、こちらを選定した場合はPまた、M.2_SSDを利用する場合はサーバーのドライブベイも消費しません。
PCI拡張スロット、ドライブベイのスペースを消費しないことから、さらなるvSANデータストア領域の拡張などが可能です。
RAIDコントローラ
RAIDコントローラはサーバーに内蔵されている複数台のディスクを束ねて管理する機能を持っています。
前述したRAIDコントローラに関するご紹介の通り、RAIDコントローラはESXiブート用のデバイス(HDD、SSDの場合)とvSAN データストア用のデバイスを兼ねることは仕様上できません。
vSANのRAIDコントローラは基本的には1枚用意いただくことになりますが、ストレージ容量が多い場合は2枚以上のRAIDコントローラが必要な場合があります。これはハードウェアベンダーのRAIDコントローラで接続できるストレージデバイスの最大接続台数(仕様)に依存します。
また、vSANディスクグループを1台のサーバーに複数構成する場合、ディスクグループ毎にRAIDコントローラを割り当てることが推奨の構成となります。理由としては、1枚のRAIDコントローラで構成した場合、RAIDコントローラで障害が発生した際に複数のディスクグループに対してのアクセスが不可となり、即時での復旧が不可となるためです。そのため、ディスクグループ毎にRAIDコントローラを用意することでRAIDコントローラ障害時の耐障害性を高められます。
キャッシュ用のデバイス
キャッシュ用のデバイスはSSDなどのフラッシュデバイスを利用します。キャッシュ用のデバイスは書き込みの処理が非常に多くなるため、耐久性が高いハイスペックなデバイスを選定することが推奨されています。
また、オールフラッシュ構成ではディスクグループ毎の書き込み処理に最大600GBの制限がありますので、容量についても考慮する必要があります。600GB以上のフラッシュデバイスを利用した場合の残り容量は耐久性向上のために利用されます。
キャパシティ用のデバイス
キャパシティ用のデバイスは、オールフラッシュ構成ではSSDなどのフラッシュデバイス、ハイブリッド構成であればHDDを利用します。なお、フラッシュデバイスとHDDの混在は不可となります。
キャッシュ用のデバイスとは異なり読み取り処理がメインとなるため、オールフラッシュ構成時に選択するSSDなどのフラッシュデバイスに関しては、容量重視(容量単価が安い)のデバイスを選定することをおすすめします。
ハイブリッド構成時に関してはHDDを選定しますが、回転数10,000されております。
今までご紹介してきたRAIDコントローラや、キャッシュ用デバイス、キャパシティ用デバイスは多くの種類があり、実際にどれを選定すればいいのかという点で疑問が生まれるかと思います。vSAN の動作がサポートされた製品を選定するために冒頭でもご紹介したVMware Compatibility Guideを参照します。
https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio
利用手順について簡単にご紹介します。検索対象から I/O Controller(RAIDコントローラ)、HDD、SSD、Networkを選択することができ、ブランド名(ベンダー)やバージョンなどの詳細なフィルターを設定してサポートされたパーツを選定することができます。
I/O Controller(RAIDコントローラ)を選定するため、例として下記の詳細条件で検索します。
- 検索対象：I/O Controller
- ブランド名：任意のベンダー
- サポート対象リリース：ESXi 7.0 U2(vSAN 7.0 Update 2)
- デバイスタイプ：All
- vSAN のタイプ：All Flash
検索結果は26件でした。結果に表示されたモデルの[タイプ列]をみるとオールフラッシュ構成(All Flash)、ハイブリッド構成(Hybrid)の対応状況が確認できます。[機能]列のパススルー(Pass-Through)はvSAN利用時の構成方法を示しています。(RAIDコントローラによってはRAID0で構成できるモデルもあります)
SSDを選定するため、例として下記の詳細条件で検索します。階層(キャパシティ/キャッシュ)や容量範囲などを指定して検索することができます。
- 検索対象：SSD
- ブランド名：任意のベンダー
- サポート対象リリース：ESXi 7.0 U2(vSAN 7.0 Update 2)
- 階層：vSAN All Flash Caching Tier
- デバイスタイプ：SAS
- vSAN のタイプ：All Flash
- 最小容量(GB)：任意の容量
- 最大容量(GB)：任意の容量
検索結果に表示されたモデルの[製品の説明]列をみるとデバイスタイプや耐久性クラス、パフォーマンスクラスに関する情報が確認できます。
SSDのパフォーマンスクラスと耐久性クラスの指標は下記の表をご参考ください。各クラスの行に対応する階層と書き込み数が記載されています。例えば、オールフラッシュ構成のデバイスを選定する場合は、キャパシティ用デバイスは耐久性クラスAを選定します。キャッシュ用デバイスは耐久性クラスCまたはDを選定します。ただし、vSANでより良いパフォーマンスを出せるように考えると、キャッシュ用デバイスはオールフラッシュ構成、ハイブリッド構成ともに推奨はDとなります。耐久性クラスはパフォーマンスクラスと連動しており、適切な耐久性クラスを選定することでパフォーマンスクラスの視点でも最適なデバイスになるかと思います。
上記の情報の詳細はvSAN ハードウェアクイックリファレンスガイドをご参照ください。
URL:https://www.vmware.com/resources/compatibility/vsan_profile.html?locale=ja_JP
ハイブリッド構成の場合はキャパシティ用デバイスとしてHDDを選定します。HDDは回転数が10,000されております。フォームファクタ(HDDのサイズ)は2.5インチと3.5インチがありますので、物理サーバーのドライブベイに該当するサイズを選定する必要があります。
例として下記の詳細条件で検索します。
- 検索対象：HDD
- ブランド名：任意のベンダー
- サポート対象リリース：ESXi 7.0 U2(vSAN 7.0 Update 2)
- RPM：10000
- 容量(GB)：任意の容量
- フォームファクタ：2.5
検索結果に表示されたモデルの[製品の説明]列をみると指定した条件のモデルであることが確認できます。
検索対象のNetworkに関してですが、リモートダイレクトメモリアクセス (RDMA) 通信に対応したNICを選定する際に参照します。
vSAN 7.0 Update 2 以降では、RDMA通信がサポートされています。RDMA を使用すると、一方のホストのメモリからもう一方のホストのメモリに、OSやCPUを介さずに直接アクセスすることができ、高スループット、低レイテンシーの通信を行うことができます。
RDMA通信をする際のプロトコルはRoCE v2を利用します。RoCE v2 を利用するためには、vSANクラスタ内の各ホストに、RDMAに対応し、なおかつvSANの動作がサポートされているNIC が必要です。RDMAに対応していないNICを利用しているホストがある場合はvSAN クラスタ全体が TCP/IPに切り替わります。
RDMA通信を必要とする要件がある時のみこちらのNICの選定をご検討ください。
下記の詳細条件で検索します。
- 検索対象：Network
- ブランド名：任意のベンダー
- サポート対象リリース：ESXi 7.0 U2(vSAN 7.0 Update 2)
- デバイスタイプ：Network(RDMA NIC:RoCE v2)
検索結果に表示されたモデルの[機能]列をみるとRoCE v2プロトコルに対応しておりRDMA通信が可能であることが確認できます。
以上、簡単ですがvSANのハードウェア構成とパーツの選定方法についてご紹介いたしました。
今後もvSANに関する記事を投稿したいと考えております。
