はじめに
みなさん、こんにちは。SB C&Sの加藤です。 私たちのチームでは、海外で新しく立ち上がったスタートアップ企業や国内にこれから入ってくる企業の国内展開の支援をミッションとして活動しています。その活動の中で、これは面白いのでは？というテクノロジーや商材の紹介をシリーズでお伝えしていこうと思います。 第2回は「LucidLink」です。
課題
ご存知の通り、世の中を取り巻くデータは指数関数的に増加しています。現在のデータ量は、45ZB(ゼタバイト)くらいだと言われておりますが、１ZB＝1兆GBですので想像もつかない膨大な量です。 なんと2025年には、約4倍の170ZB前後まで増加するのではないかと言われており、この要因になっているのが、Unstructured (非構造化）データの増加です。
非構造化データを簡単にいうと、RDBMSに保存するような厳密に構造が定義されているデータではないその他のデータという事になるのですが、例えば、文書、画像、動画、メール、テキストログなどが非構造化データの代表です。そして、この非構造化データの増加に伴い3つのトレンドが見えてきています。
1. より多くのデータがオブジェクトストレージに保存される
2. スケールメリットのある、クラウドサービスの採用が加速する
3. 企業価値となるデータが分散し、働く場所や人も分散する
しかし、現実的には、以下のような課題もあります。
・ユーザーがどんな場所からでも高速に・セキュアにファイルアクセスする方法がない
・オブジェクトストレージは素晴らしいソリューションだが、ファイルシステムのインターフェースや、パフォーマンス、セキュリティに追加の配慮が必要になる
こういった非構造化データの増加よって生まれる課題を解決するべく立ち上がった企業がLucidLink社です。
LucidLinkとは？
2016年にPeter Thompsonを始めとしたメンバーが設立たサンフランシスコをベースにする企業で、βテストの後、2019年に製品としてリリースされています。LucidLinkは、任意のクライアントデバイス(OS)とオブジェクトストレージの間に入り、ファイルシステムインターフェースやEnd-to-Endの暗号化、ファイルへのストリームアクセスを提供します。
LucidLink
https://www.lucidlink.com/
アーキテクチャ概説
LAN環境内であれば、NFSやSMBが非常に効率よく動作するのはご存知だと思います。しかし、インターネット越しではどうでしょうか？LucidLinkは多く行き来する "Chatty"な制御データ(メタデータ)と実データを分離して、メタデータを集中管理し、as-a-serviceとしてクライアント側へ提供し、実データはS3互換のオブジェクトストレージへ保管・管理するといった形をとります。(図1)
図1 Split-Plane Architecture
エンドポイントデバイス側は、OSごとに専用のクライアントとSDKが用意されており、ファイルシステムインターフェースと、先ほどご紹介したメタデータの暗号化された複製が常に保持されているため、アプリケーションや人からは、どのデバイスからアクセスしても常に最新のファイルが存在するように見えます。そして、実際のリード/ライトがあるブロックをストリームしてくるという流れになります。(図2)
図2 Streaming Data from Cloud Storage
最後にストリーミングの性能やキャッシングについてですが、実際のクロスプラットフォームでのリアルタイムストリーミングや、インターネット越しのOS(仮想マシンイメージ)のブートなどのデモンストレーションは以下がわかりやすいですので、是非ご覧ください。
LucidLink Windows, macOS, Linux - Demo
https://www.youtube.com/watch?v=0pYv1XIgdeY
VMware 100 Virtual Machine boot with LucidLink
https://www.youtube.com/watch?v=fWcmtDLH0MA
終わりに
北米の政府などでは、AWS上にある監視カメラの映像ファイルの分析作業の高速化に使ったり、ワイナリーの19ブランチ間のデータ共有の仕組みとして使ったりと様々な使われ方をしています。日本ではこれからですが、基本的な課題として、「重たいファイルのやりとりを複数拠点で行う」業務はインダストリ・国を問うものではありませんし、昨今のようなグローバルに跨ったワークプレイスでのニーズはより多くなっていくのではと考えています。
伝統的に、こういったクラウドストレージやキャッシングはPanzuraやAvereなど割とストレージ機器色が強く、導入もなかなか大掛かりな印象なのですが、昨今のパブリッククラウドを前提としたハイブリッド運用という背景では、高価なクラウドゲートウェイではなく、LucidLinkのような、SaaSベースのサブスクリプションとして購入可能なプライシングモデル、比較的ライトに試せる製品も今後増えてくると感じています。
何かご興味のあるポイントがありましたら、お問い合わせくださいませ！それでは、また次回！
