NAS SAN フラッシュストレージ

2016年春、最新のストレージ製品の選び方(3)--ビッグデータとオールフラッシュ

データストレージの最新動向を解説する特集の第3回。今回は、ビッグデータとオールフラッシュのトレンドに関するストレージ技術を紹介する。

パート2:ビッグデータ編

 次にビッグデータ、特にHadoopやSparkなどの分散並列処理環境でのストレージであるHDFSへの対応を見ていこう。

 ビッグデータの活用が声高に叫ばれている昨今だが、並列処理に必要なサーバを全て自前で用意することは難しく、多くの実証実験ではAmazon Web Services(AWS)やMicrosoft Azureなどのパブリッククラウドを活用しているのが現状だろう。

 AWSの「Amazon Elastic MapReduce(EMR)」、Microsoftの「HDInsight」、Googleの「Google Cloud Dataproc」がHadoopの処理系である。いずれのサービスも、HadoopやSparkなどを中核にLinuxのクラスタで処理し、時間単位で課金される仕組みになっている。選択のポイントは、使い慣れているクラウドサービスかどうか、データをロードしやすいか、料金が見合っているか――という部分だろう。

 その一方、オンプレミスで導入するビッグデータ用のストレージには、従来型のストレージアレイを利用するというのが多くのベンダーから得た回答だ。ここでは、EMCが発表したストレージの新製品「DSSD D5」を紹介しよう。DSSD D5は、データがメモリからストレージに移動する際に発生する遅延時間(レイテンシ)をいかに低減させるかに重点を置いて開発された。

 高速にアクセスできるPCI Express(PCIe)接続のフラッシュストレージを複数サーバで共有でき、PCIe接続の高速SSD規格であるNVM Express(NVMe)に準拠する。ストレージのコントローラ間をPCIeケーブルで接続して冗長性を高めている。5Uのラックに36個のフラッシュモジュールを装着して、平均100マイクロ秒のレイテンシ、毎秒100Gバイトのスループット、最大で毎秒1000万I/Oをうたう。

 数ミリ秒のレイテンシが一般的なエンタープライズ向けストレージと比べると、DSSD D5は桁違いのレイテンシの低さである。ただ、その性能をフル活用しようとすれば、アプリケーションの書き換えなどが必要になり、そのコストを負担できる領域を見つけることが最優先かもしれない。

Hadoopの処理に向いたストレージとは

残り本文:約1752文字 ログインして続きを読んでください。

関連記事

編集部おすすめ

ピックアップ製品

サーバ
PC・モバイル
ストレージ
NAS
SAN
フラッシュストレージ
ネットワーク
仮想化
クラウドサービス
OS・ミドルウェア
開発
データベース
運用
セキュリティ
新興技術
財務・経理
人事・労務
マーケ・営業
購買・調達
生産・製造
データ分析
コミュニケーション
通信・通話
文書・コンテンツ
サイト構築
PCソフト
学習

ベンダー座談会

Follow TechRepublic Japan