ストレージ

2016年春、最新のストレージ製品の選び方(3)--ビッグデータとオールフラッシュ

データストレージの最新動向を解説する特集の第3回。今回は、ビッグデータとオールフラッシュのトレンドに関するストレージ技術を紹介する。

パート2:ビッグデータ編

 次にビッグデータ、特にHadoopやSparkなどの分散並列処理環境でのストレージであるHDFSへの対応を見ていこう。

 ビッグデータの活用が声高に叫ばれている昨今だが、並列処理に必要なサーバを全て自前で用意することは難しく、多くの実証実験ではAmazon Web Services(AWS)やMicrosoft Azureなどのパブリッククラウドを活用しているのが現状だろう。

 AWSの「Amazon Elastic MapReduce(EMR)」、Microsoftの「HDInsight」、Googleの「Google Cloud Dataproc」がHadoopの処理系である。いずれのサービスも、HadoopやSparkなどを中核にLinuxのクラスタで処理し、時間単位で課金される仕組みになっている。選択のポイントは、使い慣れているクラウドサービスかどうか、データをロードしやすいか、料金が見合っているか――という部分だろう。

 その一方、オンプレミスで導入するビッグデータ用のストレージには、従来型のストレージアレイを利用するというのが多くのベンダーから得た回答だ。ここでは、EMCが発表したストレージの新製品「DSSD D5」を紹介しよう。DSSD D5は、データがメモリからストレージに移動する際に発生する遅延時間(レイテンシ)をいかに低減させるかに重点を置いて開発された。

 高速にアクセスできるPCI Express(PCIe)接続のフラッシュストレージを複数サーバで共有でき、PCIe接続の高速SSD規格であるNVM Express(NVMe)に準拠する。ストレージのコントローラ間をPCIeケーブルで接続して冗長性を高めている。5Uのラックに36個のフラッシュモジュールを装着して、平均100マイクロ秒のレイテンシ、毎秒100Gバイトのスループット、最大で毎秒1000万I/Oをうたう。

 数ミリ秒のレイテンシが一般的なエンタープライズ向けストレージと比べると、DSSD D5は桁違いのレイテンシの低さである。ただ、その性能をフル活用しようとすれば、アプリケーションの書き換えなどが必要になり、そのコストを負担できる領域を見つけることが最優先かもしれない。

Hadoopの処理に向いたストレージとは

残り本文:約1752文字 ログインして続きを読んでください。

「ストレージ」で読まれている記事

TechRepublic Japanで人気の記事

編集部オススメ

トレンドまるわかり![PR]

財務・経理
人事・労務
マーケ・営業
購買・調達
生産・製造
データ分析
コミュニケーション
通信・通話
文書・コンテンツ
PC・モバイル
新興技術
ITインフラ
IAサーバー
UNIXサーバー
コンバージド・ハイパーコンバージド
その他サーバー
ストレージ
スイッチ
無線LAN
ルーター
ロードバランサー
VPN
WAN高速化
その他ネットワーク
サーバー仮想化
コンテナ
SDS/ストレージ仮想化
SDN/ネットワーク仮想化
デスクトップ仮想化
アプリケーション仮想化
その他仮想化
クラウドサービス
OS・ミドルウェア
開発
データベース
運用
セキュリティ

ホワイトペーパーランキング

  1. MITスローン編著、経営層向けガイド「AIと機械学習の重要性」日本語版
  2. 単なるバズワードか? 本質が見えにくい「ゼロトラスト」の5つの疑念を払拭せよ
  3. DX実現の鍵は「深層学習を用いたアプリ開発の高度化」 最適な導入アプローチをIDCが提言
  4. 悲惨な「ひとり情シス」を脱却するための7つの話題!うまく回している人が実践していることとは?
  5. これからはじめる! やさしい IDaaS と Azure AD の基本

Follow TechRepublic Japan

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]