Hortonworks Data Platform：さまざまなデータを処理できるHadoopディストロ

Hortonworks Data Platformのポイント

• HDFSでデータレイク用ストレージ、YARNが複数のワークロードを同時処理
• リアルタイム分析やストリームデータ処理などさまざまな方式に対応可能
• メタデータ管理やライフサイクル管理などデータ管理ツールも用意

Hortonworks Data Platformの製品解説

　ホートンワークスジャパンの「Hortonworks Data Platform（HDP）」は、オープンソースソフトウェア（OSS）の分散並列処理プログラミングフレームワーク「Apache Hadoop」のディストリビューションであり、企業向け機能を追加している。HDP自体もOSSとして提供されているが、ホートンワークスが有償のサポートサービスを提供している。

編集部おすすめの関連記事

• ビッグデータに埋もれた「黄金」を掘り起こす--RDBから始める5つのステップ
• ビッグデータ活用を成功に導くクラウド利用のすすめ（前編）
• ビッグデータ活用を成功に導くクラウド利用のすすめ（後編）
• HadoopやSparkを活用したビッグデータ分析--英国の保険会社の成功事例

　Hadoopクラスタのリソース管理やジョブスケジューリングを担当する「Apache YARN（Yet Another Resource Negotiator）」と分散ファイルシステムの「HDFS（Hadoop Distributed File System）」が中核。HDFSがデータレイク用ストレージを担い、YARNが複数のワークロードの同時処理を管理する。

　さまざまなデータアクセスに対応する。バッチ処理を担う「MapReduce」、Hadoopでのクエリを記述できるドメイン固有言語（Domain Specific Language：DSL）の「Apache Pig」、リアルタイムデータ分析ツール「Druid」、Hadoopにデータウェアハウス環境を構築して、データを集約、分析できる「Apache Hive」、列指向分散データベースの「Apache HBase」、分散型キーバリューストア（KVS）「Apache Accumulo」、HbaseなどのNoSQLストアでリレーショナルデータベース機能を提供する「Apache Phoenix」、ストリームデータを分散処理するための「Apache Storm」、全文検索エンジン「Apache Solr」、インメモリ指向のクラスタコンピューティングフレームワーク「Apache Spark」が利用できる。

　データのガバナンスと統合のためのツールも提供。メタデータなどを管理するための「Apache Atlas」、データライフサイクル管理ツール「Apache Falcon」、構造的なデータストアとHadoopの間で大量データを転送するツール「Apache Sqoop」、ストリーミングのログ管理ツール「Apache Flume」、耐障害性の高いメッセージングシステム「Apache Kafka」などがある。

　ユーザー認証やアクセス制御、データ保護などを提供するセキュリティ関連のツールや、プロビジョニングやクラスタの配置、監視、管理などを提供するオペレーション関連ツールが含まれる。Microsoft AzureやAmazon Web Services、Google Cloud Platform のいずれでも、クラウドの俊敏性を活用しながらオンプレミスのワークロードを実行できる。

Hortonworks Data Platformのまとめ

用途と機能	企業向けHadoopディストリビューション
特徴	リアルタイム分析やインメモリ、全文検索、SQLライクなクエリなどに対応。データを統制、管理するための機能も提供