Hortonworks Data Platform：さまざまなデータを処理できるHadoopディストロ

TechRepublic Japan Staff

掲載・更新: 2018/05/30 11:00

Hadoopディストリビューション「Hortonworks Data Platform」は、さまざまなデータアクセスに対応する。プロビジョニングやクラスタの配置、監視、管理などを提供するオペレーション関連ツールも利用できる。

Hortonworks Data Platformのポイント

HDFSでデータレイク用ストレージ、YARNが複数のワークロードを同時処理
リアルタイム分析やストリームデータ処理などさまざまな方式に対応可能
メタデータ管理やライフサイクル管理などデータ管理ツールも用意

Hortonworks Data Platformの製品解説

　ホートンワークスジャパンの「Hortonworks Data Platform（HDP）」は、オープンソースソフトウェア（OSS）の分散並列処理プログラミングフレームワーク「Apache Hadoop」のディストリビューションであり、企業向け機能を追加している。HDP自体もOSSとして提供されているが、ホートンワークスが有償のサポートサービスを提供している。

　Hadoopクラスタのリソース管理やジョブスケジューリングを担当する「Apache YARN（Yet Another Resource Negotiator）」と分散ファイルシステムの「HDFS（Hadoop Distributed File System）」が中核。HDFSがデータレイク用ストレージを担い、YARNが複数のワークロードの同時処理を管理する。

　さまざまなデータアクセスに対応する。バッチ処理を担う「MapReduce」、Hadoopでのクエリを記述できるドメイン固有言語（Domain Specific Language：DSL）の「Apache Pig」、リアルタイムデータ分析ツール「Druid」、Hadoopにデータウェアハウス環境を構築して、データを集約、分析できる「Apache Hive」、列指向分散データベースの「Apache HBase」、分散型キーバリューストア（KVS）「Apache Accumulo」、HbaseなどのNoSQLストアでリレーショナルデータベース機能を提供する「Apache Phoenix」、ストリームデータを分散処理するための「Apache Storm」、全文検索エンジン「Apache Solr」、インメモリ指向のクラスタコンピューティングフレームワーク「Apache Spark」が利用できる。

　データのガバナンスと統合のためのツールも提供。メタデータなどを管理するための「Apache Atlas」、データライフサイクル管理ツール「Apache Falcon」、構造的なデータストアとHadoopの間で大量データを転送するツール「Apache Sqoop」、ストリーミングのログ管理ツール「Apache Flume」、耐障害性の高いメッセージングシステム「Apache Kafka」などがある。

　ユーザー認証やアクセス制御、データ保護などを提供するセキュリティ関連のツールや、プロビジョニングやクラスタの配置、監視、管理などを提供するオペレーション関連ツールが含まれる。Microsoft AzureやAmazon Web Services、Google Cloud Platform のいずれでも、クラウドの俊敏性を活用しながらオンプレミスのワークロードを実行できる。

Hortonworks Data Platformのまとめ
用途と機能	企業向けHadoopディストリビューション
特徴	リアルタイム分析やインメモリ、全文検索、SQLライクなクエリなどに対応。データを統制、管理するための機能も提供

CNET_IDを登録して全ての記事を読む
(登録3分、無料)

CNET_IDはTechRepublic Japan/CNET Japan/ZDNet Japanでご利用いただける共通IDです。CNET_IDを登録することで、TechRepublic Japanの全ての記事を読むことができます。人気の記事にはこのようなものがあります。

新規登録して全ての記事を読む(無料)