ミドルウェア NoSQL ETL DWH データ分析

Hortonworks Data Platform:さまざまなデータを処理できるHadoopディストロ

Hadoopディストリビューション「Hortonworks Data Platform」は、さまざまなデータアクセスに対応する。プロビジョニングやクラスタの配置、監視、管理などを提供するオペレーション関連ツールも利用できる。

Hortonworks Data Platformのポイント

  • HDFSでデータレイク用ストレージ、YARNが複数のワークロードを同時処理
  • リアルタイム分析やストリームデータ処理などさまざまな方式に対応可能
  • メタデータ管理やライフサイクル管理などデータ管理ツールも用意

Hortonworks Data Platformの製品解説

 ホートンワークスジャパンの「Hortonworks Data Platform(HDP)」は、オープンソースソフトウェア(OSS)の分散並列処理プログラミングフレームワーク「Apache Hadoop」のディストリビューションであり、企業向け機能を追加している。HDP自体もOSSとして提供されているが、ホートンワークスが有償のサポートサービスを提供している。

編集部おすすめの関連記事

 Hadoopクラスタのリソース管理やジョブスケジューリングを担当する「Apache YARN(Yet Another Resource Negotiator)」と分散ファイルシステムの「HDFS(Hadoop Distributed File System)」が中核。HDFSがデータレイク用ストレージを担い、YARNが複数のワークロードの同時処理を管理する。

 さまざまなデータアクセスに対応する。バッチ処理を担う「MapReduce」、Hadoopでのクエリを記述できるドメイン固有言語(Domain Specific Language:DSL)の「Apache Pig」、リアルタイムデータ分析ツール「Druid」、Hadoopにデータウェアハウス環境を構築して、データを集約、分析できる「Apache Hive」、列指向分散データベースの「Apache HBase」、分散型キーバリューストア(KVS)「Apache Accumulo」、HbaseなどのNoSQLストアでリレーショナルデータベース機能を提供する「Apache Phoenix」、ストリームデータを分散処理するための「Apache Storm」、全文検索エンジン「Apache Solr」、インメモリ指向のクラスタコンピューティングフレームワーク「Apache Spark」が利用できる。

 データのガバナンスと統合のためのツールも提供。メタデータなどを管理するための「Apache Atlas」、データライフサイクル管理ツール「Apache Falcon」、構造的なデータストアとHadoopの間で大量データを転送するツール「Apache Sqoop」、ストリーミングのログ管理ツール「Apache Flume」、耐障害性の高いメッセージングシステム「Apache Kafka」などがある。

 ユーザー認証やアクセス制御、データ保護などを提供するセキュリティ関連のツールや、プロビジョニングやクラスタの配置、監視、管理などを提供するオペレーション関連ツールが含まれる。Microsoft AzureやAmazon Web Services、Google Cloud Platform のいずれでも、クラウドの俊敏性を活用しながらオンプレミスのワークロードを実行できる。

Hortonworks Data Platformのまとめ
用途と機能企業向けHadoopディストリビューション
特徴リアルタイム分析やインメモリ、全文検索、SQLライクなクエリなどに対応。データを統制、管理するための機能も提供

CNET_IDを登録して全ての記事を読む
(登録3分、無料)

CNET_IDはTechRepublic Japan/CNET Japan/ZDNet Japanでご利用いただける共通IDです。CNET_IDを登録することで、TechRepublic Japanの全ての記事を読むことができます。人気の記事にはこのようなものがあります。

あなたにおすすめの記事

関連記事

ホワイトペーパーランキング

  1. 急増する「非マルウェア攻撃」は、どのように防げばいいのか?─新たな発想による防御が必須に
  2. 【保存版】金融・製造・小売・医療…業界別のAI活用シナリオで“ブーム”の次のフェーズへ!
  3. ユーザーの実利用データを解析した「パブリッククラウド利用状況レポート2017」が公開
  4. “AIのパラドックス”に陥らないために─AI導入成功に向けたロードマップを知る
  5. 「HCIってなに?」─いまさら聞けない特徴・よくある質問・効果的な活用法etc…全部答えます!

編集部おすすめ

トレンドまるわかり![PR]

サーバ
PC・モバイル
ストレージ
ネットワーク
仮想化
クラウドサービス
OS・ミドルウェア
OS
ミドルウェア
アプリケーションサーバ
開発
データベース
RDBMS
NoSQL
その他データベース
DWH
ETL
EAI/ESB
運用
セキュリティ
新興技術
財務・経理
人事・労務
マーケ・営業
購買・調達
生産・製造
データ分析
統計解析
テキストマイニング
ソーシャルメディア分析
BI
コミュニケーション
通信・通話
文書・コンテンツ
サイト構築
PCソフト
学習

ベンダー座談会

Follow TechRepublic Japan

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]