ミドルウェア

Apache Hadoop:ペタバイト級のデータを分散処理するオープンソースフレームワーク

オープンソースの分散並列処理フレームワークである「Apache Hadoop」は、ペタバイト級のデータを複数のマシンに分散して処理できる高いスケーラビリティを持っている。

 「Apache Hadoop」は、大量のデータを複数のマシンに分散して処理するオープンソースの分散並列処理フレームワークだ。数千ノードでの分散処理やペタバイト級のデータの処理に対応している。HadoopはJavaで開発されており、処理を記述する際も基本的にはJavaで書くことが想定されている。

 処理を記述するプログラミングモデル「MapReduce」や分散ファイルシステム「Hadoop Distributed File System(HDFS)」などで構成されている。MapReduceとHDFSは、Googleが論文で発表した基盤技術をオープンソースとして実装したものだ。

 Hadoopの特徴は高いスケーラビリティにある。サーバを追加することでHDFSの容量や分散処理のためのリソースを増やせる仕組みとなっている。サーバの追加時にHadoopクラスタを停止する必要はない。

 データはキーバリューストア(KVS)で保持する。KVSはリレーショナルデータベース(RDB)やデータウェアハウス(DWH)と異なり、データを格納するためのスキーマの定義が不要である。Hadoopでは、処理する際にHDFSに格納したデータに意味づけする方式を採っている。

Hadoop
Hadoopの公式サイト
Apache Hadoopの概要
用途と機能大量のデータを複数のマシンに分散して処理するオープンソースの分散並列処理フレームワーク
特徴高速なデータの処理を可能にする高いスケーラビリティがある
税別価格無償(オープンソース)
導入企業Yahoo、Facebook、など
現行版の提供開始日2015年4月

関連記事

ホワイトペーパーランキング

  1. 実はオンプレより、クラウドの方が安全!?情シス マサシと一緒に考えるクラウドのメリット/デメリット
  2. 報告: IT部門と事業部門の「境目」が消え始めた!?世界のITリーダーが回答
  3. “収益10億円への道”を具体的に描く、世界のSaaSビジネス成功企業からの指南書
  4. 日揮やグリーも活用--世界7万6千社で使われるBox事例集
  5. Boxをビジネスに活⽤するために-業種、職種別のユースケース

編集部おすすめ

ピックアップ製品

サーバ
PC・モバイル
ストレージ
ネットワーク
仮想化
クラウドサービス
OS・ミドルウェア
OS
ミドルウェア
アプリケーションサーバ
開発
データベース
運用
セキュリティ
新興技術
財務・経理
人事・労務
マーケ・営業
購買・調達
生産・製造
データ分析
コミュニケーション
通信・通話
文書・コンテンツ
サイト構築
PCソフト
学習

ベンダー座談会

Follow TechRepublic Japan