ミドルウェア

Apache Hadoop:ペタバイト級のデータを分散処理するオープンソースフレームワーク

オープンソースの分散並列処理フレームワークである「Apache Hadoop」は、ペタバイト級のデータを複数のマシンに分散して処理できる高いスケーラビリティを持っている。

 「Apache Hadoop」は、大量のデータを複数のマシンに分散して処理するオープンソースの分散並列処理フレームワークだ。数千ノードでの分散処理やペタバイト級のデータの処理に対応している。HadoopはJavaで開発されており、処理を記述する際も基本的にはJavaで書くことが想定されている。

 処理を記述するプログラミングモデル「MapReduce」や分散ファイルシステム「Hadoop Distributed File System(HDFS)」などで構成されている。MapReduceとHDFSは、Googleが論文で発表した基盤技術をオープンソースとして実装したものだ。

 Hadoopの特徴は高いスケーラビリティにある。サーバを追加することでHDFSの容量や分散処理のためのリソースを増やせる仕組みとなっている。サーバの追加時にHadoopクラスタを停止する必要はない。

 データはキーバリューストア(KVS)で保持する。KVSはリレーショナルデータベース(RDB)やデータウェアハウス(DWH)と異なり、データを格納するためのスキーマの定義が不要である。Hadoopでは、処理する際にHDFSに格納したデータに意味づけする方式を採っている。

Hadoop
Hadoopの公式サイト
Apache Hadoopの概要
用途と機能大量のデータを複数のマシンに分散して処理するオープンソースの分散並列処理フレームワーク
特徴高速なデータの処理を可能にする高いスケーラビリティがある
税別価格無償(オープンソース)
導入企業Yahoo、Facebook、など
現行版の提供開始日2015年4月

「ミドルウェア」で読まれている記事

TechRepublic Japanで人気の記事

編集部オススメ

トレンドまるわかり![PR]

財務・経理
人事・労務
マーケ・営業
購買・調達
生産・製造
データ分析
コミュニケーション
通信・通話
文書・コンテンツ
PC・モバイル
新興技術
ITインフラ
クラウドサービス
OS・ミドルウェア
OS
ミドルウェア
アプリケーションサーバー
開発
データベース
運用
セキュリティ

ホワイトペーパーランキング

  1. MITスローン編著、経営層向けガイド「AIと機械学習の重要性」日本語版
  2. コンテナセキュリティ入門ーコンテナ保護の基礎知識
  3. 前経済産業省審議官 三角育生氏が語る「新時代のセキュリティ対策」
  4. 悲惨な「ひとり情シス」を脱却するための7つの話題!うまく回している人が実践していることとは?
  5. 見えてきた“悪意のあるインフラストラクチャ”の恐るべき実態

Follow TechRepublic Japan

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]