リアルタイム分析の課題--データをどう組み合わせるべきか

　いまやビッグデータは、バッチ処理とストリームデータ処理のいずれか、という話ではない。どちらか一方だけに関わるのでなく、「両方」に関係する。

　エンタープライズの現場は、ランタイムからアナリティクスに至るまで、バッチ処理とストリームデータ処理を共通フレームワーク内で統合する必要性が高まっている。しかし、ストリーミング分析が台頭してきた現在、Hadoopのようなバッチ方式のシステムにストリーミングデータを統合する作業は簡単でない。多種多様な場所から取得したデータをリアルタイムに分析することは、技術的にとても難しい。

　このデータフェデレーション問題は、困難な探求の対象となってきた。そして、現段階で解決策は大きく分けて2種類あり、より有望と期待される第3の解決策が現れた。