技術概要
日立製作所は11月14日、OSSベースでのビッグデータ分析を最大100倍に高速化する技術を発表した。
OSS（オープンソースソフトウェア）のHadoopデータ処理基盤で実行するビッグデータ分析。これまで、データの取得・検索・演算といったデータ処理手順でビッグデータ分析が行なわれているが、これでは並列処理の高速性を活かすことができないため、並列処理に適した手順に変換した上でFPGAで高速処理を行なうというもの。
とくにHadoopデータ処理では日付データひとつをとってもUNIX通日型、ユリウス通日型など複数の形式を許容するため専用の処理回路を必要とし、FPGAの並列演算処理を有効に活用できなかった。データ形式やサイズを判別する解析回路を設けるなどして処理を最適化し、複数のデータをひとつの回路でまとめて処理する最適化調整を行なう回路設計を考案した。
サンプルデータの分析を行なったところ、最大100倍にデータ処理を高速化できることを確認したという。今後、さまざまな実証実験を通じて実用化を目指すとしている。
週刊アスキーの最新情報を購読しよう
本記事はアフィリエイトプログラムによる収益を得ている場合があります