金融分野におけるチャレンジ

激増するデータにHadoopで挑む！金融の業務知識と強みであるモデリング力の高さを活かし、Asakusa Frameworkを活用した高速で高可用性を有するシステムを構築。

ALM＊1業務における法人から個人まで対象にした取引データ2,000万件という大量データを高速処理するシステムを実現するため、Hadoopの採用を決定。更に、Hadoopの実装方式MapReduce＊2の開発を効率よく行うためにAsakusa Frameworkの活用を決断。新技術の導入に対して、業務知識とデータモデリング・業務モデリングという設計力の高さ、開発プロセスを標準化するスキルの高さを発揮し、高速かつ可用性の高いシステムを短期間かつコストを抑える形で実現しました。

背景
上流システムの更改により、取り扱う取引データの対象が法人から個人にまで拡大。それに伴い取引件数が従来の1万件から2,000万件に激増。限られた期間内で処理能力を大幅に向上させることが課題となる。

国内大手金融機関様のリスク管理用の基礎データ作成システムの開発を担当していました。保有する金融資産の情報を多数の上流システムから受領し、科目変換や明細作成、キャッシュフロー展開、集計・計算などの処理を行うシステムです。この上流システムの更改があり、その影響によりこれまでは対象としていなかった個人向けの取引も処理する必要が生じ、その結果、流入するデータ量が1万件から2,000万件へと大幅に増加。2,000万件という大量データ処理に耐えうるシステム実現に向け、開発がスタートしました。

＊1 Asset Liability Management
＊2 MapReduce: 並列処理のプログラミング/モデル。業務ロジックを表現することが非常に難しく、開発手法、テストツール、運用方法が確立されておらず、短期間で設計・開発することが困難な技術。

【プロジェクト概要】大量データを処理できるアーキテクチャ設計と効率的に設計・実装できるフレームワーク選定が成功の鍵

大量データを処理できる能力と、データ不正やハードウェア障害時に自動的にフォールバックできる高い可用性が求められました。更に、見積りよりも大幅に短い期間内に、標準よりもスペックの低い仮想サーバ上で実現しなければいけないという制約もありました。これらのソリューションとしてHadoopの採用を決定。さらに、Hadoopの実装方式MapReduceが抱える実装難易度の高さに対処するために、ノーチラス・テクノロジーズ社のAsakusa Frameworkの導入を決めました。これら新技術を使い、当社の金融ドメインの業務知識、データモデリングや業務モデリングに加えて、並列処理を考慮した高度な設計で、効率の良い業務ロジックを構築。性能に寄与する要因が複雑なため、段階的な性能検証を進めることでリスクを低減。さらに、Asakusaを前提とした開発プロセスやルールを整備することで、開発効率の向上にも努めました。

【導入効果】2,000万件のデータ処理を3時間で達成することに成功。要求された8時間を大幅に上回る。

1. 求められた処理性能は、2,000万件のデータ処理を8時間で完了させること。従来のアーキテクチャでは45時間かかるものを、新アーキテクチャへ刷新することで、3時間での処理実現に成功しました。さらに、Hadoopのもつ高可用性を損なうことが無いよう、システム全体をデザインすることで、可用性の高さも実現しています。

2. 開発プロセスの標準化により、見積もり時点で12ヶ月かかる開発期間を9ヶ月に短縮することができ、短納期でのリリースを実現しました。

【ポイント】Hadoopを採用しAsakusa Frameworkを活用したバッチシステムとして、国内金融業界における最初の事例

HadoopとAsakusa Frameworkを使うことで、業務システムにおけるバッチ処理を安価に高速化させることが可能になります。その開発を成功に導くには、①並列処理を考慮した高度な設計、②段階的な性能検証、③Asakusa Frameworkを前提とした開発プロセスとルールの構築が鍵を握ります。この3つのTipsにより、大量データの高速処理と高可用性を、高い生産性で実現することができるのです。