AWS導入事例_SMN様
お客様
会社名
SMN株式会社様
会社概要
2000年に創業。
ソニーグループの最先端技術を活用した広告配信サービスをはじめとする「マーケティングテクノロジー」提供会社として、お客様のデジタルマーケティングに関する課題を解決しています。
対象システム
ユーザーのWeb行動履歴のビッグデータを分析し可視化提供するマーケティングプラットフォーム「VALIS‐Cockpit」（ヴァリス‐コックピット）。
オープンストリームでは上記システムのうち、ビッグデータの分析基盤の開発支援を行わせていただきました。
課題
ビッグデータの分析基盤を開発にあたり以下の課題がございました。
- インターネット広告の膨大なログ(10TB以上程度)を解析・分析するための処理基盤が必要
- インフラおよび運用コストをできるだけ抑えたい
アプローチ
課題に対してアーキテクトを含めたチーム体制でSMN様の開発チームに参画。
以下の解決アプローチをSMN開発チーム様と共に検討させていただき、課題解決に努めさせていただきました。
- ビッグデータ分析基盤をクラウド上(AWS)に構築
- システム間連携やフロントエンドとの連携を疎結合で行えるためREST APIとして提供
- 各分析の頻度や優先度によって、クラウドサービスや分散処理フレームワークを使い分けてコストを最適化
- 高速化チューニングにより処理するログ量や時間削減によるコストを削減
- マネージドサービスを積極採用することでコストを削減
構成図
構成の特徴
- 分析データ/分析結果用のストレージとしてコストの安価なS3を採用
- 分析優先度に応じて分析用アーキテクチャを変更し、コスト効果の高い構成を実現
- 優先度の高い分析はAthenaを利用したリアルタイム処理で実装
- 優先度が中・低の分析はSQSを利用したキューを用いた非同期バッチ処理とし、EMRを効率的に利用できる形に実装
- 分散処理基盤サービスであるEMR、Athenaを利用することにより10TB以上の膨大なログを解析・分析を可能とする構成を実現
- 高速化チューニングを行うことにより処理するログ量の削減や時間削減を図りAWSコスト/時間コストを削減
- 分析要求リクエストと分析結果の取得にAPIGatewayを利用したAPIで提供することによりフロントエンドや他システムとの連携をしやすい構成
効果
- 分散処理基盤採用によりインターネット広告の10TB以上の膨大なログを解析・分析に耐えうる構成を実現
- マネージドサービスの採用や優先度に応じたアークテクチャの変更によりコスト最適化された構成を実現
- 高速化チューニングを行うことにより分析にかかる時間コスト(※)の削減も実現
- ※ バッチ処理の時間に関してはバッチによっては50％以上の時間削減を達成
尚、本ページで紹介しているアーキテクチャはバージョン1の構成であり、現在もSMN開発チーム様と共に構成改善に努め、構成を日々進化させていただいております。