導入事例

株式会社オールアバウト様

月間利用者数3,400万人の巨大メディアの集計基盤
自前のHadoop環境からクラウド型DMSへの移行

「何より大きな成果は、やりたいことを当たり前にできるようになったこと」

株式会社オールアバウト様

オールアバウトは、月間1億5,000万PV、利用者数約3,400万人の総合情報サイトを運営。不動産や家電、旅行、恋愛など、各方面の専門家900人が専門的知識を記事として提供している。この巨大メディアのアクセスログの集計基盤として、以前はオンプレミスのHadoopを使用していた。

「トラブルが起きた際、発生箇所を特定するために膨大な時間がかかっていました」
そう語るのは同社のシステム部でジェネラルマネジャーを務める西岡健一氏。今回は既存のHadoop環境からクラウド型ビッグデータ分析プラットフォーム「トレジャーデータサービス by IDCF」(以下、TDサービス)へどのように移行したのかを中心にお話を伺った。

旧分析システムが現場の要望に対応できなくなっていた

オールアバウトは、2001年に人生を楽しむ総合情報サイト「All About」を開設。数多くの専門家を集め、「信頼できる一次情報」の提供を目指している。1,300ものテーマが存在し、記事総数は17万本を越えているなど、巨大情報サイトとして広く名前が知れ渡っている。

以前は、この巨大メディアの分析集計を独自に構築したシステムで管理。2011年よりHadoopをメディア集計の基盤として使用していた。その後、ビジネス要件の多様化とスピード感に対応するため、システムの機能追加、および改修を長期間に渡り行ってきたが、人材流動などにより初期の設計思想などが引き継がれず現在に至ってしまったという。

株式会社オールアバウトシステム部ジェネラルマネジャー西岡健一氏
システム部ジェネラルマネジャー 西岡健一氏

スピード優先での機能追加が増えてしまったことで、集計における障害発生ポイントが多くなり、発生箇所の特定がしづらくなってしまった。

「徐々にシステムの統一性がなくなってきていました。すべてを知っている人間であればすぐに特定できる問題であっても、全体の見通しが悪かったためそれができず、結局は一から処理フローを見直さねばならない状態に陥っていました」

TDサービスを利用することにより、十分な集計パフォーマンスを得ることができたため、障害時にもWebコンソール上で部分的な分析クエリを発行して、高速にトライ&エラーを繰り返しながら問題の箇所を特定できるようになったという。

特に意識したのは“移行”。HiveQLをそのまま使い、移行コストを最小限に

「広告効果などの分析レポートをクライアントに提出しているのですが、集計基盤に障害が発生した場合は、復旧するまでクライアントにお待ちいただかなければならない事態となります。特にハードウェアで問題が起きた場合は、長い期間クライアントをお待たせしてしまうこともありました」

株式会社オールアバウトシステム部ジェネラルマネジャー西岡氏

こうした状況を打破するために、クラウド型の集計基盤の導入を検討。検討対象はTDサービスを含めて3つまで絞ったという。

「この時点で重視したのは移行の工数でした。HiveQLをそのまま使えることなど、金額だけではなく工数が少ないものを選びたいと考えていました。TDサービスはクエリを修正する手間がもっとも少ないということで選択させていただきました」

工数を重視したのには理由がある。通常業務を行いながら移行作業を進めるため、工数を最小限にとどめて作業を行う必要があった。また、既存の分析システムは他システムと密接に結びついているため、移行作業のシステム的な影響を最小限に抑えることがもっとも重要だった。

移行作業は2015年9月から2人のスタッフが担当。最終段階ではレポートのチェックなどで2人がヘルプとして投入された。2016年1月にはTDサービスを一部稼働、6月には本稼働を開始した。

旧システムでは不可能だった時次集計が可能に

株式会社オールアバウト様 データ集計基盤構成図
オールアバウト様 データ集計基盤構成図

クラウド環境に移行したため、ハードウェアが原因となる障害は起こらなくなった。入稿ミスなどが起因でリカバリが必要になることもあるが、バッチ処理の実行内容と結果をブラウザ上で確認することができるため、再集計が必要なポイントを迅速に特定することが可能になった。

既存システムからの移行では、できることから着実に進めることが重要。1日に6千万レコード、月に18億レコードを集計しているため、細心の注意が必要だった。できることとできないことを見極め、現場など関係各所と情報共有を特に重視していった。

また、TDサービスへの移行が佳境を迎えた頃、日次、月次に加え、時次で集計を行うことはできないか?と現場より要望が上がってきたという。旧システムでは不可能に近い要望でしたが、TDサービスなら可能。「できます」と返せたことは自信にもなったと西岡氏は力強く語る。

何より大きな成果。やりたいことを当たり前にできるようになった。

かつては通常業務をこなすのに精一杯。現場からの要望を聞き入れることも難しく、長年使い続けたシステムの「無駄」を見つけて修正していくこともできなかった。しかし今では、障害リスクが減少し、システムが安定的に稼働しているため、現場からの要望をヒアリングする余裕が出てきた。

「もし問題が発生したとしても、そのほとんどがその日のうちに対応することができるようになりました」

クラウドならではの安定性とユーザビリティが手に入った。「定額制だからこそのコスト感のつかみやすさも良い点」と西岡氏は語り、今後は、機械学習のHivemallやBIツールの導入も視野に入れてブラッシュアップをはかっていきたいと続けた。

株式会社オールアバウトシステム部ジェネラルマネジャー西岡健一氏

「今回の集計基盤の移行で手応えを感じたのは、システム以外の部署のほとんどのメンバーが、移行作業を気にせずに通常の業務を行うことができ、しかも、いつの間にか以前よりも安定、スムーズなシステムにレベルアップすることができたことです。

しかし、今はやっとスタート地点に立てたにすぎません。オールアバウトが提供するさまざまなサービスの価値をより高める、集計・分析システムへの拡張を進めていきたいと思います」

導入企業様 会社概要
会社名 株式会社オールアバウト
設立 2000年
代表取締役社長 江幡 哲也
事業内容 専門ガイドによる総合情報サイトの運営
インターネット広告事業
URL http://corp.allabout.co.jp/新規ウィンドウを開きます

※掲載内容は、本事例の掲載日時点の情報です。
※2016年10月1日より、サービス名称が「Yahoo!ビッグデータインサイト」から「トレジャーデータサービス by IDCF」に変更となっております。
※記載されている会社名、製品名は、各社の登録商標または商標です。

2016年08月02日掲載