コンピューティング性能の飛躍的な向上、AI/機械学習技術の発展により、膨大なデータを分析処理して業務に活用する企業が増えています。データ分析機能を提供するクラウドサービスも続々と登場し、データの分析結果を活用したシステムも構築しやすくなりました。そこで、新たなビジネスの発見や活用に取り組もうとする企業を対象に、AWSが提供するAI/機械学習サービスやその使い方などを、導入事例を交え解説します。
データ分析環境を構築する前に留意すべきポイント
近年、企業の間でデータを分析して業務効率化やコスト削減、品質向上、さらには新しいビジネスの創出に活用しようという機運が高まっています。コンピューティング技術の進歩により膨大なデータの処理や蓄積が可能になり、AI/機械学習関連の応用技術が発展したことで、データを分析・活用するシステムはより身近なものになりつつあります。
データ分析は、企業の業務やビジネスにさまざまな価値をもたらします。例えば、勘や経験に頼った不確実さを排除して精度の高い現状分析や将来予測を実現したり、従来見落としていた問題点を発見し新たなアイデアを創出したりと、そのメリットは計り知れません。
しかしながら、実際にクラウドサービスを使ってデータ分析基盤を構築するには、高度な専門知識を持った人材が不可欠です。当然、そうした人材を抱える企業はまだ多くはなく、データ分析・活用を進めたくてもできないという課題に悩まされていることでしょう。
また企業の中には、「何のためにデータ分析・活用を行うのか」という課題設定をしっかりと持っていないところも見受けられます。データ分析を行うこと自体が目的となり、データ分析で業務を効率化したいのか、コストを削減したいのかという本来の目的が明確にならないままデータを収集し分析を行ったとしても、成果には繋がりにくいでしょう。まずは「何を目的にデータ分析を行うのか」を明確にすることが重要です。
さらに、データ分析処理に使用するデータにも注目しなければなりません。膨大なデータの中から有用な情報を見つけ出すには、データに含まれる欠損値や異常値を適切に処理したり、データを変換することで有用な特徴量を作成することも必要です。実際のデータ分析基盤の構築や分析をベンダーに委託する場合も、データ分析の目的を明確にし、収集するデータを定義するプロセスについて、ベンダーと共に行い認識を合わせる必要があります。
多彩なデータ分析機能を提供するAWS
とはいえ現在は、データ分析ツールやクラウドサービスの拡充により、格段にデータ分析基盤を構築しやすくなったことは確かです。とくに目覚ましい進歩を遂げているのが、データ分析機能を提供するクラウドサービスです。
例えば、Amazon Web Services（AWS）では、Webサイトのクリックストリームなどに適した分析エンジン「Amazon Elasticsearch Service」、リアルタイムでストリーミングデータを分析処理する「Amazon Kinesis Data Analytics」、標準SQLを使用してAmazon S3内のデータを分析できる「Amazon Athena」、データ分析結果をダッシュボードに可視化する「Amazon QuickSight」など、数多くのデータ分析関連サービスを用意しています。また、データ分析結果に基づいて予測を行う機械学習プラットフォーム「Amazon SageMaker」など、機械学習関連サービスも充実しています。自然言語処理、画像・動画・音声分析、ドキュメント分析、需要予測、不正防止などのAIの応用技術を利用できるAIサービスも充実しています。
さらに、AWS re:Invent 2020では、工場などに設置された機器センサーの振動から異常を検知する「Amazon Lookout for Equipment」や、製品の外観検査を低コストで導入し品質検査プロセスを自動化する「Amazon Lookout for Vision」などが発表され、異常検知や品質管理のサービスが拡充されています。
これらのサービスに加え、ビッグデータ処理に最適な分散コンピューティング基盤「Amazon EMR」、ペタバイト規模のデータに対しても素早くクエリが実行でき、他のデータソースとも連携可能なデータウェアハウス「Amazon Redshift」、データレイクのセキュリティ、ガバナンス、監査のポリシーを一元管理できる「AWS Lake Formation」なども、データ分析には有効です。
AWS上では、これらのサービスを容易に連携させられるというメリットがあります。また、基本的に使用した分だけの従量課金になるため、夜間休日の休業時など分析処理が不要な時間はコストが発生しないというメリットも得られます。
コンサルからインフラ設計・開発、運用支援までワンストップで提供
こうした多様なデータ分析関連サービスが用意されているAWSを有効に活用するには、AWSやデータ分析に関する知識が不可欠です。自社の力だけでは、データ分析基盤を構築することは難しいという企業も少なくありません。そんな企業にお勧めしたいのが、AWSとデータ分析の両方に精通したシステムインテグレーションサービスを利用することです。
NHNテコラスのAWS活用支援サービス「C-Chorus」では、AWSを活用したデータ分析基盤の構築からデータサイエンティストによるデータ分析までのシステムインテグレーションをワンストップで提供します。このサービスでは、ビジネス目線の計画立案、KPI設計・プランニングなどのコンサルティング、専門家によるデータ分析モデルの構築という上流工程から、実際のデータ分析基盤構築、クラウドリソースを活用したインフラエンジニアリング、データ分析業務の運用代行、さらにはデータ分析に関する人材教育・スキルトランスファーに至るまでのすべてに対応しており、データ分析に関するあらゆる課題解決を支援しています。
ビッグデータ・機械学習支援
NHN テコラスの知見や技術力を生かした成功事例が豊富
データ分析基盤の構築、データ活用の支援などの豊富な実績もあります。
例えば、AWS を活用し「キャスト評価システム」を構築したBIJIN&Co.株式会社があります。同社では、モデルやインフルエンサーなどのマッチングの最適化を図るキャスティングプラットフォーム「CLOUDCASTING」を提供していましたが、登録者数の増加とともに、データも集まってきたため、サービスの高品質化を目的に、AIによるキャスト評価システムを開発することに。
そこで、自然言語処理、画像解析、アルゴリズム開発、アプリケーション開発、AWS基盤構築までカバーできるデータサイエンティスト・エンジニアを擁するNHNテコラスに依頼。「Amazon EMR」を活用し、大規模データにも適用可能な機械学習モデルをApache Sparkを用いて構築し、サービス規模の拡大を踏まえた最適なインフラを実現しました。
データ分析基盤をAWSへ移行して運用費用の9割削減を実現した株式会社エディアの事例も紹介します。
ソーシャルゲームやエンタメアプリを手掛ける同社では、他社クラウド上の分析基盤でゲームのログを収集・解析して、プレイヤーや課金データなどのKPIとなる数値を可視化し、その数値をもとにデータドリブンな施策の策定やゲームの運用を行っていました。しかし、分析基盤の運用コストがかさんでいたことから、データ分析基盤のAWS移行を検討するも、社内にデータ分析基盤のインフラ構築経験を持つスタッフがいなかったため、AWSの知見が豊富なNHN テコラスに設計・構築を依頼しました。NHNテコラスでは、Amazon S3をデータレイクとして利用し、Amazon Athenaから参照する構成を設計。分析基盤のコストを大幅に削減すると共に、AWS Glue Crawlerを活用してデータカタログを整備し、Amazon Athenaでの分析業務のスピードも向上。さらに、NHNテコラスのAWS請求代行サービスによりS3の料金を抑えることにも成功しました。
またNHNテコラス自身でも、自社が利用する各種データの分析基盤を構築しました。例えば、自社クラウドリセールサービスのコスト最適化を図るために、AWS関連データの収集、ETL（Extract/Transform/Load）処理、可視化を実現するデータ分析基盤を構築。また、自社データセンター向けには、ネットワークを流れる時系列データを蓄積・分析し、DDoSを検知するシステムを構築しました。さらに自社フルマネージドホスティングサービス向けに、SNSデータをリアルタイムで収集、SageMakerを使って学習、ホスティングされたテキスト分類モデルでサービスに関する投稿を抽出、Amazon Forecastで投稿数の推移を予測、Kibanaで投稿数の推移を可視化し、異常時に通知を行うシステムを運用しています。
NHNテコラスの最大の強みは、APN（AWS Partner Network）プレミアコンサルティングパートナーとして「AWSデータと分析コンピテンシー」の認定を取得しているところにあります。データ分析基盤の構築に課題をお持ちのお客様は、NHNテコラスにぜひご相談ください。
AIやデータ分析の活用でお困りではありませんか？
・自社に合わせた最適なAI・データ分析サービスを構築できる
・AWSの認定資格をもったエンジニアが対応
・AWSデータと分析コンピテンシー認定取得による確かな技術力