ビッグデータ分析をする上で基盤となるシステムのインフラをクラウド化することは必要不可欠となり、ここ数年でデータ分析利用のためのサービスは多くなりました。インフラでクラウドを利用するにも選択肢はいくつもあり、選定の担当者は導入前には必ず迷うところだと思います。
今回は、データ分析に利用されることが多いプロダクトとしてAWSが提供しているAmazon RedshiftとGoogleが提供しているBigQueryを、料金と用途の点から比較してみます。本記事は、技術者ではないけれど、データ分析について意思決定に関わる方や興味を持つ方向けの記事となっています。
データウェアハウスとは
今回比較するAmazon Redshift、BigQueryは共にデータウェアハウス（以下DWH)と呼ばれるサービスです。DWHという言葉は、システム担当者でないと聞き慣れない方も多いと思います。DWHとは、企業におけるさまざまなシステムから必要なデータを収集し、保管したデータベースです。通常のデータベースと異なり、はじめからデータ分析を目的としてデータが蓄積されるために、過去のデータを削除しません。通常、データベースでは一定以上古いデータはバックアップをとって削除しますが、DWHでは過去から現在への変化も分析するため、大量のデータを保持しておく必要があります。それゆえ基本的にデータの削除を行わず、分析時に本番系のデータベースにアクセスしないため、本番データの不用意な編集リスクを避けられ、業務パフォーマンスに影響しないというメリットがあります。
長年データを蓄積しているものの、分析や活用までできていない企業は、データをため続けられるDWHシステムの導入が効果的である可能性が高いと考えられます。
Amazon Redshiftとは
Amazon Redshiftは、AWSが提供する高速で、スケーラブルなデータウェアハウスです。AWSはAmazon Redshift だけでなく、Amazon Athenaなど簡単に連携できるデータ分析サービスが充実しているため、S3でデータを蓄積していてデータ分析を始めたい、といった場合には非常に親和性高く構成をすることが出来ます。
Amazon Redshift
BigQueryとは
BigQuery は、Googleが提供するサーバーレスなエンタープライズ向けデータウェアハウスです。Amazon Redshift も高速処理が可能ですが、2018年10月時点でBigQueryはそれを上回るパフォーマンスであるという検証結果もあります。
BigQuery vs Athena vs RedShift vsHive
同じクエリで実行時間を比較検証した結果、Amazon RedShiftで一番金額が低いdc2.largeと比べるとBigQueryの方がデータロード、実行時間ともに早いという結果になっています。
課金方法の違い
Amazon RedshiftとBigQueryはどちらも従量課金ですが、料金体系が異なります。
BigQueryはサーバレスでクエリ課金、Amazon Redshiftはクラスターを常時立ち上げておく、時間課金です。※サーバレスなAmazon Redshift Spectrumというサービスもあります
Amazon Redshiftは、AWSで一般的に利用される仮想サーバーであるEC2などの料金体系と同じで、利用時間ごとに料金がかかるオンデマンドと、1年か3年の契約をし、利用量や時間に左右されない、リザーブドインスタンスがあります。利用するクラスターのタイプとノード数に応じた1時間あたりの料金を、利用時間分支払う体系となっており、1時間当たり$0.25から利用が可能です。
一方、BigQueryはクエリ発行で利用した容量に対して課金する料金体系で、1TBあたり$5となっており、定額料金での利用も可能となっています。
オススメの使い方
Amazon Redshiftは時間課金で、BigQueryはクエリ課金であることから、
- 定常的に分析する必要があるのであればAmazon Redshift
- 定常的に分析せず、必要時だけ分析をするのであれば、BigQuery
というのが基本的な考え方です。
また、Amazon Redshiftは1つのラージノードが1時間あたり$0.25からスモールスタートが出来るため、検証の段階での利用は非常に向いています。その後、利用状況に応じていつでも数千コア、数テラバイトのRAM、数テラバイトのストレージを持つクラスターにすることが出来るため、その時々で段階的な料金設定をすることが出来ます。
利用状況に合わせて最適なサービスを
今回、Amazon RedshiftとBigQueryの料金、用途を紹介しました。それぞれ異なるメリットを持ち合わせているので、社内での利用状況に合わせて選ぶのが良いでしょう。社内でのインフラは全てAWSもしくはGoogleで構成しているので親和性を保ちたい、あるいは基本AWSで構成したまま、一部BigQueryに移行など、重視する点によっても選択肢は変わってきます。また、本記事で記載しませんでしたが、DWHサービスは数多く存在しますので検討時の材料として本記事が一助となれば幸いです。
これからビッグデータ活用を始める方にオススメ！
ビッグデータ解析・活用のポイント
AIブームなどにより、先端ビジネスの主要テーマのひとつとなっている「ビッグデータ」。事例を交えながら、ビッグデータの解析や活用方法について解説します。