BigQuery の新しいワークロード管理と価格体系 : エンタープライズでのワークロード保護、コスト管理をベストなバランスで
Yuta Hono
Head of Specialist Customer Engineering (Data Analytics & Databases)
Google Cloud のデータ ウェアハウスである BigQuery に要するコストの予測を可能にする方法については、かねてから Home Depot や HSBC、SKY をはじめとする企業のお客様から要望が寄せられてきました。そこで、私たちは数年前に BigQuery に定額料金プランを導入し、月々の BigQuery 利用料を予測、管理しやすくしました。この定額料金モデルはお客様の間で広く定着しましたが、今までは手作業の利用開始申請と管理が必要でした。
今回、私たちは BigQuery における定額料金プラン向けの簡単で柔軟なセルフサービス プラットフォーム、BigQuery Reservations を数日中にベータ リリースします。BigQuery Reservations によって、支出計画の立案がよりシンプルになり、あらゆるデータ・アナリティクスのユースケースへの可視化、そして柔軟性を提供します。これらの昨日は二週間のうちに皆様の Cloud Console よりご利用いただけるようになります。BigQuery Reservations は次のことを可能にします。
BigQuery での分析に要するコストの透明かつ予測可能な管理
BigQuery のウェブ UI 上での BigQuery スロット購入（購入は数秒で完了）
BigQuery によるエンタープライズ ワークロードのシームレスな管理
アイドル状態のキャパシティを組織全体で共有し、計算リソースのサイロ化を防止
企業が抱える最大の問題を解決する BigQuery Reservations
Enterprise Strategy Group のシニアアナリストである Mike Leoneは次のように述べています。
「BigQuery Reservations は新しい種類の柔軟性、コストの予測可能性をエンタープライズの大規模なデータアナリティクスにもたらします。BigQuery のようなサーバーレスで、クラウドネイティブなデータウェアハウスにとって、コストを予測しやすくなる機能はお客様にとって非常に有用です。また、我々の調査の結果、42％もの組織がサーバーレスアナリティクスを次の12ヶ月で検討していることを示していることがわかりました。このような価格と利用モデルの柔軟性はGCPの重要な差別化要素となり、この発表はアイドル状態のスロットキャパシティを非常に効果的に利用できるようにしてくれるでしょう。」
私たちのもとには、リソースに対してもっとパワーや柔軟性がほしい、BigQuery スロットを自分で購入して管理したい、という声が寄せられています。
Discord の Engineering Manager である Jingsong Wang は次のように述べています。
「BigQuery Reservations は別のデータウェアハウス製品から移行する際にスロット容量を段階的に増やし、コストパフォーマンスを大幅に向上させるのに役立ちました。BigQuery Reservations により、プロジェクト、ワークロード、ユーザー間でアイドル状態のスロットを共有し、ビジネスに不可欠なワークロードをオンライン状態で稼働させながら、より複雑なワークロードを実行するという柔軟性をユーザーに提供できています。」
以下のビデオより、 BigQuery Reservations の動作をご覧いただくことが可能です。
BigQuery Reservations は、お客様が共通に抱える問題への解決方法を提供します。
コストを予測可能にし、予算内での管理を確実にする : クラウドネイティブなサービスは比類のないスケーラビリティと効率性を提供しますが、そのぶんコストの予測が難しく、予算超過を引き起こす可能性があります。特に従量課金モデルではコスト管理が容易ではありません。一方、BigQuery Reservations は予測可能な定額料金モデルであり、請求額に驚くことはなくなります。
即時のキャパシティ追加 : BigQuery Reservations の場合、スロットは数秒で購入できます。オンデマンドの課金体系と同様に、データ ウェアハウスの起動、作成を待ったり、最適なパフォーマンスを得るためにわざわざ起動後・一時停止後にデータ ウェアハウスのローカルディスク ディスク ベースのキャッシュを準備したりする必要はありません。
エンタープライズ品質のワークロード管理 : バッチジョブの管理 チームは優先順位が高く需要の高いワークロードを実行し、分析のためのリソースキャパシティを分割して保証する必要があるのに対し、テスト ワークロードは少量のキャパシティしか必要としません。BigQuery Reservations のもとでは、BigQuery スロットをプログラムによって動的にリソース ポケットに分割し、それらを部門またはワークロード専用とすることができます。
効率の良さ : アナリティクスのキャパシティを分割すると計算リソースのサイロ化が生じ、キャパシティが無駄になる恐れがあります。BigQuery Reservations は、高い処理能力を必要とするワークロードに対して未使用の BigQuery スロットをリアルタイムで配分し、大規模で複雑な環境の場合でも、すべての BigQuery スロットを余さず利用できるようにします。計算リソースのサイロ化に「No !」を突きつけましょう。
我々は メディア事業の会社である Sky からこの価格体系は非常に有用だという声をいただいています。
「Sky はBigQuery の定額料金をしばらく使い続けています。 BigQuery の定額料金は Sky を BigQuery の請求料金とパフォーマンスの両方で安心させてくれました。 Reservations により、 Sky はビジネスクリティカルなワークロードを保護する方法を再考しました。それにより、優先度の低い開発プロジェクトを分離し、BigQueryのパフォーマンスを最大限に活用できるようになりました。」
と Sky のエンタープライズ インフラストラクチャ アーキテクチャのマネージャーである Vince Marco 氏はのべています。
コストの予測を容易にする BigQuery Reservations
BigQuery Reservations はリソースとワークロードを柔軟に管理できるプラットフォームです。次に示す 3 ステップのプロセスで環境を管理します。
例として、1,000 BigQuery スロットを必要とする組織を考えてみましょう。BigQuery を使用するユーザーには、データ サイエンス チームと、優先順位の高い ELT バッチジョブのワークロード、および BI ダッシュボードのプロジェクトが含まれます。
BigQuery Reservations では次のことができます。
1,000 スロットのコミットメント購入
「ds」に 500 スロット、「elt」に 300 スロット、「bi」に 200 スロットのリザベーション領域をそれぞれ作成
データ サイエンス チームの Google Cloud プロジェクトに対する ds リザベーション領域の割り当て
ELT プロジェクトへの elt リザベーション領域の割り当て
BI ダッシュボードを実行するプロジェクトへの bi リザベーション領域の割り当て
これで、個々のワークロードが専用のキャパシティを有するようになります。また、個々のリザベーションについて、未使用の BigQuery スロットについても、無駄になることはありません。アイドル状態の BigQuery スロットは、すぐに他のリザベーションで自動的に使用することができます。
例えば、 ELT ジョブ が動作するのは夜間だがその間にデータサイエンスチームやBIツールによる分析は行われていないため、そのスロットを有効活用したいという場合にも、BigQuery は自動で「ds」「bi」領域に割り当てられたスロットを「elt」領域で有効活用してくれます。他方、リザベーションによりすべてのスロットが各リザベーション領域で動作している場合には、リザベーション領域に割り当てられたスロットがクエリ パフォーマンスを保証してくれます。これにより、旧来のデータウェアハウスのように、個々のワークロードごとや、個々のチームごとにクラスターを分ける必要なく、最大限効率的に購入したリソースを利用できます。
以上の処理は、BigQuery UI で直接、または BigQuery コマンドライン ツールでプログラムのように実行できます。
お客様からは、BigQuery Reservations によってワークロード管理が合理化され、効率的になったという評価をいただいています。
「Slot Reservation API は、統制と柔軟性の間でうまく BigQuery ワークロード管理のバランスを取っています。BigQuery リソースが無駄になる心配をせずに、コストの高いクエリを互いに分離することができます。API は非常に使いやすく、マイクロマネジメントを行うことなくワークフローを最適化できるようになりました。」（Reddit のエンジニアリング マネージャー、Henry Lin 氏）
BigQuery Reservations の始め方
BigQuery の定額料金プランは 500 スロットから始まり、大規模なデプロイへの対応やコストの予測可能性を求める企業のお客様に適したサイズとなっています。お客様は依然としてオンデマンド、サーバーレスな価格体系の利点を活かし、 PoC (Proof of Concepts, 概念実証) やアドホック分析を行うこともできます。以下の図はどのようにそれらを選択するかを示した図です。
BigQuery Reservations を初めてお使いのお客様は、「BigQuery Reservations の開始方法」を御覧ください。
次のステップ
BigQuery はサーバーレスのエンタープライズ データ ウェアハウスです。それゆえ、お客様の管理オーバーヘッドを削減し、一般的なデータ ウェアハウスの管理に付き物の日常的な作業を自動化することに、私たちは最大限の努力を払っています。その流れのなかで、BigQuery Reservations は BigQuery 環境をきめ細かく管理できる強力な機能を提供します。ぜひお試しいただき、ご意見、ご感想をお寄せください。
詳細は以下のドキュメントをご覧ください。
