はじめに
BigQuery は、Google Cloud Storage（GCS）Platform で利用できる、フルマネージドかつサーバーレスのデータウェアハウスソリューションです。インフラストラクチャを管理することなく、テラバイト規模のデータに対して複雑な分析をリアルタイムで実行できます。MoEngage × BigQuery
MoEngage と BigQuery の連携では、MoEngage の GCS データインポートおよびエクスポートを使用して Google BigQuery にデータを転送し、高度な分析を行います。ユースケース
BigQuery と MoEngage の連携は、以下のユースケースに役立ちます。- BigQuery からリアルタイムのオーディエンスを同期する
- BigQuery からユーザーとイベントをインポートする
- キャンペーンインタラクションイベントを BigQuery にエクスポートする（GCS 経由）
メリット
BigQuery と MoEngage の連携により、以下のメリットが得られます。連携にかかる時間の短縮
- MoEngage は BigQuery と直接連携するため、適切な Extract、Transform、Load（ETL）ツールを探す必要がなくなります。
- 長く複雑な ETL パイプラインは、MoEngage がデータに直接アクセスできる一度きりの連携設定に置き換えられます。
- これにより、技術チームへの依存が大幅に軽減されます。
データ処理の高速化
- BigQuery のインフラストラクチャにより、MoEngage は膨大な量のデータをほぼリアルタイムで保存、処理、クエリできます。
- 元のスキーマの変更は、MoEngage 側の構成を変更することなく即座に反映されます。これは従来の ETL パイプラインに対する大きなメリットです。
- インポートのコストは従来のデータパイプラインよりも大幅に低く、ETL ツールや外部のクラウドプロバイダーは必要ありません。
連携
前提条件新しいユーザー、スキーマ、テーブルを作成する権限を持つ BigQuery アカウントがあることを確認してください。
ステップ 1：MoEngage に権限を付与する
- オーディエンスの同期とインポート
- エクスポート
MoEngage に権限を付与するには、特定の BigQuery テーブルへの読み取りアクセス権を付与し、MoEngage が BigQuery Jobs API を介してジョブを送信し、クエリ結果をダウンロードできるようにする必要があります。以下の手順は、BigQuery データセットをホストしている Google Cloud Platform プロジェクトで管理者権限を持っていることを前提としています。MoEngage 用のサービスアカウントを作成するMoEngage 用のサービスアカウントを作成するには、以下の手順を実行します。
- Google Cloud Console を開きます。
- BigQuery データセットを含むプロジェクトに移動します。
- IAM & Admin セクションに移動し、Service Accounts を選択します。
- Create Service Account をクリックします。
- 名前と説明（例：moengage-access）を入力します。
- サービスアカウントのロールとして BigQuery Job User を選択します。
- サービスアカウントを作成します。
- サービスアカウントに移動し、KEYS タブを選択します。
- ADD KEY リストをクリックし、Create new key を選択します。
- ポップアップウィンドウで、キーのタイプとして JSON を選択します。
- CREATE をクリックして、JSON キーファイルを生成してダウンロードします。
- JSON キーファイルは安全に保管してください。
- BigQuery コンソールで、MoEngage にアクセスさせるテーブルを含むデータセットに移動します。
- Sharing ドロップダウンリストをクリックし、Permissions を選択します。
- サービスアカウントのメールアドレス（JSON キーファイルに記載）を、“BigQuery Data Viewer ” ロールを持つメンバーとして追加します。
- Save をクリックして、データセットへのアクセス権を付与します。
- Google Cloud Console で、IAM & Admin セクションに移動し、IAM を選択します。
- Grant Access をクリックして、新しいメンバーを追加します。
- サービスアカウントのメールアドレス（JSON キーファイルに記載）を入力します。
- BigQuery Jobs API とのやり取りを可能にするため、ロールとして BigQuery Job User を割り当てます。
- Save をクリックしてアクセス権を付与します。
- BigQuery コンソールで、目的のテーブルを含むデータセットを開きます。
- アクセスを制限するテーブルを選択し、コンテキストメニューから Share Table をクリックします。
- サービスアカウントのメールアドレスをメンバーとして追加し、これらの特定のテーブルに対してのみ BigQuery Data Viewer ロールを割り当てます。
ステップ 2：App Marketplace で BigQuery を接続する
App Marketplace で BigQuery を接続するには、以下の手順を実行します。- MoEngage ダッシュボードの左側のナビゲーションメニューで、App marketplace をクリックします。
- App Marketplace ページで、BigQuery を検索します。
- BigQuery タイルをクリックします。
- BigQuery ページで、Integrate タブに移動し、+Add Connection をクリックします。
- 以下の詳細を入力します。
フィールド 必須 説明 Connection name はい BigQuery 接続の名前を入力します。 Project ID いいえ Google Cloud Platform（GCP）内のプロジェクトに割り当てられた一意の識別子です。MoEngage はこの ID を使用して、接続する Google Cloud プロジェクトを正確に特定します。この ID は Google Cloud Console のダッシュボードで確認できます。 Service account credentials はい Google Cloud プロジェクトのサービスアカウントから生成した JSON キーファイルをアップロードする必要があります。JSON ファイルにはパスワードとして機能する秘密鍵が含まれており、個人のログイン情報を共有することなく、MoEngage が BigQuery データに安全かつ自動的にアクセスできるようになります。または、こちらに記載されている手順（10 ～ 12）に従うこともできます。 Enable GCS for faster segmentation and exports 任意 GCS ステージングのトグルをオンにすると、MoEngage が BigQuery に対してデータを読み書きする速度と効率が向上します。この機能により、MoEngage は Google Cloud Storage（GCS）をデータの一時的なステージング領域として使用できます。注：Warehouse Audiences でこの機能を有効にするには MoEngage サポートチームに連絡する必要があります。エクスポートの場合はサポートチケットは不要です。 GCS Bucket name 任意 GCP プロジェクトで作成した GCS バケットの名前を入力します。MoEngage はこのバケットを使用して、BigQuery からエクスポートされたセグメントデータをインポート前に一時的に保存します。 GCS Folder path 任意 MoEngage が一時ファイルを保存する GCS バケット内のフォルダ名を指定する必要があります。これにより、データを整理された状態に保つことができます（例： moengage_imports/）。
- Connect をクリックします。これで BigQuery 接続が統合されました。