概要
コントロールグループとは、特定のキャンペーンでターゲットにしたユーザーのうち、キャンペーンのコミュニケーションを受信しないユーザーのサブセットです。その主な目的は、比較のためのベースラインとして機能することです。このグループのパフォーマンスを「ターゲット」グループ(変更を受け取るグループ)と並べて測定することで、マーケティング施策の真の効果と有効性を正確に判断できます。ターゲットグループとは、実験でターゲットにした顧客のうち、テスト対象のキャンペーン コミュニケーションを受信する顧客のサブセットです。これらのグループは「テスト」グループまたは「バリアント」グループとも呼ばれます。
コントロールグループの構成
- コントロールグループは通知を受信しないユーザーで構成され、比較のためのベースラインとして機能します。
- コントロールグループの Active Target 数には、通知の受信資格はあるものの、意図的に受信対象から除外されているユーザーが含まれます。
- 通知は送信されないため、コントロールグループの Impressions は常にゼロです。
- Conversions は、コントロールグループ内でコンバージョンイベントを完了したユーザー数を表します。
- コントロールグループのコンバージョン率は、Conversions (CVR) を Active Targets で割った値として計算されます。
コントロールグループが必要な理由
マーケターとして、顧客に何を伝えるべきか、何が無駄なのかというジレンマに直面することはよくあります。特に「顧客に送信しているコミュニケーションは、顧客やビジネスに価値をもたらしているのか?そのコミュニケーションを送信しなくても目標を達成できるのではないか?」ということを知りたいはずです。そこで、マーケティングリサーチの専門家は、コントロールグループとターゲットグループの活用を推奨しています。 コントロールグループの主な目的は、比較のためのベースラインを提供することです。ターゲットグループ(キャンペーンのコミュニケーションを受信したグループ)とコントロールグループ(受信しなかったグループ)の行動とコンバージョン率を比較することで、キャンペーンの増分効果、つまりアップリフトをより正確に測定できます。アップリフトはターゲットグループとコントロールグループのパフォーマンスの差を測定するもので、コミュニケーションの効果(プラスまたはマイナス)を判断するために計算されます。これにより、行動の変化がマーケティング活動自体によって引き起こされたのか、それとも自然に発生したのかを判断できます。 一部の顧客に特定のキャンペーンを送信しなかった場合に、顧客エンゲージメントとコンバージョンが良くなるか悪くなるかという、キャンペーンのアップリフトへの影響を確認できます。コントロールグループにはコミュニケーションが送信されませんが、MoEngage はこのグループのユーザーのコンバージョンを追跡します。コントロールグループの種類
2 種類のコントロールグループを作成できます。グローバルコントロールグループ
グローバルコントロールグループは、ユーザーベース全体から戦略的に選択されたサブセットであり、利用可能なすべてのチャネルにわたって、あらゆるマーケティングキャンペーンの受信から意図的に除外されます。管理者はワークスペースレベルでこれを設定できます。ワークスペースレベルでのグローバルコントロールグループの設定と管理の詳細については、Global Control Group を参照してください。キャンペーンコントロールグループ
キャンペーンコントロールグループは、個々のキャンペーンレベルで定義されます。特定のキャンペーンの対象となるものの、そのコミュニケーションの受信を意図的に保留されるユーザーのサブセットで構成されます。 キャンペーンコントロールグループはグローバルコントロールグループから独立しています。管理者がワークスペースでグローバルコントロールグループを有効にしているか無効にしているかに関係なく、キャンペーンコントロールグループを有効または無効にできます。キャンペーンでコントロールグループを使用する
グローバルコントロールグループ、キャンペーンコントロールグループ、またはその両方を使用してキャンペーンを作成できます。キャンペーンの作成中、ステップ 1 の Content のコントロールグループセクションで、Global control group および Campaign control group のトグルを使用できます。キャンペーンにグローバルコントロールグループを追加する
管理者がワークスペースでグローバルコントロールグループを有効にしている場合、コントロールグループセクションの Global control group トグルはデフォルトでオンになっています。つまり、コントロールグループのユーザーはこのキャンペーンからのコミュニケーションを受信しません。

キャンペーンコントロールグループを追加する
キャンペーンレベルで専用のコントロールグループを追加して、定義したユーザーのサブセットへのコミュニケーションを戦略的に制限できます。 キャンペーンコントロールグループを追加するには、次の手順を実行します。- Campaign control group トグルをオンにして、コントロールグループのユーザーをキャンペーンから除外します。
- 下のボックスに、キャンペーンから除外するターゲットオーディエンスのユーザーの割合を指定します。

- MoEngage は、この割合に基づいてユーザーをコントロールグループとターゲットグループに振り分けます。振り分けの前に、MoEngage はフリークエンシーキャップ、コミュニケーション設定、または到達可能性の問題により通知の対象外となるユーザーを除外します。
- ユーザーがキャンペーンコントロールグループに追加されると、MoEngage は User removed from the campaign due to control group という名前のイベントを発生させます。このイベントには、値が Campaign の属性 Control Group type が含まれます。
キャンペーンコントロールグループをサポートするチャネル
インバウンドチャネルにおけるコントロールグループ
インバウンドチャネル(In-App、On-site Messaging)でのコントロールグループの動作は、 アウトバウンドチャネル(Push、Email、SMS)とは異なります。- インバウンド(In-App、OSM)
- アウトバウンド(Push、Email、SMS)
- コントロールグループの割り当ては固定的かつユーザーレベルです。ユーザーが一度 コントロールグループに入ると、キャンペーンの期間中はそのグループに留まります。
- 割り当てはバケットハッシュベースです。ユーザー ID はハッシュ化され、 バリエーションまたはコントロールグループにマッピングされたバケットに振り分けられます。
- 配信はプルベースであり(バケットに振り分けられて配信されるには、ユーザーがアプリを開くか SDK をトリガーする必要があります)、またユーザーは時間の経過とともに出入りするため、 実際のコントロールグループの割合は設定値とわずかに異なる場合があります。 たとえば、設定値が 10% でも 9% と表示される場合があります。システムは 新しいユーザーが入ってくるたびに継続的に再調整しますが、これには時間がかかります。
アップリフト
キャンペーン分析におけるアップリフトとは、特定のキャンペーンやアクションに起因する、目的の指標(コンバージョン率、収益、顧客エンゲージメントなど)の増加を指します。 これは、キャンペーンを受信したユーザー(ターゲットグループ)のコンバージョン目標のパフォーマンスを、メッセージが送信されなかったユーザー(コントロールグループ)のパフォーマンスと比較することで、キャンペーンの有効性や効果を測定する方法です。 アップリフトは次のような点で役立ちます。- View-through アトリビューション(インプレッションから x 時間)、Click アトリビューション(クリックから x 時間)、In-session アトリビューションなどの複数のアトリビューションモデルで、キャンペーンのパフォーマンス(インプレッションからコンバージョンまで)を分析します。
- 多変量テストを使用して実験を作成し、検証します。
- コントロールグループに対するビジネス指標の真のアップリフトを測定します。
コントロールグループのアップリフト
コントロールグループのアップリフトとは、コントロールグループとターゲットグループを比較した際に観察される、目的の指標の増加または減少を指します。キャンペーン分析において、コントロールグループは分析対象のキャンペーンやアクションを受け取らない個人のグループであり、ターゲットグループはキャンペーンに接触した個人のグループです。両グループの結果を比較することで、目的の指標に対するキャンペーンの増分効果を判断できます。コントロールグループのアップリフトは、ターゲットグループとコントロールグループの差を考慮することで、キャンペーンの有効性を評価するのに役立ちます。グローバルコントロールグループのアップリフト
グローバルコントロールグループのアップリフトとは、キャンペーンに接触しなかった顧客ベース全体または顧客の大規模なサンプルの結果を分析した際に観察されるアップリフトを指します。この場合、顧客ベース全体またはその大部分がコントロールグループとして機能し、ターゲットグループはキャンペーンのターゲットとなった顧客で構成されます。グローバルコントロールグループのアップリフトは、より大規模なオーディエンスにわたるキャンペーンの効果をより広く測定するもので、キャンペーン全体の有効性を評価するのに役立ちます。プラスとマイナスのアップリフト
アップリフト(コントロールグループのアップリフトまたはグローバルコントロールグループのアップリフト)は、プラスにもマイナスにもなり得ます。プラスのアップリフトは、キャンペーンやアクションがプラスの効果をもたらし、キャンペーンを実行しなかった場合やアクションを実行しなかった場合と比べて良い結果につながったことを示します。一方、マイナスのアップリフトは、キャンペーンやアクションがマイナスの効果をもたらし、キャンペーンを実行しなかった場合やアクションを実行しなかった場合と比べて悪い結果につながったことを示します。 プラスとマイナスのどちらのアップリフトも、キャンペーンの有効性に関する貴重なインサイトを提供し、戦略の最適化に役立ちます。アップリフトの割合を計算する

-
Push キャンペーンの場合、
コンバージョン率(CVR)は次の式で計算されます。- (Unique Conversions)/ (Total Impression)
- (Unique Conversions)/ (Total Clicks)
-
SMS/RCS キャンペーンの場合、
コンバージョン率(CVR)は次の式で計算されます。- (Unique Conversion/Total Sent)*100
- 配信が有効な場合は、(Unique Conversion/Total Delivered)*100
-
Email キャンペーンの場合、
コンバージョン率(CVR)は次の式で計算されます。- (Converted Users/Total Unique Open)*100
- (Converted Users/Total Click)*100
-
In-App および On-Site Messaging キャンペーンの場合、
コンバージョン率(CVR)は次の式で計算されます。- (Conversions/Impressions)*100
キャンペーン分析でアップリフトを表示する
キャンペーン分析ページでは、各キャンペーンについて次の分析でアップリフトを表示できます。- Campaign performance stats: パフォーマンス統計のアップリフトの割合は、主要なコンバージョン目標と、コントロールグループに対するその主要なコンバージョン目標のアップリフトを示します。

- Locale/Variation performance: Locale/Variation パフォーマンスのアップリフトの割合は、コントロールグループに対する各バリエーションまたはロケールの各コンバージョン目標のアップリフトを示します。

- Conversion goal performance: パフォーマンス統計のアップリフトの割合は、コントロールグループに対する各コンバージョン目標のアップリフトを示します。

よくある質問
-
MoEngage では、ユーザーはターゲットグループとコントロールグループにどのように振り分けられますか?
MoEngage では、キャンペーンの設定時に指定した割合に基づいて、ユーザーがターゲットグループとコントロールグループに振り分けられます。振り分けが行われる前に、MoEngage はフリークエンシーの制限、コミュニケーション設定、到達可能性の制約などの要因により通知を受信できないユーザーも除外します。これにより、キャンペーンのパフォーマンスを効果的にテストおよび測定するために、各グループに適切なユーザーが含まれるようになります。 -
MoEngage がコンバージョン率の計算に異なるベースライン(ターゲットグループにはインプレッション、コントロールグループにはアクティブターゲット)を使用するのはなぜですか?
MoEngage は、購入や取引の成功など、目的のアクションに対する通知の効果を正確にレポートするために、コンバージョン率の計算に異なるベースラインを使用します。ターゲットグループにインプレッションを使用することで、MoEngage はユーザーに正常に配信された通知の効果を評価します。一方、コントロールグループにアクティブターゲットを使用することで、MoEngage は通知を受信しなかったユーザーの通常の行動を評価します。 このようにベースラインを区別するアプローチは、プッシュ通知キャンペーンによって生み出されたアップリフトを正確に判断するために不可欠です。これにより、通知を受信したユーザーと受信しなかったユーザーの行動を明確に比較でき、キャンペーンのパフォーマンスと有効性についてより正確なインサイトを得ることができます。