Skip to main content
レコメンデーションをライブキャンペーンで使用する前に、テストを行ってください。テストでは実際の顧客に表示される内容を正確に確認できるため、結果がゼロになる設定、不適切なフィルター、マッピングの問題を、オーディエンスに届く前に発見できます。 テストは、Item Attribute、User Actions、Catalog Alerts を含む Basic レコメンデーションでも、すべての AI 搭載モデルを含む Advanced レコメンデーションでも、同じ方法で行えます。

Test Recommendation パネル

テストパネルは、次の 2 つの方法で開くことができます。
  • レコメンデーションの作成中。設定の最後のステップに Test recommendation パネルが含まれているため、保存する前にレコメンデーションをテストできます。
  • Recommendations リストから。既存のレコメンデーションを開き、Test recommendation をクリックします。
既存のレコメンデーションのテストパネルを開くには、次の手順を実行します。
  1. MoEngage のサイドバーメニューで、Content メニュー項目 Content アイコン にカーソルを合わせます。Content メニューが表示されます。
  2. Recommendations をクリックします。Recommendations ページが表示されます。
  3. リストでレコメンデーションを見つけ、Actions の下にある編集アイコンをクリックします。レコメンデーションが開きます。 ワークスペース内のレコメンデーションを一覧表示する Recommendations ページ
  4. Test recommendation セクションまでスクロールし、Test recommendation をクリックします。テストパネルがポップアップとして開きます。 レコメンデーションで開いた Test recommendation パネル
パネルが開く間、MoEngage には「Calculating the eligible users for this recommendation.」と表示されます。計算が完了すると、Random eligible user オプションに、対象となるユーザープールのサイズが「Test 10 users randomly preselected from N users who qualify for this recommendation.」の形式で表示されます。

パネルのレイアウト

テストパネルには、次の 3 つの領域があります。 パネルには次のコントロールもあります。

テストモード

MoEngage では、次の 3 つの方法で結果をプレビューできます。
By item は、Similar Items、Frequently Bought Together Items、Frequently Viewed Together Items でのみ使用できます。これらのモデルは商品 ID を入力として使用するためです。Recommended Items はユーザー ID を使用するため、このモデルはユーザー単位でテストしてください。

特定のユーザーでテストする

特定のユーザーについてレコメンデーションをテストするには、次の手順を実行します。
  1. テストパネルで By specific user をクリックします。
  2. Select user by ドロップダウンリストで、ID、Email ID、Mobile Number、または MoEngage ID を選択します。
  3. User identifier value ボックスに、Select user by リストで選択した識別子の値を入力します。
  4. Show result をクリックします。 推奨アイテムが Test result の下に表示されます。
識別子の種類を選択して値を入力し、結果を表示して、特定のユーザーについてレコメンデーションをテストする様子 これらは、キャンペーンのパーソナライズプレビューで使用できる識別子オプションと同じものであるため、手元にある任意の ID でテストできます。事前に MoEngage ID を調べる必要はありません。
入力した内容に一致するプロファイルが複数ある場合、MoEngage は見つかったプロファイルの数と、選択されたプロファイルを表示します。そのメッセージの横にあるドロップダウンリストを使用して、一致した他のプロファイルに切り替えることができます。また、View user をクリックすると、選択したプロファイルを開いて正しいプロファイルであることを確認できます。
1 人のユーザーが複数のプロファイルを持つ場合があるため、ID、Email ID、Mobile Number で検索すると、複数のプロファイルが一致することがあります。MoEngage はメッセージに示されたプロファイルをテストするため、意図したユーザーでない場合はプロファイルを切り替えてください。 一致したプロファイルのリストを開き、検索した識別子を共有する MoEngage ID が表示されている様子

ランダムな対象ユーザーでテストする

ランダムな対象ユーザーでレコメンデーションをテストするには、次の手順を実行します。
  1. テストパネルで Random eligible user をクリックします。 MoEngage はレコメンデーションの対象となる全ユーザーからランダムに 10 人をサンプリングするため、何も入力する必要はありません。
  2. ユーザーをクリックすると、そのユーザーのレコメンデーション結果が表示されます。
  3. Test for another user をクリックすると、サンプル内の別のユーザーに切り替わります。
  4. View user をクリックすると、選択したユーザーの完全なプロファイルが開きます。
ランダムな対象ユーザーでレコメンデーションをテストし、サンプリングされた別のユーザーに切り替える様子 サンプリングされたユーザーで結果が返されない場合があります。これは、その特定のユーザーに対してレコメンデーションが何も生成しなかったことを意味し、レコメンデーションが壊れているわけではありません。Test for another user をクリックして、別のユーザーを確認してください。
Random eligible user でユーザーがまったく返されない場合は、レコメンデーションのフィルターによって全員が除外されています。対象プールを広げるには、レコメンデーション設定のステップ 2 でフィルターをクリアしてから、レコメンデーションを再度テストしてください。
Recommendation conditions ペインでフィルターをクリアまたは変更しても、ランダムな対象ユーザーは更新されません。このリストはパネルを開いたときに作成され、パネルのフィルターコントロールは右側に表示される結果にのみ影響します。

アイテムでテストする

特定の商品に対してレコメンデーションをテストするには、次の手順を実行します。
  1. テストパネルで By item をクリックします。
  2. Product ID ボックスに商品 ID を入力します。
  3. Show result をクリックします。その商品と一緒に MoEngage が推奨するアイテムが Test result の下に表示されます。
商品 ID を入力して結果を表示し、特定の商品に対してレコメンデーションをテストする様子 商品 ID とアイテム ID は同じ値です。商品は、レコメンデーションが使用するカタログに存在する必要があります。存在しない場合、MoEngage には「The product ID does not exist. Please check the product ID.」というエラーが表示されます。

レコメンデーションの結果

Preview of [X] items という見出しの Test result ペインには、選択したユーザー、アイテム、またはサンプルに対して MoEngage が推奨するアイテムが表示されます。このペインでは、次の操作を実行できます。
  • Search by title and ID ボックスで、タイトルまたは ID で結果を検索します。
  • ペイン右上の表示アイコンを使用して、グリッド表示とリスト表示を切り替えます。グリッド表示ではアイテムがカードとして、リスト表示では行として表示されます。
  • 各アイテムの ID、名前、短い説明、価格を、キャンペーンでの表示とまったく同じ形で確認します。
レコメンデーション結果を検索し、グリッド表示とリスト表示を切り替える様子

ドロップされたアイテム

ドロップされたアイテムとは、モデルが推奨したものの、その後カタログから削除されたアイテムです。この場合、プレビューには展開可能な通知が表示され、欠落しているアイテムの数と、欠落しているカタログアイテム ID の正確なリストが示されます。 ドロップされたアイテムを解決するには、それらの ID がアクティブなフィードに存在し、アイテム ID としてマッピングされた属性と一致していることを確認してください。これは、カタログとイベントの ID の不一致を見つける最も直接的な方法です。 ドロップされたアイテムの通知を展開して、見つからなかったカタログアイテム ID を確認する様子 Trending Items レコメンデーションの場合、テストパネルには、次の表に示すように、使用中のトレンド設定も表示されます。 属性トレンドの場合、By item および By attribute value オプションは、値のドロップダウンリストで User Property を選択した場合にのみ表示されます。代わりに Custom value を選択した場合は、標準のトレンドオプションのみが表示されます。 User Property を選択して By item および By attribute value オプションを表示する様子

レコメンデーションの条件

Recommendation conditions ペインは 2 つの部分で構成されています。Generate Recommendation には、モデルが結果を生成するために使用する設定が表示され、テストパネルでは読み取り専用です。Filter には現在適用されているすべてのフィルターが一覧表示され、テスト中に変更できます。 MoEngage は、フィルターを User action、Exclude user action、Item attribute(それぞれ AND または OR が付きます)、および Sort Recommendation にグループ化します。 条件が結果にどのように影響するかを確認するには、次の手順を実行します。
  1. グループの横にある矢印をクリックして、個々の条件を展開します。
  2. グループまたは個々の条件のチェックボックスをオンまたはオフにします。右側のプレビューがすぐに更新されます。
  3. Reset changes をクリックすると、すべてが保存済みの設定に戻ります。このリンクは、何かを変更した後にのみ有効になります。
条件のチェックボックスをオン・オフし、それに合わせて結果が更新される様子 特定のアイテムが結果に表示されない理由を調べるには、そのアイテムが表示されるまで条件を 1 つずつオフにしてください。

フィルターの変更を適用または破棄する

テストが完了したら、Done をクリックします。条件を変更した場合、MoEngage はその設定をレコメンデーションに適用するかどうかを確認し、適用すると保存済みの設定が置き換えられることを警告します。
  1. Apply filters をクリックすると、テスト中の変更がレコメンデーションの新しいライブ設定として保存されます。
  2. Don’t apply をクリックすると、テストビューが閉じ、レコメンデーションは保存されたとおりの状態に保たれます。
変更したフィルターをレコメンデーションに適用するかどうかを確認するプロンプト
Apply filters は、このテストだけでなく、すべてのユーザーに対して保存済みのレコメンデーションを上書きします。恒久的な変更を行うのではなく、問題を診断するためにテストしている場合は、Don’t apply をクリックしてください。

結果がゼロになる場合のトラブルシューティング

レコメンデーションが正しく設定されていても、通常はタイミングやデータの不一致が原因で、結果が返されないことがあります。次の原因を順番に確認してください。
  1. イベントをマッピングする前にインタラクションが発生した。 MoEngage は、ユーザーアクションのマッピングを保存した時点からイベントをレコメンデーションにカウントし始め、それ以前のデータはバックフィルしません。テストユーザーの関連アクティビティがマッピング以前のものしかない場合は、より最近のアクティビティで再度テストしてください。
  2. インタラクションイベントのアイテム ID が、カタログ内のどのアイテム ID とも一致しない。 アイテム ID としてマッピングされた属性の値が、イベントとカタログフィードの両方で同一であること(大文字と小文字が同じ、余分なスペースがない、文字列または数値の形式が同じ)を確認してください。これはドロップされたアイテムを生じさせるのと同じ不一致ですが、インタラクションしたすべてのアイテムが一致しない場合は、部分的なリストではなく結果がゼロになります。
  3. テストしているモデルに対して、ユーザーアクションがまだマッピングされていない。 4 つのユーザーアクションのうち少なくとも 1 つをマッピングする必要があります。User Actions モデルまたは AI パーソナライズモデルをテストする前に、ユーザーアクションをマッピングしてください。
  4. テストユーザーが存在しなくなったか、別のプロファイルに統合された。 代わりに、残っている MoEngage ID でテストしてください。
  5. アカウントにデータがない識別子の種類で検索した。 Select user by リストで選択した種類に、このユーザーのアクティビティが実際にあることを確認してください。
  6. このレコメンデーションで使用しているカタログが削除された。 再度テストする前に、カタログを再接続してください。
これらのいずれにも該当しない場合は、レコメンデーション名とテストに使用した識別子を添えて MoEngage Support にお問い合わせください。

関連記事