이 방법에서는 봇 성능 분석을 위해 다양한 메트릭이 사용될 뱅킹 봇 시나리오를 살펴보겠습니다. 봇 변수의 정의와 Kore.ai 봇 플랫폼에서 봇 메트릭이 구현되는 방법에 대한 자세한 내용은 여기를 참조하세요.

문제 설명

뱅킹 봇 클라이언트는 다음과 같은 메트릭을 추적할 수 있습니다:

• 고객이 자주 사용하는 의도
• 고객 유형에 따른 사용량 분할

본 문서에서는 봇 메트릭 페이지에서 위의 통계를 보고 맞춤형 메타 태그에 따라 필터를 적용하기 위한 자세한 단계별 접근 방법을 제공합니다.

전제 조건

• 봇 구축 지식
• 맞춤형 메타 태그 사용. 자세한 내용은 여기를 참조하세요.
• 아래 언급된 것과 같은 대화 상자가 있는 뱅킹 봇:
  • 송금 – 송금하는 단계를 사용자에게 설명하는 대화 작업. 이 대화에는 송금량에 따라 커스텀 메타 태그인 TransferValue를 추가하기 위한 스크립트 노드가 포함되어 있습니다. 다음 스크립트가 사용되었습니다:

    if(context.entities.TransferAmount[0].amount > 50000){
       tags.addSessionLevelTag("TransferValue","HighValue");
    }
    
    if(context.entities.TransferAmount[0].amount > 10000)
    tags.addSessionLevelTag("TransferValue","MediumValue");
    
    if(context.entities.TransferAmount[0].amount > 0)
    tags.addSessionLevelTag("TransferValue","LowValue");

    

  • 수취인 관리 – 사용자가 수취인 목록을 관리하도록 합니다. 여기에 customerType 메타 태그를 할당하는 스크립트가 있습니다.:

    if(context.custType == 3){
       tags.addUserLevelTag("CustomerType","Premium");
    }
    if(context.custType == 2){
       tags.addUserLevelTag("CustomerType","Gold");
    };
    if(context.custType == 1){
       tags.addUserLevelTag("CustomerType","Regular");
    };

구현

문제 설명에 언급된 각 메트릭을 메트릭에서 볼 수 있는 방법을 살펴보겠습니다.

1. 왼쪽 탐색 패널의 분석에서 메트릭 을 클릭합니다.
2. 이 페이지에는 성공적인 발화, 의도, 사용자 ID 및 기타 세부 정보를 포함하는 찾은 의도 메트릭이 표시됩니다.
3. 지난 1주 동안 봇이 캡처한 성공적인 의도입니다.
4. 필터 버튼을 클릭하여 보고서를 커스터마이징합니다.
   
5. 캡처하려는 기간, 언어, 채널 및 작업/의도를 커스터마이징합니다.
6. 송금 의도를 추적하고자 하는 것이기 때문에 그에 따라 선택했습니다.
   
7. 우리는 고액 송금을 하는 골드 및 프리미엄 고객의 모든 상호 작용에 대한 보고서를 원합니다.
8. 이 경우 다음과 같이 사용자 지정 태그를 선택합니다(드롭다운 앞의 유형에서 태그 이름 및 태그 값을 선택할 수 있습니다:
   • 고객 유형 – 골드, 프리미엄
   • 송금액 – 고액

   

9. 필더를 적용하면 업데이트된 메트릭 페이지가 표시됩니다. 태그 필터는 봇에 게시된 버전에만 적용된다는 점에 주의하세요.
10. 찾지 못한 의도, 실패한 작업 등과 같은 모든 메트릭에 대해 위 단계를 반복할 수 있습니다…

こちらのハウツーでは、バンキングBotのシナリオを検討していきます。ここでは、さまざまなメトリックスを使用してBotのパフォーマンスを分析します。Botメトリックスとは何か、またKore.aiのBotプラットフォームにどのように実装されているかについての詳細は、こちらを参照してください。

例題

バンキングBotのクライアントは次のメトリックスを追跡することができます。

• カスタマーが使用する頻度の高いインテント
• カスタマータイプに基づいた利用状況

このドキュメントでは、Botメトリックスページから上記の統計情報を表示し、カスタムメタタグに基づいてフィルタを適用するための順を追った詳細なアプローチをご説明します。

Pre-requisites

• Botビルドナレッジ。
• カスタムメタタグの使用についての、詳細はこちらを参照してください。
• 以下で述べるダイアログ付きバンキングBot。
  • 送金-送金のステップをユーザーに説明するダイアログタスクです。このダイアログには、振替額に基づきカスタムメタタグ、TransferValueを追加するスクリプトノードを含めました。以下のスクリプトが使用されました。

    if(context.entities.TransferAmount[0].amount > 50000){ tags.addSessionLevelTag("TransferValue","HighValue"); } if(context.entities.TransferAmount[0].amount > 10000) tags.addSessionLevelTag("TransferValue","MediumValue"); if(context.entities.TransferAmount[0].amount > 0) tags.addSessionLevelTag("TransferValue","LowValue");

    

  • 支払先管理 – 支払先リストを管理するユーザー用。 以下は、customerTypeメタ タグを割り当てるスクリプトです。

    if(context.custType == 3){ tags.addUserLevelTag("CustomerType","Premium"); } if(context.custType == 2){ tags.addUserLevelTag("CustomerType","Gold"); }; if(context.custType == 1){ tags.addUserLevelTag("CustomerType","Regular"); };

導入

例題に記載されている各メトリックスについて、メトリックスからどのように表示できるかを考えてみましょう。

1. 左側のナビゲーションパネルから、分析の下のメトリックスをクリックします。
2. ページには、正常な発話、インテント、ユーザーのユーザーID、その他の詳細を含む検出されたインテントメトリックスが表示されます。
3. これらは、Botによって取得された過去1週間の正常なインテントです。
4. フィルタボタンをクリックして、レポートをカスタマイズします。
5. 取得が必要な日付期間、言語、チャネル、タスク/インテントをカスタマイズします。
6. 送金インテントを追跡する必要があるので、それに応じて選択を行います。
7. 高額な送金を行っているゴールドおよびプレミアムカスタマーのすべてのインタラクションのレポートを作成したいと考えています。
8. このためには、次のようにカスタムタグを選択します（先のタイプのドロップダウンからタグ名とタグ値を選択できます）。
   • カスタマータイプ–ゴールド、プレミアム
   • Transfer Value – HighValue

   

9. 適用フィルタを実行すると、更新されたメトリックスページが表示されます。タグフィルタは、Bot上で公開されたバージョンにのみ適用されることに注意してください。
10. 未検出のインテント、失敗したタスクなどのすべてのメトリックスについて、上記のステップを繰り返すことができます。

In this How-To, we will explore a scenario in a Banking Bot, where, various metrics will be used to analyze the bot performance.

For details on what Bot Metrics are and how they are implemented in the Kore.ai Bots platform, refer here.

Problem Statement

A Banking Bot client can track the following metrics:

• Frequent Intents used by customers;
• Usage split based on the customer type;

This document gives a detailed step-by-step approach to viewing the above statistics from the Bot Metrics page and apply filters based on Custom Meta Tags.

Pre-requisites

• Bot building knowledge.
• Custom Meta Tags usage, refer here for more.
• A Banking Bot with the dialogs as mentioned below:
  • Transfer Money – Dialog task walking the user through the steps in transferring money.
    In this diaog, we have included a Script node to add Custom Meta Tag, TransferValue, based upon the amount transferred. Following script was used:

    if(context.entities.TransferAmount[0].amount > 50000){
       tags.addSessionLevelTag("TransferValue","HighValue");
    }
    
    if(context.entities.TransferAmount[0].amount > 10000)
    tags.addSessionLevelTag("TransferValue","MediumValue");
    
    if(context.entities.TransferAmount[0].amount > 0)
    tags.addSessionLevelTag("TransferValue","LowValue");

    

  • Manage Payee – For the user to manage their payee list.

    Here we have a Script assigning customerType meta tags:

    if(context.custType == 3){
       tags.addUserLevelTag("CustomerType","Premium");
    }
    if(context.custType == 2){
       tags.addUserLevelTag("CustomerType","Gold");
    };
    if(context.custType == 1){
       tags.addUserLevelTag("CustomerType","Regular");
    };

Implementation

Let us consider how each of the metrics mentioned in the problem statement can be viewed from the Metrics.

1. From the left navigation panel, under Analyze click Metrics.
2. The page will display the Intent found metrics to include successful utterances, intents, userid of the user,  and other details.
3. These are the successful intents in the past one week as captured by the Bot.
4. Click the Filter button to customize the report.
   
5. Customize the Date period, Languanges, Channel, and the Task/Intent you want to capture.
6. Since we want to track the Transfer Money intent, we have selected accordingly.
   
7. We want the report of all the interactions by the Gold and Premium customers doing High Value money transfers.
8. For this select the Custom Tags as follows (you can select the tag name and tag value from the type ahead drop down:
   • Customer Type – Gold, Premium
   • Transfer Value – HighValue

   

9. On Applying the filter, you will see the updated Metrics page. Note that tags filter is applied only on the published version on the bot.
10. You can repeat the above steps for all metrics like Intent not found, Failed task, etc..