봇을 정의하고 하나 이상의 작업을 설정한 후, NLP를 사용한 봇을 게시하기 전에 설정을 먼저 테스트해야 합니다. 봇 소유자 및 개발자는 실시간으로 봇과 대화하여 라이브 세션처럼 인식, 성능 및 흐름을 테스트할 수 있습니다.

봇 테스트하기

메시지 창에서 작업을 테스트하려면, 봇 빌더의 오른쪽 하단 모서리에 있는 봇과 대화 봇 대화 실행 아이콘을 클릭합니다.

항공편 정보 봇에 대한 다음 그림과 같이 봇의 메시지 창이 표시되고 NLP 인터프리터에 연결됩니다.

참고: 봇과 대화 봇 대화 실행 아이콘은 하나 이상의 작업이 생성되기 전까지는 활성화되지 않습니다.

창을 처음 열면, 봇의 봇 설정 확인 메시지 필드 정의가 정의된 경우 표시됩니다. 메시지 섹션에서, 봇과 인터렉션 및 봇 테스트를 시작하려면 텍스트를 입력합니다. 예: 항공편 예약. NLP 인터프리터는 작업을 처리하고, 사용자와 웹 서비스 인증을 확인한 다음, 필요한 작업 필드 정보를 묻는 메시지를 표시합니다. 필요한 작업 필드가 모두 수집되면, 작업이 실행됩니다. 봇을 테스트하는 동안, 다양한 사용자 프롬프트를 사용해 보고 NLP 인터프리터가 동의어(또는 동의어 부족)를 올바르게 처리하는지 확인합니다. 봇이 예기치 않은 결과를 반환하는 경우, 필요에 따라 작업의 동의어 및 작업 필드 이름을 추가하거나 수정해 보세요. 자세한 내용은, 자연어 처리하기를 참조하세요.

문제 해결

디버그 창을 열고 대화의 자연어 처리, 로그, 세션 컨텍스트, 변수를 볼 수 있습니다. 디버그 창을 열려면, 봇과 대화 대화 창의 오른쪽 상단에 있는 디버그 아이콘 을 클릭합니다. 디버그 창은 다음 탭으로 구성됩니다. 디버그 로그, NL 분석, 세션 컨텍스트 및 변수.

  • NL 분석: 봇 작업 로딩 상태를 설명하고, 각 발화마다 작업 이름 분석과 인식 점수를 표시합니다.
  • 디버그 로그: 처리 중이거나 처리된 대화 작업 구성 요소를 날짜 타임 스탬프와 함께 나열합니다.
  • 세션 컨텍스트 및 변수: 대화 작업 처리에 사용된 컨텍스트 개체와 세션 변수를 모두 표시합니다.

디버그 로그

디버그 로그는 대화 작업의 순차적 진행과 모든 노드에서 캡처된 컨텍스트 및 세션 변수를 제공합니다. 디버그 로그는 다음 상태를 지원합니다.

  • 처리 중: 봇 플랫폼이 노드 처리를 시작합니다
  • 처리됨: 노드와 노드 연결이 처리되고 다음 노드를 찾았지만 대화가 해당 노드로 이동하지 않았습니다.
  • waitingForUserInput: 사용자에게 입력을 요청했습니다
  • 일시 중지: 다른 작업이 시작되는 동안 현재 대화 작업이 일시 중지되었습니다.
  • 재개: 일시 중지 상태의 현재 대화는 먼저 시작된 다른 작업이 완료된 후 흐름의 동일한 지점에서 계속됩니다.
  • waitingForServerResponse: 서버 요청이 비동기 응답을 보류하고 있습니다.
  • 오류: 오류가 발생했습니다. 예: 루프 제한에 도달했거나 서버 노드 또는 스크립트 노드를 실행하지 못했습니다.
  • 종료: 대화가 대화 흐름의 끝에 도달했습니다.

NL 분석

NL 분석 탭에는 각 사용자 발화의 작업 이름 분석 및 인식 점수가 표시됩니다. Kore.ai NLP 엔진이 수행하는 자세한 톤 분석, 의도 감지 및 엔티티 감지를 보여줍니다. 의도 감지의 일부로, NLP 분석 탭에서는 기계 학습, 기본 의미 및 Knowledge Graph 엔진의 결과를 보여줍니다. 점수에 대한 자세한 논의는, 봇 학습시키기 주제를 참조하세요.

세션 컨텍스트 및 변수

세션 컨텍스트 및 변수 탭에는 동적으로 채워진 Context 개체 및 봇 빌더에서 처리된 각 구성 요소에서 업데이트된 세션 변수가 표시됩니다. 다음은 디버그 로그에 있는 세션 및 컨텍스트 변수 패널의 예입니다. 매개변수에 대한 자세한 내용은 작업 및 컨텍스트 개체에서 세션 및 컨텍스트 변수 사용하기를 참조하세요.

시스템 명령어

시스템 명령어를 사용하면 평가 중에 사용자와 봇 대화를 제어할 수 있습니다. JavaScript 코드를 사용하여 시스템 명령어를 봇에 삽입할 수도 있습니다. 자세한 내용은 여기를 확인하세요.

세션 기록

기록 옵션을 사용하면 대화를 기록하여 회귀 테스트 시나리오에서 도움이 됩니다. 더 보기…

Myボットを定義して、1つ以上のタスクを設定した後で、NLP有効のボットを公開する前に、設定をテストする必要があります。ボットのオーナーおよび開発者は、リアルタイムでボットとチャットして、認識、パフォーマンス、フローをライブセッションのようにテストすることができます。

ボットのテスト

「メッセージング」ウィンドウでタスクをテストするために、ボットビルダーの右下にあるボットと会話 ボットの実行ダイアログアイコンをクリックします。
ボット用の「メッセージング」ウィンドウが表示され、“フライトの詳細”ボットに関する次図に示されるように、NLPインタプリターに接続されます。

メモ:少なくとも1つのタスクが作成されるまでは、ボットと会話ボットの実行ダイアログアイコンは有効になりません。


最初にウィンドウを開いたときに、ボットのセットアップ確認メッセージフィールドで、定義されていれば、ボットの定義が表示されます。メッセージセクションにおいて、Myボットの対話とテストを開始するためにテキストを入力します。例:フライトを予約するNLPインタプリターはタスク処理を開始し、ユーザーとWebサービスの認証を検証し、必要なタスクフィールド情報の入力を指示します。必要なタスクフィールドがすべて収集されると、タスクが実行されます。Myボットをテストしている間に、さまざまなバリエーションのユーザープロンプトを試して、NLPインタプリターが同義語(または同義語の欠如)を適切に処理していることを確認します。ボットが想定外の結果を返してくる場合は、必要に応じてタスクおよび[タスク]フィールド名に同義語を追加したり、修正したりすることを検討します。詳細情報については、自然言語処理をご覧ください。

トラブルシューティング

デバッグウィンドウを開き、自然言語処理、ログ、セッションコンテキスト、チャット変数などを表示することができます。デバッグを開くには、「ボットと会話チャット」ウィンドウの右上のデバッグアイコンをクリックします。「デバッグ」ウィンドウは、以下のタブから成り立ちます。デバッグログNL分析セッションコンテキストおよび変数

  • NL分析:ボットタスクのロードステータスを説明しており、さらに各発話に関してタスク名の分析と認識スコアを提示しています。
  • デバッグログ:処理中または処理済みのダイアログのタスクコンポーネントを、日付のタイムスタンプとともにリストアップします。
  • セッションのコンテキストと変数ダイアログタスクの処理において使用されるコンテキストオブジェクトとセッション変数を両方とも表示します。

デバッグログ

デバッグログは、ダイアログタスクの連続的な進行と、各ノードでキャプチャされたコンテキストおよびセッション変数を提供します。デバッグログは以下のステータスをサポートしています。

  • 処理中:ボットプラットフォームがノードの処理を開始します
  • 処理済み:各ノード間の接続が処理され、以下に示すノードが発見されましたが、そのノードにダイアログがまだ移動していません。
  • waitingForUserInput:ユーザーは入力を指示されました
  • 一時停止:現在のダイアログタスクを一時停止して、別のタスクを開始します。
  • 再開:一時停止のステータスにある現在のダイアログは、開始した別のタスク完了した後、フローの同じ地点で継続しています。
  • waitingForServerResponse:サーバーのリクエストは、非同期の応答を保留しています。
  • エラー:エラーが発生しました。例:ループ制限に達し、サーバーやスクリプトノードの実行が失敗です。
  • 終了:ダイアログは、ダイアログフローの最後に達しました。

NL分析

NL分析タブでは、各ユーザー発話のタスク名分析と認識スコアが表示されます。  Kore.ai NLPエンジンによって実行される口調分析、インテント検出、およびエンティティ検出の詳細が表示されます。インテント検出の一環として、[NL分析]タブには、機械学習、ファンダメンタルミーニング、ナレッジグラフの各エンジンの結果が表示されます。スコアについての詳しい考察については、Myボットのトレーニングのトピックをご覧ください。

セッションのコンテキストと変数

セッションのコンテキストと変数タブでは、ダイアログビルダーにおいて処理された各コンポーネントで更新された入力済みContext オブジェクトとセッション変数が、動的に表示されます。以下は、デバッグログにおけるセッションとコンテキスト変数パネルの一例です。パラメータの詳細情報については、タスクにおけるセッションとコンテキスト変数の使用およびコンテキストオブジェクトをご覧ください。

システムコマンド

システムコマンドによって、評価中のユーザーボット会話を制御することができます。これらは、JavaScriptのコードを使用してボットに注入することもできます。詳細はこちらをご確認ください

記録セッション

記録オプションによって、リグレッションテストのシナリオで役立つ会話を記録することができます。詳細…

After you have defined your bot and configured one or more tasks, you should test your settings before you publish your NLP-enabled bot. Bot owners and developers can chat with the bot in real-time to test recognition, performance, and flow as if it were a live session.

Testing a Bot

To test your tasks in a messaging window, click the Talk to Bot Run Bot Dialog icon located on the lower right corner on the Bot Builder.

A messaging window for the bot is displayed and connected to the NLP interpreter as shown in the following illustration for the Flight Details bot.

Note: The Talk to Bot Run Bot Dialog icon is not enabled until and unless at least one task is created.

When you first open the window, the Bot Setup Confirmation Message field definition for the bot is displayed, if defined. In the Message section, enter text to begin interacting and testing your bot, for example, Book a flight.

The NLP interpreter begins processing the task, verifying authentication with the user and the web service, and then prompting for required task field information. When all the required task fields are collected, it executes the task.

While testing your bot, try different variations of user prompts and ensure the NLP interpreter is processing the synonyms (or lack of synonyms) properly. If the bot returns unexpected results, consider adding or modifying synonyms for your tasks and task field names as required. For more information, see Natural Language Processing.

Troubleshooting

You can open a debug window to view the natural language processing, logs, and session context, and variables of the chat. To open the debug, click the Debug icon   located on the top right-hand side of the Talk to Bot chat window. The Debug window consists of the following tabs: Debug Log, NL Analysis, Session Context & Variables.

  • NL Analysis: Describes the bot tasks loading status, and for each utterance presents a task name analysis and recognition scores.
  • Debug Log: Lists the processing or processed Dialog task components along with a date timestamp.
  • Session Context & Variables: Shows both context object and session variables used in the dialog task processing.

Debug Log

Debug Log provides the sequential progression of a dialog task and context and session variables captured at every node. The Debug log supports the following statuses:

  • processing: The Bots Platform begins processing of the node
  • processed:  The node and node connections are processed, the following node is found but the dialog has not yet moved to that node.
  • waitingForUserInput: The user was prompted for input
  • pause: The current dialog task is paused while another task is started.
  • resume: The current dialog with paused status continues at the same point in the flow after completion of another task that was started.
  • waitingForServerResponse: The server request is pending an asynchronous response.
  • error: An error occurred, for example, the loop limit is reached, a server or script node execution fails.
  • end: The dialog reached the end of the dialog flow.

NL Analysis

NL Analysis tab shows the task name analysis and recognition scores of each user utterance.  It presents a detailed tone analysis, intent detection, and entity detection performed by the Kore.ai NLP engine. As a part of intent detection, the NL Analysis tab shows the outcomes of Machine Learning, Fundamental Meaning, and Knowledge Graph engines. For a detailed discussion on the scores, see Training Your Bot topic.

Session Context and Variables

The Session Context & Variables tab displays dynamically the populated Context object and session variables updated at each processed component in Dialog Builder. The following is an example of the Session & Context Variables panel in Debug Log. For more information about the parameters, see Using Session and Context Variables in Tasks and Context Object.

System Commands

System Commands allow you to take control of the user-bot conversation during evaluation. These can also be injected into the bot using JavaScript code. See here for more.

Record Session

Record option allows you to record conversations to help in regression testing scenarios. More…