Analyzing Your Bot

Kore.aiは、Bot分析セクションの一部として、すべての情報を記録および表示します。開発者は、タスクを特定し実行する際のBotの実行に関して詳細なインサイトを得ることができます。インテントと一致したユーザーの発話と一致しなかったユーザーの発話に必要な情報を見ることができます。 分析 > 測定セクションには次のセクションが含まれています。 正常に処理したユーザーの発話：KGインテントによってトリガーされたダイアログタスクを含む、トレーニングされたインテントに正常にマッピングされたすべてのユーザー発話が含まれます。発話は類似性に基づいてグループ化されます。 インテント、ユーザー（KoreのユーザーIDまたはチャネル固有の一意のID）、日付期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは、複数のカスタムタグでフィルタリングすることもできます。 完全なメタ情報は、元のユーザーの発話、通信チャネル、抽出されたエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングおよび解決のスコアなど、後の分析のために保存されます。 ユーザーの発話のポイントまでチャットのトランスクリプトを表示する機能です。 未処理のユーザーの発話：プラットフォームがBotインテント・FAQにマッピングできなかったすべてのユーザーの発話が含まれます。これらは、開発者が発生回数に基づいてトレーニングするため、類似性に基づき共にグループ化されます 。 ユーザー（KoreのユーザーIDまたはチャネル固有の一意のID）、日付期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは、複数のカスタムタグでフィルタリングすることもできます。 完全なメタ情報は、元のユーザーの発話、通信チャネル、抽出されたシステムエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングおよび解決のスコアなど、後の分析のために保存されます。 ユーザーの発話のポイントまでチャットのトランスクリプトを表示する機能です。 開発者は発話をトレーニングするオプションがあり、トレーニングされると発話にマークが付けられます。開発者は、トレーニングされた、またはトレーニングされていない発話に基づいてフィルタリングすることもできます。 タスク実行の失敗：インテントが正常に特定されたものの、タスクを完了できなかったすべてのユーザーの発話がこのセクションでは一覧表示されます。開発者は、タスクと失敗の種類に基づいてグループ化し、Botの問題を分析して解決できます。 サポートされているプラットフォームの失敗の種類は次のとおりです。 ユーザーが一時停止したタスク 代替タスクの開始 チャットインターフェイスの更新 ヒューマンエージェントの転送 認証試行の失敗-最大試行回数に達した場合 不適切なエンティティの失敗-最大試行回数に達した場合 スクリプトの失敗 サービス障害 上記のように情報をフィルタリングすることができます。 処理済みおよび未処理のシナリオのようなメタ情報に加えて、プラットフォームはダイアログ内のユーザーの移動経路もキャプチャします。 スクリプトとサービスの実行：開発者は、単一のウィンドウからBotタスク全体のすべてのスクリプトとAPIサービスを監視できます。プラットフォームは、次のメタ情報を保存します。 総実行数 成功率（％） 応答が200件のコールの総数と、応答が200件以外のコールの総数を表示します。実際の応答コードは、サービス行をクリックした際に開く詳細ページから確認できます。 平均応答時間 スクリプトまたはサービスが連続して失敗した場合の適切なアラート 測定ページを開くには、サイドナビゲーションパネルにカーソルを合わせて、分析 > 測定をクリックします。 Botの実行を簡単に確認できるようにエンドユーザーの発話は類似性に基づいてグループ化されています。 フィルター基準 次の基準を使用して、測定ページの情報をフィルタリングできます。   フィルター基準は、タブごとに多少異なります。測定ページのタブを切り替えると、該当するフィルターが適用されます。 基準 説明 ユーザーID 会話に関連するエンドユーザーのユーザーIDです。以下に基づいてフィルタリングすることができます ユーザーが登録するときにプラットフォームによって生成されるu-idとなるKoreのユーザーIDです。 チャネルユーザーID-チャネルから受信したユーザーのメールアドレスになります。開発者とのやり取りはチャネルユーザーIDで利用できます。エンタープライズBotの場合、メールアドレス（Koreに登録済みのメールアドレス）は、チャネルIDで利用できます。 ユーザーIDの最初の3つのアルファベットを入力すると表示されるドロップダウンから、ユーザーIDを選択することができます。 注意：チャネル固有のIDは、選択した期間中にBotと対話したユーザーに対してのみ表示されます。 日付期間 このページには、デフォルトで過去7日間の会話が表示されます。過去24時間の会話のみにフィルタリングするには、「24時間」をクリックします。過去7日間のセッションに戻すには、「過去7日間」をクリックします。日付と時刻を指定してカスタマイズした期間を追加することもできます（バージョン7.3では時刻が追加）。…

カスタムダッシュボードでは、組み込みのメトリクスや、ユーザーの属性またはコンテクストの情報に基づいたカスタムKPIを組み合わせて、ビジネスニーズに応じた独自のレポートやダッシュボードを設計することができます。 カスタムダッシュボードは、搭載されているダッシュボードのレポートに加えてボットビルダーで利用することができます。デフォルトダッシュボードについては、こちらをご覧ください。 カスタムダッシュボードは、次の簡単な手順で構築できます。 メトリクスを得るために必要なデータポイントを特定します。これは、お客様のビジネス要件とニーズに基づいています。 これらのデータポイントをボット定義で発信するために、適切なカスタムメタタグを定義します。ボットにカスタムメタタグを追加する方法については、こちらをご覧ください。 ウィジェットを設計、プレビューし、ウィジェットでダッシュボードを更新します。このドキュメントの残りの部分では、以下の手順を説明しています。 なお、バージョン8.0のプラットフォームでは、会話セッションには、ユーザーからのメッセージがない非対話型のセッションも含まれています。この変更に伴い、同リリース以降、セッション数が増加する可能性があります。 左ナビゲーションメニューのダッシュボードにあるカスタムダッシュボードを利用すると、ボット用に複数のカスタムダッシュボードを追加できます。 ダッシュボードには、1つ以上のウィジェットを設定できます。 それぞれのウィジェットは、事前に定義されたデータセットに関連付けることができます。 データセットは、ウィジェットに表示する必要なデータを抽出するためのクエリ (SQLに似たもの) を定義するために使用できます。 データの生成には、メッセージ、セッション、アナリティクス、およびメタタグに関する情報を使用できます。 ここでは、上記の各コンポーネントを使用してカスタム ダッシュボードを構築する方法を説明します。 ダッシュボード ダッシュボードの基本情報を入力すると、1つ以上のダッシュボードを追加できます。 ダッシュボードの名前はいつでも編集・変更することができます。 すべてのダッシュボードには、24時間、7日間、またはカスタム範囲に設定できるフィルターである日付範囲が付属しており、これはダッシュボードのすべてのウィジェットに適用されます。 ダッシュボードのカラーテーマを選択することができます。 ダッシュボードにウィジェットを追加することができます (詳しくはこちらをご覧ください)。 ウィジェットの上にマウスを置くと表示される移動カーソルを使って、ダッシュボード上の任意の場所にウィジェットをドラッグして並べ替えることができます。 [その他] (垂直の省略記号) アイコンを使用して、ダッシュボードの新規作成、ダッシュボードの複製、ダッシュボードのエクスポート、ダッシュボードの削除のいずれかを行うことができます。 ダッシュボードのデータは、JSON形式でエクスポートできます。 ウィジェット ダッシュボードには、1つ以上のウィジェットを追加できます。ダッシュボードにウィジェットを追加するには、ウィジェット追加オプションを使用します。ウィジェットの設定には 2つの手順があります。 データの定義 データの表示 データの定義 すべてのウィジェットは、どのような情報を取得してウィジェット上で表示するかを指定するクエリ定義と関連付けられている必要があります。以下は、クエリ定義を生成するための設定です。 データのソースを定義するデータセットです。以下のようになります。 分析：分析で、ボットの成功インテント、失敗インテント、成功タスク、失敗タスクに関するデータにアクセスできます。MetrixType、Channel、UserIdなどの キーフィールドや、メトリクスレコードに追加されたカスタムフィールドを選んで表示することができます。 メッセージ: このデータセットは、ボットのボットメッセージとユーザーメッセージを提供します。UserId、チャネルなどの キーフィールドや、メッセージに対して追加されたカスタムフィールドの表示を選択できます。 セッション: このデータセットを使用して、ボットに関連する会話セッションのリストを提供します。UserIdやChannelなどの キーフィールドや、セッションに追加されたカスタムフィールドを選んで表示することができます。 日付範囲はデフォルトで提供されていますが、プレビュー用に値を設定することができます。デフォルトでは過去7日間に設定されていますが、90日から365日までの範囲でカスタマイズできます。 ウィジェットで表示するフィールドを選択します。 選択したデータセットに応じて、フィールドが異なります。詳細なリストについては、こちらをご覧ください。たとえば、成功・失敗インテントをリストアップするには、metricTypeを使用します。 これらのフィールドには、「min」、「max」、「sum」、「count」、「avg」などの集計関数を適用することができます。 たとえば、トリガーされたインテントの合計を数えるには、count(metricType)を使用します。 表示名をエイリアスとして設定することができます。たとえば、count(metricType)をtotalとします。…

会話フローは、ユーザーの会話履歴を視覚的に表示し、一般的に使用されるタスク、会話を導いた発話、優先パス、使用方法の詳細についてのインサイトを提供します。会話のさまざまな段階でのドロップアウト率を表示することもできます。注意：会話フローは、公開済みのBotとのユーザーとのやりとりでのみ使用できます。 会話フローでは、呼び出されたインテントに基づいたフローを提供します。これにより、Botで使用されている上位のインテントがわかります。注意：この変更内容は、プラットフォームのバージョン7.1で導入されています。バージョン7.1以前では、会話がどのように展開されたかを示すチャットセッションのシーケンシャルフローが利用できます。セッションごとのタスクの表示オプションを切り替えることで、この表示に切り替えることができます。デフォルトの会話フローでは、インテントがセッションの開始時に実行されたか、セッションの途中で実行されたかに関係なく、タスクのインテントがどのように実行されるかを集約して表示します。セッションごとのタスクの表示では、特定の会話セッションでのユーザーの会話履歴全体が順次表示されます。 アクセス 会話フローを確認するには、左側のナビゲーションから分析 -> 会話フローを選択します。上記のように、デフォルトではインテント単位で表示されますが、セッションごとのタスクの表示オプションを切り替えることでセッション単位の表示を選択できます。 任意のノードをクリックすると、タスクのインテントとノードを展開して、ユーザーが通過したさまざまなパスを表示することができます。SmalltalkまたはFAQの場合、同じものが単一ノードで表示されます。 主な機能 主な機能を個別に見ていきましょう。 グループ発話-すべてのフローは、会話を開始したユーザーの発話から始まり、さらにそれ以降の対話を示すために展開されます。これらの発話は、ストップワードやエンティティの値を無視して、類似性に基づいてグループ化されます。 これらの発話ノードは、次のいずれかのインテントにつながります。 個々のタスクのインテント FAQ スモールトーク ヘルプ 処理されない発話 ノードは、さまざまなレベルの会話フローにプロットされた個々のポイントです。ユーザーからの入力が必要なノードのみがグラフ上にプロットされます。グラフにプロットされるノードは次のとおりです。 インテントノード エンティティノード 確認ノード ユーザー入力ノード（オンインテント転送を使用） メッセージノード ノードの詳細：各ノードの詳細は次のとおりです。 このノードにつながる全ての発話のパーセンテージ。パーセンテージをクリックすることで、このノードをトリガーしたユーザーの発話のリストが表示されます。 ノード名は、タスクまたはエンティティ名となり、ノード上にカーソルを合わせると次の詳細が表示されます。 会話およびドロップオフの詳細 応答を見るでは、該当する場合にこのノードに対するユーザーの応答を示します 該当する場合のドロップオフの割合 パスインジケータは該当する場合に、2つのノード間のパス上に表示され、次のことを示します。 ノード間の移行中にアクセスしたスクリプトまたはサービスノード。 一時停止と再開シナリオの一部として実行されるタスク。 チャット履歴では、「ユーザーの発話」ウィンドウから発話をクリックすると、入力（パーセンテージ）または応答情報が表示されます。 フィルター 会話フローは、次の1つまたは複数の基準を使用してフィルタリングすることができます。 日付期間-デフォルトでは過去7日間に設定されています。24時間に変更することができます。カスタム オプションを使用して開始日と終了日を設定し、カレンダーから日付を選択することもできます。 言語-多言語Botの場合、表示されるドロップダウンリストから1つまたは複数の言語を選択することで、会話フローをフィルタリングできます。デフォルトではすべての言語となっています。 チャンネル-Botが公開済みのチャネルを1つまたは複数選択すると、ユーザーが使用したチャネルに基づいてフローをフィルタリングすることができます。デフォルトではすべてのチャンネルとなっています。 カスタムタグ-Botにメタ/カスタムタグを追加した場合は、それに基づいてフィルタリングすることができます。これには、会話をフィルタリングするタグ名とタグの値を選択する必要があります。デフォルトではタグは選択されていません。

Kore.aiのBotプラットフォームを使用すると、ダッシュボードからリアルタイムの測定と会話フローを取得できます。このオプションのセクションは次のとおりです。 Bot Summaryは、Botの設定と機能の全貌を俯瞰することができます。詳しくはこちらをご覧ください。 使用測定セクションから、Botの実行に関するリアルタイムおよび標準のダッシュボードを見ることができます。詳しくはこちらをご覧ください。 封じ込め測定セクションでは、エージェントに転送したり、ドロップオフしたりするかなど、顧客がBotにどの程度効果的に関与しているかについてのインサイトを提供します。.詳しくはこちらをご覧ください。 カスタムダッシュボードでは、独自のレポートやダッシュボードを設計できます。詳しくはこちらをご覧ください。 Bot Summary このページでは、Botの設定について詳しい概要をまとめています。これには、ウィジェットとしてのBotの定義のさまざまな抜粋が含まれます。これらのウィジェットのいずれかをクリックすると、対応するモジュールに移動します。これらの抜粋は、以下の概要を示しています。 タスクの追加（ユニバーサルBotの場合、リンク済みのBotのリスト） 設定済みのナレッジグラフ 自然言語-パターン、発話、同義語 ログの変更-Bot所有者にのみに表示 Botで作業を行う開発者-Bot所有者にのみ表示 認証プロファイル、 イベント、 Bot変数 このBot用に設定されたその他の設定 このページでは、Botのインポート、Botのエクスポート、新しいタスクの追加などを行うことができます。 リアルタイムステータス 使用指標ページの最初のセクションは、リアルタイムステータスです。これにより、特定の時点でのBotの使用状況の概要がわかります。30秒ごとに更新されるように設定されており、更新ボタンの横にあるドロップダウンを使用してカスタマイズすることができます。リアルタイムステータスには次のものが含まれます。 アクティブユーザー-Botと対話するユーザーの数です。 有効チャネル-カードをクリックすると、有効なチャネルのリストとそれを使用しているユーザーの数が表示されます。 アクティブエージェントセッション-特定のインスタンスで進行中のセッションです。 使用測定 左側のナビゲーションメニューのダッシュボードから、使用測定ページにアクセスできます。このページは、BotのアクティビティとBotユーザーの概要をワンストップで確認することができます。バージョン8.0以降では、対話型セッションと非対話型セッションが使用測定に含まれるようになりました。セッションの詳細については、こちらをご覧ください。使用測定は、ユーザーインタラクションの頻度、インタラクションのチャネル、実行されたタスクなどの観点からBotの実行に関するアイデアを提供します。 チャットセッションの記録：デフォルトでは、過去24時間のBotの使用状況に基づくBot使用測定が表示されます。期間やBotの選択によって表示される測定をカスタマイズすることができます。フィルター基準も適用できます。詳細については以下をご覧ください。 完了したタスク数、会話セッション数、送信されたアラート数の概要が表示されます。 メッセージと会話セッションの図解が表示されます。これには以下のものが含まれます。 メッセージ-ユーザーとBotの間で交換されたメッセージの数です。 会話セッション-Botとの間で開始された会話セッション数です。つまり、指定されたアイドル時間が経過してもインテントを変更せずにユーザーとBotの間でやり取りされた会話セッションの数です。セッション定義の詳細については、こちらをご覧ください。 以下の詳細： 選択した期間内の成功したタスク数 インテント認識と失敗したタスクを比較した円グラフ 実行される成功したタスクの名前と数 交換されたメッセージの数と対話チャネル エージェントへの転送のセッション数 封じ込め測定 （バージョン8.0で導入）注意： 封じ込め測定は8.0以降のリリース、つまり2020年11月1日以降に作成された会話セッションでのみ使用できます。 封じ込め測定は、会話が閉じられた状態にのみ生成されます。会話セッションの時間の詳細については、こちらをご覧ください。 封じ込め測定では、仮想アシスタントが通話に正常に応答したかどうか、または通話がエージェントに届いたかどうかに関して洞察が得られます。測定は次のように分類されます。 セルフサービスの会話-これには、ユーザーが対話を正常に完了したセッションが含まれます。エージェントへの転送セッションとドロップオフセッション以外のすべてのセッションが含まれます。 ドロップオフ-これには、ユーザーがチャットセッションを突然終了したセッションが含まれます。次のシナリオで終了したすべてのセッションが含まれます。 ユーザーがタスク実行の途中だった 最後のタスクが失敗として終了した 最後の対話/メッセージが、インテントが特定されていないシナリオになった 非対話型セッション Botからの応答がない エージェントへの転送の会話-これには、セッションの任意の時点でエージェントへの転送ノードを使用して、ユーザーがエージェントに転送されるセッションが含まれます。…

Kore.aiは、Botのパフォーマンスの分析を支援するさまざまな方法を用意しています。 ダッシュボード：このページでは以下をご覧いただけます。 すべてのBotの設定と機能の全体像 Botのパフォーマンスに関するリアルタイムの標準ダッシュボードの表示 会話の流れ：会話の流れを使用して、特定の期間における会話セッション全体でのさまざまなBotユーザーの意思疎通の流れを視覚化できます。これにより、開発者がBotで頻繁に使用されるタスク、ユーザーがこれらのタスクを呼び出す方法、一般的なタスク実行パス、ドロップアウトポイントなどを理解することができます。 測定：分析ページでは、次のようなことができます。 タスクを特定し実行する際のBotのパフォーマンスに関して詳細なインサイトを得られます Botの会話、検出された意図、ドロップオフの要約ビューを取得し、完全なBotとユーザーの会話をフロー図として表示します