Natural Language

Botのトレーニング ユーザーの発言を追加した後、Kore.aiインタプリタをトレーニングして発話と関連するユーザーインテントを認識させる必要があります。Botにトレーニングされていないの発話がある場合、以下のようなメッセージが表示されます。 「機械学習モデルにはトレーニングされていない発話があります。エンジンがトレーニングされない限り、トレーニングされていない発話に基づき、Botはインテントおよびエンティティを識別しません。すべての発話でBotを更新するには、[トレーニング]ボタンをクリックしてください。」 ユーザーの言葉セクションのトレーニングをクリックします。発話トレーニングの進捗状況を示すステータスバーが表示されます。完了すると、発話は正常にトレーニングされましたというメッセージが表示されます。ユーザーの発話が機械学習データベースに追加されます。さらに、MLエンジン（リリース8.0以降）を設定したり、ユーザーの発話にBotのトレーニングで使用されていない単語、つまりBotの語彙が含まれている場合にダミーのインテントを識別したりすることができます。詳細についてはこちらを参照してください。 Learn how to test your bot. 自動トレーニング デフォルトでは、タスクが以下の場合に、定義済みのユーザーの発話に対して機械学習が自動的にトレーニングされます。 進行中 から 設定済み に変更された。 以下の項目が更新された。 タスク名またはインテント名 エンティティ名またはパラメータ名 エンティティタイプ Bot名 公開された。 Bot管理者によって一時停止された。 Bot管理者によって削除された。 自動トレーニング中のBotビルダーでは、自動トレーニングが完了する前にBotのテストを実行しようとした場合、トレーニングされていないユーザーの発話を識別することはできませんという警告メッセージが表示されます。 自動トレーニングオプションは以下のように設定することができます。 設定を変更するBotを開きます。 サイドナビゲーションパネルにカーソルを合わせ、自然言語 > トレーニングをクリックします。 詳細設定タブを選択します。 要件に応じて自動トレーニングオプションを有効または無効にします。 [/vc_column_text] ネガティブパターンs ネガティブパターンは、ファンダメンタルミーニングや機械学習モデルによって検出されたインテントを排除するために使用することができます。詳細はこちらを参照してください。 しきい値および設定 ファンダメンタル ミーニング、ナレッジ グラフ、機械学習の 3 つの NLP エンジンにしきい値および設定を指定して、トレーニングとパフォーマンスの向上を図ることができます。 これらは [自然言語] > [トレーニング] > [しきい値および設定] で設定できます。…

Botのトレーニングは、機械学習やファンダメンタルミーニングのエンジンに限定されるものではありません。ナレッジグラフエンジンもトレーニングする必要があります。 ナレッジグラフエンジンは、ナレッジグラフから適切な質問を特定することで、ユーザーインテントに応答します。 ナレッジグラフ ナレッジグラフから、以下の手順に従って対応するナレッジグラフを構築およびトレーニングします。 それぞれのFAQの質問に含まれるユニークな単語をグループ化して用語を特定します。これらすべてのユニークな単語に基づいて階層を構築します。 それぞれのノードの質問数は、25問を超えないようにします。 特性を用語に関連付け、検出された複数の結果からFAQをフィルタリングできるようにします。 階層内のそれぞれの用語/ノードの同義語を定義します。用語を呼び出すためのすべての方法が定義されていることを確認します。 パス内のそれぞれの用語の重要度に応じて、それらの用語を必須または通常の用語としてマークします。 可能な限りカバーできるよう、それぞれのFAQの代替質問を定義します。 正確な応答ができるようコンテキストを管理します。 ストップワードは、不要な発話をフィルタリングするために使用することができます。 ナレッジグラフのトレーニングやテストは、効率的なナレッジグラフを構築するのに不可欠です。 トレーニングの前に、タグ、同義語、特性を使用してパフォーマンスを向上させることができます。 用語のタイプ （バージョン7.2以前は、「使用法の管理」の「用語の使用法」と呼ばれていました） 一致するパスを指定する際の重要性に応じて、デフォルト、必須、オーガナイザーとしてナレッジグラフの用語とタグを指定します。 デフォルト：デフォルトの用語は、適格なパスの候補選択において特に考慮すべき点はありません。 必須：用語を必須としてマークすると、ユーザーの発話に必須の用語またはその同義語が含まれている場合にのみ、その用語に関連付けられているすべてのパスがランキング用に絞り込まれます。 オーガナイザー：用語は、質問を整理するためにのみ、ナレッジグラフの一部としてマークすることができます（このオプションはタグではなく用語に対してのみ利用可能です）。 タグ ユーザーの発言フィールドに質問が入力されると、ナレッジグラフは、テキストに基づいてグラフに追加可能なタグを提案します。提案された用語をパスに追加するには、カーソルが用語の追加フィールドにあるときに表示されるドロップダウンリストからタグを選択します。また、用語の追加フィールドにタグを入力してエンターキーを押すことで、カスタムタグを追加することもできます。 タグを追加すると、質問が表示される場所すべてで、質問の下にタグのように表示されるようになります。タグは用語とまったく同じように機能しますが、ナレッジグラフには表示されません。用語と同様に、タグにも同義語や特性を追加することができます。 同義語 ナレッジグラフにそれぞれの用語に対する複数の同義語を追加することができ、これによりさまざまなユーザーの発話に対してパスを検出できるようになります。用語の同義語は設定ウィンドウから追加することができます。 ナレッジグラフに用語の同義語を追加すると、ローカル（パスレベル）またはグローバル（ナレッジグラフ）の同義語として追加することができます。 ローカルの同義語は、特定のパスでのみその用語に適用され、グローバルの同義語は、階層内の他のパスに現れた場合でもその用語に適用されます。 用語の同義語を追加する： Botのナレッジグラフの左上で、同義語を追加したいノード/用語にカーソルを合わせます。 ギアアイコンをクリックして設定ウィンドウを開きます。 同義語を追加するには、以下を実行します。 ローカルの同義語を追加するには、パスレベルの同義語のボックスに入力します。 グローバルの同義語を追加するには、ナレッジグラフの同義語の編集または新規追加をクリックして入力します。これらのグラフの同義語は、ナレッジグラフページの右上にあるその他のオプションアイコンの下にある同義語の管理オプションからもアクセスすることができます。 注：同義語ボックスにそれぞれの同義語を入力した後に[Enter]キーを押します。それぞれの同義語の入力後に[Enter]キーを押さずに複数の同義語を入力した場合、スペースで区切られていたとしても、同義語はすべて1つのエンティティとみなされます。 リリース7.2以降では、KGの用語の識別に Botの同義語 を使用できるようになりました。このオプションは、しきい値および設定、またはナレッジグラフページの右上にあるその他のオプションアイコンの下にある 同義語の管理オプションから有効にすることができます。 有効にすると、KGの用語（またはタグ）と一致するBotレベルの同義語は、同義語セクションのBot同義語の見出しの下に自動的に表示され、KGエンジンによって使用されます。Botの同義語は、KGグラフレベルの同義語と同様に、パスの設定と質問の照合に使用されます。ノードがBotの同義語とBotの概念の両方に一致した場合、Botの概念が優先されます。 子ノードに同義語を追加するには、設定ウィンドウの下部にリスト表示されている子ノードの用語の横にある同義語ボックスに入力します。 タグの同義語を追加する： ナレッジグラフの左上で質問を追加した用語/ノードをクリックします。 質問パネルの質問一覧から、質問にカーソルを合わせます。 編集アイコンをクリックし、Q&A編集ウィンドウでタグをダブルクリックします。（デフォルトのタグではなくカスタムタグのみでも編集可能） 開いたタグ設定ウィンドウで、それぞれの同義語を入力し、Enterを押して追加します。 注：同義語ボックスにそれぞれの同義語を入力した後に[Enter]キーを押します。それぞれの同義語の入力後に[Enter]キーを押さずに複数の同義語を入力した場合、スペースで区切られていたとしても、同義語はすべて1つのエンティティとみなされます。 特性 注：特性はバージョン6.4以前のクラスに置き換わります。 一般的なユーザーの発話から特性を作成し、ナレッジグラフの関連する用語（ノードやタグ）に追加することができます。特性の詳細については、こちらをクリックしてください。 特性を作成する：…

Kore.aiのNLPエンジンは、機械学習、ファンダメンタルミーニング、ナレッジグラフ（あれば）モデルを使用してインテントを一致させます。3つのKore.aiエンジンは最終的に完全一致または可能性のある一致のどちらかとしてKore.aiランキングおよび解決コンポーネントに結果を提供します。ランキングおよび解決はNLP計算全体の最終的な結果を決定します。 動作 NLPエンジンは、機械学習、ファンダメンタルミーニング、ナレッジグラフ（Botに含まれる場合）モデルを使用したハイブリッドアプローチによって、関連性に関する一致するインテントをスコア化します。モデルは、ユーザーの発話を可能性のある一致または完全一致のいずれかに分類します。 完全一致は、高い信頼度スコアを取得し、ユーザーの発話に完全に一致すると見なされます。公開済みのBotでは、ユーザー入力が単一の完全一致と一致する場合、Botは直接タスクを実行します。発話が複数の完全一致と一致する場合、エンドユーザーが選択できるようにオプションとして送信されます。 一方、可能性のある一致とは、ユーザー入力に対してある程度スコアが高いインテントを指しますが、完全一致と呼ぶには十分でないインテントのことです。内部的には、システムは、スコアに基づいて、可能な一致をさらに通常の一致と不正確な一致に分類します。公開済みのBotでエンドユーザーの発話が可能性のある一致を生成していた場合、Botはこれらの一致をエンドユーザーに「Did you mean?」として送信します。 ランキングおよび解決に基づいて、エンジン間の上位インテントを確認します。プラットフォームがあいまいさを検出した場合、あいまいさのダイアログが開始されます。プラットフォームは、ユーザーの発話に対する単一の上位インテントを確認できない場合、これら2つのシステムダイアログのいずれかを開始します。 あいまい性解消ダイアログ：エンジン間で返された完全一致が複数ある場合に開始されます。このシナリオでは、Botは実行する完全一致を選択するようユーザーに求めます。NLP標準応答から、ユーザーに表示されるメッセージをカスタマイズすることができます。 「Did You Mean」ダイアログ：ランキングおよび解決が複数の上位インテントを返した場合、あるいは唯一の上位インテントが、KGエンジンのスコアがしきい値の下限と上限の間にあるFAQである場合に開始されます。このダイアログは、完全であるか不明なインテントと一致するものを検出したことをBotがユーザーに知らせるものであり、ユーザーに先へ進んための選択を促します。このシナリオでは、開発者はこれらの発話を識別し、Botをさらにトレーニングする必要があります。ユーザーに表示されるメッセージは、NLPの標準応答からカスタマイズすることができます。 モデル スコアとおよび解決に関する詳細情報 しきい値および設定 ランキングおよび解決エンジンは以下の手順で設定することができます。 しきい値を設定するBotを開きます。 サイドナビゲーションパネルにカーソルを合わせ、自然言語 > トレーニングをクリックします。 しきい値および設定タブをクリックします。 ランキングおよび解決エンジンセクションでしきい値を設定することができます。 可能性のある一致の近似度は、スコアの高い上位インテントとその次の可能性のあるインテントを同じように重要なものとみなすために許容される最大差を定義します。プラットフォームのバージョン7.3以前では、この設定はファンダメンタルミーニングセクションで行うことができました。 依存構造解析モデルは、ファンダメンタルミーニングモデルによるインテント認識と同様に、ランキングおよび解決エンジンによるインテントの再スコアリングを有効にするためのものです。この設定はデフォルトでは無効になっており、設定を行う必要があります。詳細は以下を参照してください。 依存構造解析モデル このプラットフォームには、ファンダメンタルミーニングエンジンとランキングおよび解決エンジンによる、2つのインテントのスコアリングモデルがあります。 最初のモデルは、主に単語の存在、発話の中での単語の位置などに依存してインテントを判断し、ファンダメンタルミーニングエンジンのみによってスコア化されます。こちらがデフォルト設定になっています。 2つ目のモデルは、依存マトリックスに基づいており、インテントの検出は、単語やその相対的な位置、そして最も重要とされる、文中のキーワード間の依存関係に基づいて行われます。このモデルでは、インテントはファンダメンタルミーニングエンジンによってスコアリングされ、その後、ランキングおよび解決エンジンによって再ドスコアリングされます。 依存構造解析モデルは、自然言語 > トレーニング > しきい値および設定のランキングおよび解決セクションから有効化や設定を行うことができます。 注：この機能はプラットフォームのバージョン7.3で導入され、一部の言語でのみサポートされています。対応言語についてはこちらを参照してください。 依存構造解析モデルは、以下のように設定することができます。 最小一致スコア を使用して、インテントを可能性のある一致として認識するための最小スコアを定義します。0.0～1.0で値を設定することができ、デフォルトでは0.5に設定されています。 詳細設定を使用して、様々なパラメータに関連付けられた重要度やスコアを変更することで、モデルをカスタマイズすることができます。これにより、有効なコードを入力できるJSONエディタが開かれます。「デフォルト設定に復元」をクリックして、JSON構造内のデフォルトのしきい値設定を取得することができます。結果を認識していれば設定を変更することができます。 NLP検出 自然言語分析の結果、以下のようなシナリオになります。 FM、ML、またはKGエンジンで完全一致を識別するNLP分析 可能性のある一致を返し、単一の一致を選択する、複数のエンジンを用いたNLP分析 可能性のある一致を返す複数のエンジンと複数の結果を返す解決を用いたNLP分析 一致しないNLP分析 ここでは、上記のそれぞれのケースについて説明します。 NLP検出を理解するために、以下の詳細を含む銀行Botを例として見てみましょう。 Botは5つのダイアログタスクとデフォルトダイアログから構成されています。 インテントは同義語、パターン、ML発話を用いてトレーニングされています。 Botは、4つの上位レベルの用語で伝えられた86のFAQで定義されたナレッジグラフで構成されています。 Scenario…

自然な会話では、ユーザーが特定のシナリオについて説明しながら、背景や関連する情報を提供することがよくあります。特性は、ユーザーが会話の中で表現する特定のエンティティ、属性、または詳細を指します。発話は、特定のインテントを直接伝えるものではないかもしれませんが、発話に存在する特性は、インテント検出やBotの会話フローを動作させるために使用することができます。 例えば、「my card is being rejected and am on a business trip」という発話は、「card decline」と「emergency」という2つの特性を表現しています。このシナリオでは、発話は、直接的な意図を伝えていない、あるいはせいぜい「unblock card」フローを動作させるために使用することができます。一方で、「emergency」の特性は、会話を人間のエージェントに直接割り当てるために使用することができます。 Botプラットフォームの特性の機能は、ユーザーの発話に存在するこれらの特徴を識別し、それらをインテント検出に使用して、特徴を使用してBotの定義をカスタマイズすることを目的としています。 ユースケース Book a FlightBotは、選択した金額に基づいてフライトを予約するための追加要件が備わっている場合があります。 「I am looking for low-cost option to London」というユーザーの発話は、利用可能なフライトを選択し、最低価格のチケットを選ぶ結果が予想されます。 以下のように設定します。 「low cost」という発話でトレーニングされた特性エコノミーを使用して「Travel Class」と呼ばれる特性タイプを追加します。 エコノミー特性の存在によってトリガーされる「book flight」というルールを追加します。 コンテキストに特性エコノミーが存在する場合の転送条件を追加します。 設定 特性の設定には以下が含まれます。 特性の定義 特性の相関ルール 特性の検出 特性の定義 特性は、自然言語 > トレーニングの特性セクションから定義することができます。 特性を定義する際に考慮すべき主な特徴は以下の通りです。 特性タイプは、上記の例のTravel Classのような関連する特性の集まりです。 特性タイプは、「MLベース」または「パターンベース」にすることが可能です。特性タイプの各特性は、そのタイプに基づいて、単語、フレーズ、発話、またはパターンを使用してトレーニングすることができます。特性タイプの管理では、トレーニングの設定を定義することができます。MLベースの特性の設定については、以下を参照してください。 特性タイプは、1つ以上の特性を持つことができます。 特性の名前はグループ内で一意のものでなければなりません。しかし、同一の名前をもつ特性は複数のグループに存在する場合があります。 MLベースの特性については、特性を識別する単語、フレーズ、または発話を定義することができます。MLベースの特性タイプでは、特性タイプごとに1つの特性が検出されます。…

お客様のバーチャルアシスタントを構築およびトレーニングすると、Kore.aiプラットフォームは、ユーザーの発話をBotのインテントにマッピングするMLモデルを構築します（詳細はこちらをクリック)。作成したら、MLモデルの不偏の一般化能力を把握および推定できるようモデルを検証しておくと良いでしょう。 Kore.aiのバーチャルアシスタントプラットフォームでは、以下の2つの検証方法をご利用いただけます。 混同行列またはエラーマトリックスを使用して、機械学習モデルのパフォーマンスを可視化します。 K-分割交差検証で機械学習モデルのスキルを推定します。 トレーニング > 機械学習の発話から、モデルを検証ドロップダウンリストを使用して検証方法を選択することで、検証モデルを選択することができます。対応する検証方法の結果ページに移動します。 以下のセクションでは、それぞれの方法について詳しく説明します。 K-分割交差検証 （プラットフォームのバージョン8.0で導入） 交差検証は、限られたデータサンプル上で機械学習モデルを評価するために使用される再サンプリング手順です。この手法は、データを部分集合に分割し、ある部分集合でデータをトレーニングし、その他の部分集合をモデルのパフォーマンス評価に使用することを含みます。交差検証を実行することで、モデルのパフォーマンスに関するより一般的な指標が得られます。これはMLモデルのパフォーマンスのより優れた指標です。 設定 Kore.aiのバーチャルアシスタントプラットフォームは、K-分割交差検証をサポートしています。このため、お客様はNLPの詳細設定からK-分割パラメータを交差検証用に設定する必要があります。詳細はこちらをクリックしてください。 トレーニングを開始し、K-分割検証レポートを生成するには、以下の手順に従います。 Botサマリーページの左側のペインで、自然言語 > トレーニングをクリックします。 トレーニングページで、右上のモデルの検証ドロップダウンリストをクリックし、K-分割交差検証を選択します。 K-分割交差検証ページで、生成をクリックしてトレーニングを開始し、K-分割検証レポートを生成します。生成ボタンは、初めて交差検証を実行したときにのみ表示されます。 レポート生成後は、右上の再生成ボタンをクリックすると、必要に応じてレポートを再度生成することができます。 注：検証は、トレーニングに使用されたML発話の総数が250以上の場合にのみ実行されます。この数はオンプレミスのインストールで設定可能です。詳細はサポートチームにお問い合わせください。 実装 以下は、K-分割交差検証の実行中にプラットフォームが従う手順です。 一連の発話はすべて、トレーニングデータセットとテストデータセットにランダムに分割されます。 トレーニングデータ全体が「K」分割に分割され、それぞれのサブセットには同数のトレーニングする発話が含まれます。「K」分割の値は、上述のように設定を行う必要があります。 その後システムは「K」反復を実行し、それぞれの反復では、発話のサブセット（分割）が残りのサブセット（「K-1」分割）を使用してトレーニングされたモデルに対してテストされます。 結果として得られたモデルは、パフォーマンス測度を計算するためにテストデータセット上で検証されます。 このプロセスは、すべての発話がモデルのテストに少なくとも1回は使用されるまで繰り返されます。 メトリクスは、MLモデルのパフォーマンスを評価する際に役立つよう、K-分割交差検証後に提供されます。 結果の把握 以下のメトリクスは、K分割交差検証後に提供されます。 それぞれのテスト分割の精度スコア – モデルの精度/正確さを定義するためのもので、予測された陽性の合計（真陽性と偽陽性の合計）に対する真陽性の比率として計算されます。 それぞれのテスト分割のリコールスコア – 正常に識別された関連する発話の割合を定義するためのもので、実際の陽性（真陽性と偽陰性の合計）に対する真陽性の割合として計算されます。 それぞれのテスト分割のF1スコア – クラス分布を均等にし、精度とリコールのバランスを求めるためのもので、精度とリコールの加重平均として計算されます。 すべての分割の精度、リコール、F1スコアの平均。 関連するメトリクスの理解を深めるために、以下の情報も提供しています。 発話の合計 – トレーニングコーパスに含まれる発話の数 インテント数 – Bot内のインテントの総数 分割の数 –…