パターンを使用することで、NLPインタープリターの正確性を向上させることができます。このドキュメントでは、さまざまなパターン構文についてと、それらをインテント検出およびエンティティ抽出で使用する方法について詳しく説明します。

注意事項：

• パターンは、リストアップされている順に評価されます。一致するパターンが見つかると、残りのパターンは評価されません。したがって、パターンを追加する際、最も制限の多いものから最も制限の少ないものの順に追加するようにしてください。
• ワイルドカード（*）は1つのパターンで1つだけ許可されます。
• ほとんどの機能はすべての言語でサポートされていますが、いくつか例外があります。詳細はこちらをご覧ください。

インテント検出のパターン

以下に、インテント検出のために設定できるパターン構文の一覧とその例を示します。

ネガティブパターン

ネガティブパターンは、フレーズが存在する状況下で、検出インテントを削除するために使用されます。これは、一致したインテントに偽陽性がないかどうかをフィルタリングするのに役立ちます。ユーザーの発話："I was transferring funds when I got network failure error" 検出されたインデント：Transfer Funds 意図したインテント：Register Complaint インテントのネガティブパターン（ネットワーク障害）（エラー）（技術的な問題）を追加します。Transfer Funds ユーザーの発話： "I was transferring funds when I got network failure error" or "I was transferring funds when I faced a technical issue" or "I got an error during transfer funds process." 拒否されたインテント：Transfer Funds トリガーしたインテント： Register Complaint

エンティティ抽出のパターン

パターンを使用して、ユーザーの発話におけるエンティティの位置と出現に基づいて、ユーザーの発話におけるエンティティの値を特定することができます。エンティティの抽出には、{…}、[….]、!、~conceptsのようなインテントパターンの演算子を使用できます。以下に、これらのパターンがどのように適用されるかについていくつかのユースケースを示します。すべてのエンティティパターンには、プラットフォームがエンティティ値を探す場所を表す「*」を何らかの形式で含める必要があります。バンキングBotの例に続き、資金の移動インテントを使用します。このインテントには、ToAccountおよびFromAccountの2つのエンティティが必要です。これを実現する方法を見ていきましょう。

パターン1：word1 * word2

これは、エンティティの予想される位置を示す位置ワイルドカードとして使用することができます。ToAccountエンティティのパターン：to * from ユーザーの発話： Transfer funds to ABC123 from my account. 抽出したエンティティ：ToAccount = ABC123 エンティティの抽出に結びつかないユーザーの発話： "transfer funds for ABC123 from my account"

パターン2：word1 * n

これは、指定されたword1の後に、単語数に基づいたエンティティの予想される位置を示す位置ワイルドカード*として使用することができます。つまり、word1の後にn個の単語が存在する場合はエンティティとして考慮され、n個の単語が存在しない場合は、次に出現するword1を探します。ToAccountエンティティのパターン：from *2 ユーザーの発話：Transfer funds to ABC123 from my account.抽出したエンティティ：FromAccount = my account ユーザーの発話： Transfer funds to ABC123 from XYZ321 that is from my account. 抽出したエンティティ：FromAccount = my account エンティティの抽出に結びつかないユーザーの発話： "transfer funds to  ABC123 using my account"

パターン2の拡張：word1 *~n

上記（パターン2）と類似性がありますが、最大n個の単語が使用可能な場合、n個まで抽出します。エンティティは抽出するものが必要であるため、*~1は実際には*1と同じであることに注意してください。

パターン3：word1 * word2、word3 *nの組み合わせ

これは、ユーザーの発話内でエンティティの値が見つかる可能性がある場所と、エンティティに寄与する単語数のパターンの組み合わせとして使用することができます。ToAccountエンティティのパターン： "to * from" and "from to *1" Pattern for FromAccount entity: "from * to" and "to from *2"ユーザーの発話：Transfer funds to ABC123 from my account. or Transfer funds from my account to ABC123.抽出したエンティティ：ToAccount = ABC123 and FromAccount = my account エンティティの抽出に結びつかないユーザーの発話： "transfer funds for ABC123 using my account"

パターン4： [ word1 word2 ] *

これは、単語または概念のグループを使用するパターンの場合で、少なくとも1つが発話内に含まれている必要があります。グループ内のオーダーが重要となります（詳細については上記のインテントの検出を参照してください）。ToAccountエンティティのパターン："to * [ using from ]" and "[ using from ] to *1" FromAccountエンティティのパターン："[ using from ] * to" and "to [ using from ] *"ユーザーの発話：Transfer funds to ABC123 from my account. or Transfer funds using my account to ABC123.抽出したエンティティ：ToAccount = ABC123 and FromAccount = my account エンティティの抽出に結びつかないユーザーの発話："transfer funds for ABC123 using my account"

パターン5： ~CustomConcept *

これは概念を使用するためのものです。独自のカスタムコンセプトを作成し、それを使用してパターンを定義できます。ToAccountエンティティのパターン："to * from" and "from to *" Pattern for FromAccount エンティティのパターン："~in * to" and "to ~in *" カスタムコンセプト：~in – (using) (from) ユーザーの発話：Transfer funds to ABC123 using my account. or Transfer funds from my account to ABC123.抽出したエンティティ：ToAccount = ABC123 and FromAccount = my account エンティティの抽出に結びつかないユーザーの発話： "transfer funds to ABC123 of my account"

パターン6： ~intent

エンティティパターンやカスタムエンティティで有用です。インテント特定で使用される単語は、~intent概念で動的にマークされます。これは、一部のエンティティパターンのアンカーや参照ポイントとして使用できます。サンプルパターン："~intent~meeting~plural" エンティティの抽出に結びつかないユーザーの発話： show my meetings. エンティティをマークする可能性があるユーザーの発話： "schedule a presentation called Meeting the Sales Goals"

パターン7： $currentEntity

エンティティが実際に処理されるまでパターンの評価を遅らせるのに役立ちます。通常、エンティティパターンはダイアログの開始時や新規入力時に評価され、そのエンティティが処理されるまで単語を保護する必要があるかどうかを確認します。これは、特に文字列の場合には必ずしも望ましいとは限りません。パターン："$currentEntity=TaskTitle 'called *" 上記のルールにより、ダイアログフローがTaskTitleノードに到達したときにパターンが評価されます。

Using patterns can help to improve NLP interpreter accuracy.

In this document, we will elaborate on the various pattern syntax and how they can be used in intent detection and entity extraction.

Things to Remember:

• Patterns are to be used as a last resort, only for cases where ML engine cannot be used. Examples of such cases would be to train bot in recognising idiomatic utterances, command like utterances.
• Patterns are evaluated in the order of their listing. Once a match is found the rest of the patterns are not evaluated. So ensure when adding patterns to add in the order of most restrictive to least restrictive.
• Only one wildcard (*) is allowed in a pattern.
• While most of the features are supported in all languages, there are some exceptions, see here for more details.

• Use a minimum of 3 words.
• Use words in their canonical forms (i.e. infinitive verbs, singular nouns).
• Use lowercase both for words and their synonyms.
• Use the US spelling of words (i.e. normalize instead of normalise).
• Avoid using determiners and pronouns (the, a, my, that).
• Avoid using digits.
• Avoid using entity values in defining a task pattern.
• Don’t use elision (i.e. what’s ).
• Don’t use special characters such as () & / \ $ [ ] + *.
• Don’t use punctuation such as – , . ! ? ‘ “.

Patterns for Intent Detection

Following is a list of pattern syntax, along with examples, that can be configured for intent detection.

Pattern Operators

• AND: ( X Y ): An ordered relationship of words in sequence. This is the default setting. i.e. when you specify a pattern as cancel order it is the same as (cancel order).
  For example, (Cancel Order) matches Cancel my phone order but doesn’t match I have a pending order for an iPhone X, can I cancel. Bot Builder tool uses patterns with increasing numbers of wildcards between words (up to 3 for an intent). So a pattern of Cancel Order can match:
  • cancel order
  • cancel my order
  • cancel that last order
  • cancel last weeks big order
• OR: [X Y Z]: Any of these can be interchangeably used in the user utterance. For example, ([get make] me [food drink dessert]) will match any of the below utterances:
  • Get me food
  • Make me a drink
  • Get me a drink
  • Get me a dessert
  • Make me some quick food
• NOT: !X: Words that should not appear in the user utterance for an intent match. For example, (!forecast) is marked as a pattern for intent named Get current weather and the bot supports another intent called Get 3-day weather forecast.
  • User utterance: Planning a trip to California get me the forecast
    • will not match Get current weather
    • will match Get 3-day weather forecast
      Note that the !word means not after this point. So (!forecast the weather) and (get the weather !forecast) are different. The utterance get the forecast for the weather matches the second but not the first.
• Optional: {X}: For example, {phone} If the user utterance is Get me a phone number or get me a number the platform will treat it equally.
• Enforce Phrase: X_Y: To enforce occurrence of the phrase as is in the user utterance, without any words in between. For example, transfer_funds. The utterance transfer funds or I want to transfer funds will match but not Can I transfer some funds.
• Concepts: ~: Platform has a large set of inbuilt concepts that developers can use to define a pattern. For example, (I [like love] ~world_country) will match
  • I like India
  • I love traveling to Australia
  • I would like to visit an African country
• Unordered: <<, >>: Used to find words in any order. For example, <<Cancel Order>> matches Cancel my phone order and also I have a pending order for an iPhone X, can I cancel
• Start/End of Statement: <, >: For example, ( transfer fund > ) will match I want to transfer funds but will not match transfer funds today.
• Quote: ‘ –: If you quote words or use words that are not in canonical form, the system will restrict itself to what you used in the pattern. For example, (like to transfer funds) This matches I would like to transfer funds from my account but not I really liked transfer funds process.

Negative Patterns

Negative Patterns can be used to eliminate intents detected in the presence of a phrase. This will help filter the matched intents for false positives.

User Utterance: “I was transferring funds when I got network failure error”
Intent Detected: Transfer Funds
Intended Intent: Register Complaint

Add a Negative Pattern (network failure) (error) (technical issue) for the intent Transfer Funds
User Utterance: “I was transferring funds when I got network failure error”
or “I was transferring funds when I faced a technical issue”
or “I got an error during transfer funds process.”
Intent Rejected: Transfer Funds
Intent Triggered: Register Complaint

Patterns for Entity Extraction

Patterns can be used to identify the values for entities in user utterance based upon their position and occurrence in user utterance.

Intent patterns operators like {…}, […], !, ~concepts can be used for entity extraction. The following are some use cases how the patterns can be applied.

Every entity pattern has to include a * (of some form) to represent where the platform should look for an entity value.

Continuing with the Banking Bot example with Transfer Funds intent. This intent needs two entities – ToAccount and FromAccount. We will see how to achieve this.

Pattern 1: word1 * word2

This can be used as a positional wildcard that indicates the expected position of the entity.
Pattern for ToAccount entity: to * from
User Utterance: Transfer funds to ABC123 from my account.
Entity Extracted: ToAccount = ABC123
User Utterance not resulting in entity extraction: “transfer funds for ABC123 from my account”

Pattern 2: word1 *n

This can be used as a positional wildcard * that indicates the expected position of the entity based upon the number of words after the specified word1. That is, n words after the word1 are to be considered for the entity, if n words are not present then look for the next occurence of word1.
Pattern for ToAccount entity: from *2
User Utterance: Transfer funds to ABC123 from my account.
Entity Extracted: FromAccount = my account
User Utterance: Transfer funds to ABC123 from XYZ321 that is from my account.
Entity Extracted: FromAccount = my account
User Utterance not resulting in entity extraction: “transfer funds to  ABC123 using my account”

Extension to Pattern 2: word1 *~n

Similar to above (pattern 2) but extracts up to n number, if that number of words are available. Note that entities need to extract something so *~1 is really the same as *1.

Pattern 3: a combination of word1 * word2 and word3 *n

This can be used as a combination of patterns for the likely location in the user utterance that the entity value could be found and the number of words contributing to the entity.
Pattern for ToAccount entity: “to * from” and “from to *1”
Pattern for FromAccount entity: “from * to” and “to from *2”
User Utterance: Transfer funds to ABC123 from my account.
                       or Transfer funds from my account to ABC123.
Entity Extracted: ToAccount = ABC123 and FromAccount = my account
User Utterance not resulting in entity extraction: “transfer funds for ABC123 using my account”

Pattern 4: [ word1 word2 ] *

This can be for patterns using a group of words or concepts of which at least one should be present in the utterance. The order within the group is important (see above in intent detection for details).
Pattern for ToAccount entity: “to * [ using from ]” and “[ using from ] to *1”
Pattern for FromAccount entity: “[ using from ] * to” and “to [ using from ] *”
User Utterance: Transfer funds to ABC123 from my account.
                       or Transfer funds using my account to ABC123.
Entity Extracted: ToAccount = ABC123 and FromAccount = my account
User Utterance not resulting in entity extraction: “transfer funds for ABC123 using my account”

Pattern 5: ~CustomConcept *

This can be for using concepts. You can create your own custom concepts and use them to define patterns.
Pattern for ToAccount entity: “to * from” and “from to *”
Pattern for FromAccount entity: “~in * to” and “to ~in *”
Custom Concept: ~in – (using) (from)
User Utterance: Transfer funds to ABC123 using my account.
                       or Transfer funds from my account to ABC123.
Entity Extracted: ToAccount = ABC123 and FromAccount = my account
User Utterance not resulting in entity extraction: “transfer funds to ABC123 of my account“

Pattern 6: ~intent

Useful in entity patterns and custom entities
Words that are used in the intent identification are dynamically marked with the ~intent concept. This can then be used as an anchor or reference point for some entity patterns.
Sample Pattern: “~intent~meeting~plural“
User Utterance not resulting in entity extraction: show my meetings.
User Utterance might mark the entity: “schedule a presentation called Meeting the Sales Goals“

Pattern 7: $currentEntity

Useful in delaying the evaluation of a pattern until the entity is actually processed. Normally entity patterns are evaluated when a dialog starts and on new input to see if any words need to be protected until that entity is processed. This might not always desirable, especially for strings.
Pattern: “$currentEntity=TaskTitle ‘called *“
The above rule will result in evaluating the pattern when the dialog flow has reached the TaskTitle node.