Kore.ai는 모든 정보를 분석 섹션의 일부로 기록하고 표시합니다. 개발자들은 작업 식별 및 작업 실행 시 봇의 성능에 관한 통찰력을 얻을 수 있습니다. 이를 통해 의도와 일치한 사용자 발화와 그렇지 않은 발화에서 필수 정보를 볼 수 있습니다. 분석 > NLP 지표 섹션에는 다음과 같은 섹션이 포함되어 있습니다.

  • 의도가 발견됨: KG 의도에 의해 트리거 된 대화 작업을 포함하여, 학습된 의도에 성공적으로 매핑된 모든 사용자 발화가 포함됩니다. 발화는 유사성을 기준으로 그룹화됩니다
    • 사용자 발화, 의도, 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 사용 채널, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다. 여러 사용자 정의 태그에서 레코드를 필터링할 수도 있습니다.
    • 최초 사용자 발화와 커뮤니케이션 채널, 추출된 엔티티(있는 경우), 적용된 사용자 정의형 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
    • 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
    • 발화를 학습할 수 있는 옵션이 있으며, 학습한 후에는 해당 발화가 표시됩니다.
    • 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.

  • 의도가 발견되지 않음: 플랫폼이 봇 의도/FAQ에 매핑할 수 없었던 모든 사용자 발화가 포함됩니다. 개발자가 발생 횟수를 기준으로 학습시킬 수 있도록 유사성을 기준으로 그룹화됩니다.
    • 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 사용 채널, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다. 여러 사용자 정의 태그에서 레코드를 필터링할 수도 있습니다.
    • 최초 사용자 발화와 커뮤니케이션 채널, 추출된 시스템 엔터티(있는 경우), 적용된 사용자 정의 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
    • 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
    • 발화를 학습할 수 있는 옵션이 있으며, 학습한 후에는 해당 발화가 표시됩니다. 또한 학습함/학습하지 않음 발화를 기준으로 필터링할 수 있습니다.
    • 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.
  • 실패한 작업: 의도로 성공적으로 식별되었지만 작업을 완료할 수 없는 모든 사용자 발화가 이 섹션에 나열됩니다. 작업 및 실패 유형에 따라 그룹화하여 봇 문제를 분석하고 해결할 수 있습니다.
    • 지원되는 플랫폼 실패 유형은 다음과 같습니다.
      • 사용자가 작업을 중단함
      • 대체 작업을 시작함
      • 대화 인터페이스 새로 고침
      • 인간 상담사 전환
      • 권한 부여 시도 실패 – 최대 시도 횟수에 도달함
      • 잘못된 엔티티 실패 – 최대 시도 횟수에 도달함
      • 스크립트 오류
      • 서비스 실패
    • 작업 이름, 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다.
    • 최초 사용자 발화와 커뮤니케이션 채널, 추출된 시스템 엔터티(있는 경우), 적용된 사용자 정의 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
    • 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
    • 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.
  • 성능: 개발자는 봇 작업의 모든 스크립트와 API 서비스를 하나의 창에서 모니터링할 수 있습니다. 플랫폼은 다음과 같은 메타 정보를 저장합니다.
    • 노드 이름, 유형 및 작업 이름
    • 총 실행 횟수
    • 성공 %
    • 응답 수가 200개인 총 호출 수와 응답 수가 200개가 아닌 총 호출 수입니다. 실제 응답 코드는 서비스 행을 클릭하면 열리는 상세 정보 페이지에서 볼 수 있습니다.
    • 평균 응답 시간
    • 스크립트 또는 서비스가 연속적으로 실패하는 경우 적절한 알림

     

  • 고정됨: 이 탭의 식별된/미식별된 의도와 실패 작업에서 중요 또는 고정된 모든 레코드를 볼 수 있습니다.

지표 페이지를 열려면 상단 메뉴에서 분석 > NLP 지표를 선택합니다. 최종 사용자 발화는 유사성을 기준으로 그룹화되어 봇의 성능을 보다 쉽게 검토할 수 있습니다.

필터 기준

다음 기준을 사용하여 지표 페이지에서 정보를 필터링할 수 있습니다. 입력한 필터 기준을 저장하고 기본 필터로 저장을 사용하여 기본 필터로 설정할 수 있습니다.

필터 조건은 탭에 따라 약간 다릅니다. 지표 페이지에서 탭 사이를 전환할 때 적용 가능한 필터가 적용됩니다.
기준 설명
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. 다음을 기준으로 필터링하도록 선택할 수 있습니다

  • 사용자가 등록할 때 플랫폼에서 생성한 사용자 ID인 Kore 사용자 ID, 또는
  • 채널 사용자 ID – 채널에서 받은 사용자의 이메일 주소입니다. 개발자 상호 작용은 ‘엔터프라이즈 봇’의 채널 사용자 ID에서 사용할 수 있으며, 채널 ID에서 이메일 주소(Kore 등록 이메일 주소)를 사용할 수 있습니다

사용자 ID의 처음 세 알파벳을 입력하면 나타나는 드롭다운에서 사용자 ID를 선택할 수 있습니다 이때 선택한 사용자 ID를 포함하거나 제외할 수 있습니다. 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.

날짜 기간 이 페이지에는 기본적으로 지난 7일간의 대화가 표시됩니다. 지난 24시간 동안의 대화만 필터링하려면 24시간을 클릭합니다. 지난 7일 세션으로 다시 전환하려면 지난 7일을 클릭합니다. 시작 및 종료 날짜와 시간을 지정하여 사용자 정의 기간을 추가할 수도 있습니다(버전 7.3에 시간 추가됨)
언어 다국어 봇인 경우 특정 언어를 선택하여 해당 언어로 발생한 대화를 필터링할 수 있습니다. 이 페이지에는 기본적으로 활성화된 모든 언어가 발생한 대화가 표시됩니다. 성능 탭에는 적용되지 않습니다.
채널 특정 채널을 선택하여 해당 채널에서 발생한 대화를 필터링합니다. 이 페이지에는 기본적으로 활성화된 모든 채널에서 발생한 대화가 표시됩니다.
작업/의도 특정 작업 또는 의도와 관련된 대화를 필터링하려면 특정 작업 또는 의도와 관련된 작업을 선택합니다. 이 페이지에는 기본적으로 모든 작업 또는 의도와 관련된 대화가 표시됩니다. 의도가 발견되지 않음 탭에는 적용되지 않습니다.
발화 유형 학습한 발화만 포함한 대화를 봇에 필터링하려면 학습함 옵션을 선택합니다. 학습하지 않은 발화와 관련된 대화를 보려면 학습하지 않음을 클릭합니다. 이 페이지에는 기본적으로 둘 모두와 관련된 대화가 표시됩니다. 의도가 발견됨 탭만 적용됩니다.
모호함 여러 작업 또는 의도를 식별하고 사용자에게 제공된 옵션 중에서 선택하도록 요청하는 대화를 필터링하려면 모호함 표시 옵션을 선택합니다. 의도가 발견되지 않음 탭에서만 사용할 수 있습니다.
개발자 상호 작용 결과에 개발자 상호 작용을 포함하려면 개발자 상호 작용 포함을 선택합니다. 기본적으로 개발자 상호 작용은 포함되지 않습니다. 개발자들은 봇 소유자와 공유된 개발자를 모두 포함합니다.
사용자 정의 태그 메타 정보, 세션 데이터 및 필터 기준에 따라 레코드를 필터링하려면 특정 사용자 정의 태그를 선택합니다. 이러한 태그를 세 가지 수준에서 추가할 수 있습니다.

  • 사용자 수준: 이러한 태그를 사용자 정보에 추가할 수 있습니다.
  • 메시지 수준: 이러한 태그를 현재 노드의 메시지에 추가할 수 있습니다. 현재 노드가 메시지와 연결되지 않은 경우 태그는 노드가 연결된 메시지가 있는 바로 이전 노드에 연결됩니다.
  • 세션 수준: 이러한 태그는 사용자의 현재 세션에서 추가할 수 있습니다.

기준을 포함 및 지정된 값을 포함하지 않음으로 설정할 수 있습니다. 디버그 로그 탭에서 사용할 수 없습니다. 애플리케이션의 모든 위치에서 작성된 스크립트 노드, 메시지, 엔티티, 확인 프롬프트, 오류 프롬프트, 지식 그래프, 응답, BotKit SDK 등과 같은 스크립트에서 태그를 키-값 쌍으로 정의할 수 있습니다. 메타 태그 추가를 위해 다음 스크립트를 사용할 수 있습니다.

  • 사용자 수준 태그 추가 방법: tags.addUserLevelTag("tagname","tagvalue")
  • 세션 수준 태그 추가 방법: tags.addSessionLevelTag("tagname","tagvalue")
  • 메시지 수준 태그 추가 방법: tags.addMessageLevelTag("tagname","tagvalue")

식별된 의도 및 미식별된 의도

의도가 발견됨의도가 발견되지 않음에 대한 기본 세부 정보, 필터 기준 및 고급 세부 정보는 유사하지만 약간의 차이가 있습니다. 이러한 탭에서 직접 봇에 대해 모든 발화를 학습할 수 있습니다.

기본 세부 정보

필드 설명
발화 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다.
의도 (의도가 발견됨 탭만 적용됩니다) 사용자 발화에 대해 실별된 의도입니다. 식별된 의도와 사용자 발화를 살펴보고 올바르게 일치하는지 확인할 수 있습니다. 그렇지 않은 경우 여기에서 봇을 학습시킬 수 있습니다. 발화별 그룹화를 켜려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 켭니다.
특성 나열된 발화에 대해 식별된 모든 관련된 특성.
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.
언어 대화가 발생한 언어입니다.
날짜 & 시간 대화의 날짜 및 시간입니다.

봇 학습시키기

의도가 발견됨 및 의도가 발견되지 않음 탭에서 의도를 학습할 수 있습니다. 이렇게 하려면 해당 탭의 행 위에 마우스를 가져가서 학습 아이콘을 클릭합니다. 봇을 학습시킬 수 있는 테스트 및 학습 페이지가 열립니다. 자세한 내용은 봇 테스트 및 학습시키기를 참조하세요.

실패한 작업

실패한 작업 탭에는 식별되었지만 어떤 이유로 실행하지 못한 작업과 관련된 다음과 같은 세부 정보가 표시됩니다.

필드 설명
발화 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다.
작업 이름 사용자 발화에 대해 식별된 작업입니다. 발화별 그룹화를 켜려면 작업 이름 헤더를 클릭하고 작업별 그룹화 옵션을 켭니다.
실패 지점 실패가 발생하여 작업이 취소되거나 사용자가 삭제된 작업 실행 여정의 노드 또는 포인트입니다. 항목을 클릭하면 마커를 통해 의도 감지 발화와 실패/중단 지점을 확인할 수 있는 세션에 대한 전체 대화를 볼 수 있습니다. 작업 유형에 따라 실패 지점을 클릭하면 자세한 정보가 표시됩니다.
문제 유형 다음 옵션 중 하나를 실패 원인으로 표시합니다.

  • 사용자가 작업을 중단함
  • 대체 작업을 시작함
  • 대화 인터페이스 새로 고침
  • 인간 상담사 전환
  • 권한 부여 시도 실패 – 최대 시도 횟수에 도달함
  • 잘못된 엔티티 실패 – 최대 시도 횟수에 도달함
  • 스크립트 오류
  • 서비스 실패
  • 비활성 또는 외부 이벤트(버전 8.0 이상) – 대화 세션에서 비활성 또는 외부 이벤트로 인해 진행 중인 작업이 닫힙니다.
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를 표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.
언어 대화가 발생한 언어입니다.
날짜 & 시간 대화의 날짜 및 시간입니다.

고정됨

고정한 식별된 의도 및 미식별된 의도 또는 실패 작업 탭의 모든 레코드는 고정됨 탭에 표시됩니다. 작업/의도와 관련된 다음 세부 정보가 표시됩니다.

필드 설명
발화 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다.
의도 식별/실패한 의도/작업입니다.
문제 유형 위의 섹션에서 언급한 바와 같이 작업 실패 레코드의 경우 실패 원인을 보여 줍니다.
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를 표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.
언어 대화가 발생한 언어입니다.
날짜 & 시간 대화의 날짜 및 시간입니다.

고급 보기

의도가 발견됨, 의도가 발견되지 않음, 실패 작업 및 고정됨 탭에 나열된 모든 사용자 발화를 다음 하위 탭을 사용하여 사용자 세션과 관련된 고급 세부 정보를 열 수 있습니다.

  • 세부 정보: 대화의 NLP 분석을 포함한 JSON 파일과 함께 세션의 기본 세부 정보를 보여 줍니다.
  • NLP 분석: 의도 점수 및 선택을 포함하여 NLP 분석의 시각적 표현을 제공합니다. 자세한 내용은 봇 테스트 및 학습시키기를 참조하세요.
  • 채팅 기록: 레코드가 기록된 정확한 메시지 또는 대화로 안내하고 사용자 세션의 전체 채팅 기록을 표시합니다.

채팅 기록

채팅 기록은 다음 기능을 포함하여 사용자 정보에 대한 가시성을 제공합니다.

  • 사용자 프로필: 사용자의 사용량 지표와 함께 사용자에 대한 360도 보기를 제공합니다.
  • 사용자 대화 세션: 지정된 기간 동안 사용자의 모든 세션을 나열하며 선택한 발화 섹션이 확장됩니다.
  • 선택된 발화로 이동: 선택된 발화가 주황색으로 강조 표시됩니다.

다음은 제공되는 사용자 정보의 세부 정보입니다.

기능 속성 설명
사용자 프로필 Kore 사용자 ID 플랫폼에서 할당한 사용자 ID
채널 데이터 채널에서 수신한 데이터, 즉 사용자 컨텍스트에서 사용할 수 있는 정보입니다.
사용자 메타 태그 가장 최근의 메타 태그의 사용자 및 키-값 쌍과 연결된 총 메타 태그 수입니다.
최신 상호 작용 사용자가 봇과 마지막으로 상호 작용한 시간
총 대화 세션 시작 때부터 사용자가 등록한 대화형 및 비대화형 세션의 총수
지난 30일간 총 대화 세션 지난 30일 동안 사용자가 등록한 대화형 및 비대화형 세션의 총수
* 최근 30일 동안 사용자가 상호 작용하지 않으면 다음 몇 가지 속성이 표시되지 않습니다
지난 30일 동안의 의도 감지율 (총 식별된 의도 수 / (총 식별된 의도 수 + 미식별된 발화 수)) * 지난 30일 동안의 발화 수 100
의도 요청됨 총 식별된 의도 수 + 미식별된 발화 수
식별된 의도 총 식별된 의도 수
지난 30일 동안의 목표 완료율 (작업에 성공 작업 / (총 성공 작업 + 총 실패 작업)) * 최근 30일 동안의 작업 100
작업 시작됨 총 성공 작업 수 + 총 실패 작업 수
작업 완료됨 작업이 성공적으로 완료됨
최근 대화형 흐름 지난 30일 동안 사용자가 실행한 인기 있는 10가지 대화 흐름. 인기 있는 흐름은 흐름이 실행된 인스턴스 수에 따라 달라집니다.
사용자 대화 세션 세션 속성
세션 시작 세션 시작 날짜 및 시간입니다.
세션 종료 세션 종료 날짜 및 시간입니다.
채널 세션이 시작된 채널입니다.
상담사 전환 태그 사용자가 상담원에게 전달된 세션입니다. 사용자가 봇에 반환된 경우에도 세션을 고려해야 합니다.
드랍오프 태그 사용자가 중단한 세션입니다.
총 성공 작업 세션에서 성공적으로 완료된 작업 수입니다.
총 실패 작업 세션에서 실패한 작업 수입니다.
식별된 의도 세션에서 성공적으로 식별한 의도 수입니다.
식별되지 않은 의도 세션의 식별되지 않은 의도 수와 식별되지 않은 의도 목록입니다.
대화 경로 세션에서 사용자가 시작한 일련의 작업입니다.
세션 메타 태그 가장 최근에 표시된 사용자 정의 메타 태그의 세부 정보와 함께 사용된 세션 메타 태그의 수입니다.
대화 내용
메시지 메타 태그 대화 내용은 연관된 메타 태그가 있는 메시지의 메시지 태그가 주석으로 추가됩니다.
상담사 전환 상담사를 전환하기 전 마지막 메시지의 전송 지점을 나타냅니다.
드랍오프 중단하기 전 마지막 메시지의 드랍오프 지점을 나타냅니다.

성능

성능 탭에는 봇의 백엔드 성능과 관련된 다음 정보가 표시됩니다.

필드 설명
노드 이름 사용자 발화에 대한 응답으로 실행된 작업 내의 서비스, 스크립트 또는 Webhook의 이름입니다. 이 스크립트 또는 서비스가 속한 구성 요소별 그룹화를 켜려면 노드 이름 헤더를 클릭하고 구성 요소별 그룹화 옵션을 켭니다.
유형 스크립트, 서비스, WebHook 중 하나로 표시합니다. 참고 사항: Webhook 세부 정보는 버전 7.0부터 제공됩니다.
태스크 사용자 발화에 대해 식별된 작업입니다. 발화별 그룹화를 켜려면 작업 이름 헤더를 클릭하고 작업별 그룹화 옵션을 켭니다.
총 실행 횟수 해당 기간 동안 사용자 발화에 대해 스크립트 또는 서비스가 실행된 총 실행 횟수입니다.
성공률 성공적으로 실행된 서비스 또는 스크립트 실행 횟수의 실행 비율입니다.
2XX 응답 2xx 응답을 반환한 서비스 또는 스크립트 실행 횟수의 비율입니다.
비 2XX 응답 비2xx 응답을 반환한 서비스 또는 스크립트 실행 횟수의 비율입니다.
평균 응답 시간 총 실행 횟수에서 스크립트 또는 서비스의 평균 응답 시간입니다.

고급 성능 세부 정보

서비스, 스크립트 또는 WebHook 이름을 클릭하면 성공 및 실패한 실행에 대한 별도의 탭과 함께 실행의 각 인스턴스를 나열하는 서비스의 고급 세부 정보 대화 상자가 열립니다. 각 실행의 평균 응답 시간을 분석하면 서비스 또는 스크립트 실행의 모든 이상에 대한 통찰력을 얻을 수 있습니다. 아무 행이나 클릭하여 서비스 또는 스크립트 실행과 연결된 JSON 응답을 엽니다.

디버그 로그

koreDebugger.log("<debug statement>") 문장을 사용하여 스크립트 노드에 입력한 모든 사용자 정의 디버그 문장이 이 탭에 표시됩니다(디버그 문장은 문자열 형식이어야 함).   로그에는 모든 채널의 사용자 대화가 포함됩니다. 특히 사용자 상호 작용 중 실패가 발생할 경우 봇 분석에 사용할 수 있습니다. 세부 정보는 다음과 같습니다.

  • 봇을 정의할 때 정의한 실제 문장입니다.
  • 로그 날짜 및 시간입니다
  • 채널
  • 사용자 ID(채널별 ID와 함께)
  • 상호 작용 언어
  • 작업 이름(있는 경우)
  • 개발자 플래그 – 개발자 또는 최종 사용자가 상호 작용을 수행했음을 나타냅니다.

세션과 연관된 채팅 기록의 세부 정보를 볼 수 있습니다. 자세한 내용을 보려면 다음 단계를 따르세요.

  1. 로그 기록을 클릭합니다.
  2. 해당 창에서 세부 정보채팅 기록 탭을 찾을 수 있습니다.
  3. 세부 정보 탭에서 작업 이름, 채널, 언어흐름을 찾을 수 있습니다.
  4. 채팅 기록 탭을 클릭합니다. 로그가 기록된 채팅 내용을 찾을 수 있습니다.
    • 디버그 로그가 봇 메시지에서 생성된 경우 채팅 내용의 특정 메시지로 이동합니다.

    • 디버그 로그가 봇 메시지의 일부가 아닌 경우 디버그 문장 앞에 추가된 최신 메시지로 이동합니다.

범용 봇의 경우 범용 봇과 연결된 봇의 디버그 문장이 로그에 포함됩니다. 디버그 로그에는 플랫폼이 BotKit에 도달할 수 없거나 BotKit가 플랫폼에서 보낸 메시지를 승인하지 못한 경우와 같은 BotKit 관련 오류 메시지도 포함됩니다. 메시지에는 <endpoint>, <error code>, 및 <response time>와 같은 세부 정보가 포함됩니다. 스토리지 제한 플랫폼은 봇당 보유하는 로그 문장 수를 제한합니다. 제한은 볼륨 및 기간의 조합입니다.

  • 봇당 최신 700개의 문장만 저장됩니다.
  • 7일이 지난 문장은 제거됩니다.

분석 내보내기

페이지의 오른쪽 상단 모서리에 있는 내보내기 아이콘을 클릭하여 봇 분석 페이지에 있는 데이터를 CSV 파일로 내보낼 수 있습니다. 아이콘을 클릭하면 내보내기 프로세스가 시작되고 상태 추적기 도크를 사용하여 내보내기 진행 상황을 추적할 수 있습니다. 내보내기가 완료되면 도크는 내보내기 상태를 표시하고, 성공적으로 완료되면 파일을 다운로드할 수 있는 링크를 제공합니다. 다운로드에는 선택한 탭에 있는 정보와 선택한 필터에 기반한 자세한 분석이 포함됩니다. 이러한 레코드에는 메타 태그 정보도 포함됩니다.

Kore.aiは分析セクションの一部として、すべての情報を記録および表示します。開発者はタスクの識別と実行における、ボットのパフォーマンスに関する詳細なインサイトを得ることができます。インテントと一致したユーザーと一致しなかったユーザーの発話に対し、必要な情報を表示できます。

分析>NLPメトリクスセクションには、次のセクションが含まれています。

  • 検出されたインテント:KGインテントによってトリガーされたダイアログタスクを含む、トレーニングされたインテントに正常にマッピングされたすべてのユーザー発話を含みます。発話は類似性に基づいてグループ化されます
    • ユーザーの発話、インテント、ユーザー(KoreユーザーIDまたはチャネル固有の一意のID)、期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは複数のカスタムタグでフィルタリングすることもできます。
    • 元のユーザーの発話、コミュニケーションチャネル、抽出されたエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングとリゾルバーのスコアなどの完全なメタ情報は、後で分析するために保存されます。
    • ユーザーの発話のポイントまでチャットのトランスクリプトを見に行ける機能。これにより、ユーザープロファイルとそのユーザーの会話セッションの詳細を表示するオプションも提供されます。
    • 発話をトレーニングするオプションがあり、一度トレーニングされると発話にマークが付けられます。
    • 後でマークまたは追跡したい重要なレコードはピン留めできます。これらはピン止めタブに表示されます。

  • 未検出インテント: プラットフォームがボットインテント/ FAQにマッピングできなかったすべてのユーザー発話が含まれます。これらは、発生回数に基づいて開発者がトレーニングするための類似性に基づいてグループ化されます。
    • ユーザー(KoreユーザーIDまたはチャネル固有の一意のID)、期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは複数のカスタムタグでフィルタリングすることもできます。
    • 元のユーザーの発話、コミュニケーションチャネル、抽出されたシステムエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングとリゾルバーのスコアなどの完全なメタ情報は、後で分析するために保存されます。
    • ユーザーの発話のポイントまでチャットのトランスクリプトを見に行ける機能。これにより、ユーザープロファイルとそのユーザーの会話セッションの詳細を表示するオプションも提供されます。
    • 発話をトレーニングするオプションがあり、一度トレーニングされると発話にマークが付けられます。訓練されたまたは訓練されていない発話に基づいてフィルタリングすることもできます。
    • 後でマークまたは追跡したい重要なレコードはピン留めできます。これらはピン止めタブに表示されます。
  • 失敗したタスク:正常にインテントを識別されたもののタスクを完了できなかったすべてのユーザー発話が、このセクションの下に一覧表示されます。タスクと失敗の種類に基づいてグループ化し、ボットの問題を分析して解決できます。
    • サポートされているプラ​​ットフォーム失敗の種類は次のとおりです。
      • ユーザーが一時停止したタスク
      • 代替タスクが初期化されました
      • チャットインターフェースが更新されました
      • ヒューマンエージェントへ転送
      • 承認試行の失敗―最大試行回数に達しました
      • 不正なエンティティによる失敗―最大試行回数に達しました
      • スクリプトの失敗
      • サービスの失敗
    • タスク名、ユーザー(KoreユーザーIDまたはチャネル固有の一意のID)、期間、言語などのさまざまな基準に基づいて情報をフィルタリングできます。
    • 元のユーザーの発話、コミュニケーションチャネル、抽出されたシステムエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングとリゾルバーのスコアなどの完全なメタ情報は、後で分析するために保存されます。
    • ユーザーの発話のポイントまでチャットのトランスクリプトを見に行ける機能。これにより、ユーザープロファイルとそのユーザーの会話セッションの詳細を表示するオプションも提供されます。
    • 後でマークまたは追跡したい重要なレコードはピン留めできます。これらはピン止めタブに表示されます。
  • 実行:開発者は、単一のウィンドウからボットタスク全体のすべてのスクリプトとAPIサービスを監視できます。プラットフォームは、次のメタ情報を保存します。
    • ノード名、タイプ、およびタスク名
    • 実行の総数
    • 成功%
    • レスポンスが200のコールの総数と、レスポンスが200以外のコールの総数。実際のレスポンスコードは、サービス行をクリックすると開く詳細ページから見ることができます。
    • レスポンスの平均時間
    • スクリプトまたはサービスが連続して失敗した場合の適切なアラート

     

  • ピン留め:このタブでは、自分で重要としてマークした、または識別済み/未識別のインテントおよび失敗したタスクからピン留めしたすべてのレコードを見ることができます。

メトリクスページを開くには、トップメニューから分析>NLPメトリクスを選択します。ボットのパフォーマンスを簡単に確認できるようにするため、エンドユーザーの発話は類似性に基づいてグループ化されます。

フィルター基準

次の基準を使用して、メトリクスページの情報をフィルタリングできます。入力したフィルター基準を保存し、デフォルトフィルターとして保存を使用してデフォルトフィルターとして設定できます。

フィルター基準は、タブごとに少し異なります。メトリクスページのタブを切り替えると、該当するフィルターが適用されます。
基準 説明
ユーザーID

会話に関連するエンドユーザーのユーザーID。次に基づいてフィルタリングを選択できます

  • ユーザーが登録するときにプラットフォームによって生成されるu-idであるKoreユーザーID、
  • またはチャネルユーザーID―これはチャネルから受信したユーザーの電子メールアドレスになります。開発者とのインタラクションはチャネルユーザーIDで利用可能になります。「エンタープライズボット」の場合、電子メールアドレス(kore登録済み電子メールアドレス)はチャネルIDで利用可能になります

ユーザーIDの最初の3つのアルファベットを入力するとドロップダウンに候補が表示され、そこからユーザーIDを選択できます。選択したユーザーIDを含める除外するかを選択できます。メモ:チャネル固有のIDは、選択した期間中にボットと対話したユーザーに対してのみ表示されます。

日付期間 このページには、デフォルトで過去7日間の会話が表示されます。会話を過去24時間の会話のみにフィルタリングするには、「24時間」をクリックします。過去7日間のセッションに戻る場合は、「過去7日間」をクリックします。日付と時刻を指定してカスタム期間を追加することもできます(ver7.3で追加された「時刻」)
言語 多言語ボットの場合は特定の言語を選択して、それらの言語で発生した会話をフィルタリングできます。デフォルトでは、このページに有効なすべての言語で発生した会話が表示されます。“「パフォーマンス」タブには適用されません”。
チャネル 特定のチャネルを選択して、それらのチャネルで発生した会話をフィルタリングします。デフォルトでは、このページに有効なすべてのチャネルで発生した会話が表示されます。
タスク/インテント 特定のタスクまたはインテントを選択して、それらのタスクまたはインテントに関連する会話をフィルタリングします。デフォルトでは、このページにすべてのタスクまたはインテントに関連する会話が表示されます。“「インテントが見つかりません」タブには適用されません”。
発話タイプ ボットへのトレーニング済み発話のみを含む会話をフィルタリングするには、「トレーニング済み」オプションを選択します。訓練されていない発話を含む会話を見るには、「トレーニングされていない」をクリックします。デフォルトでは、このページに両方の会話が表示されます。“「検出されたインテント」タブにのみ適用されます”。
あいまい 「あいまいな表示」オプションを選択して、複数のタスクまたはインテントを識別する会話をフィルタリングし、表示されたオプションからにユーザーが選択できるようにします。“「インテントが見つかりません」タブにのみ適用されます”。
開発者とのインタラクション 結果に開発者とのインタラクションを含めたい場合は、「開発者インタラクションを含める」を選択します。デフォルトでは、開発者とのインタラクションは含まれていません。開発者には、ボットの所有者と共同開発者の両方が含まれます。
カスタム タグ

特定のカスタムタグを選択して、メタ情報、セッションデータ、およびフィルター基準に基づいてレコードをフィルタリングします。これらのタグは、次の3つのレベルで追加できます。

  • ユーザーレベル:これらのタグはユーザー情報に追加できます
  • メッセージレベル:これらのタグは現在のノードのメッセージに追加できます。現在のノードがメッセージに関連付けられていない場合は、タグはメッセージが関連付けられている直前のノードに追加されます。
  • セッションレベル:これらのタグはユーザーの現在のセッションで追加できます

基準は指定された値を含むまたは含まないのいずれかに設定できます。“「デバッグログタブ」では使用できません”タグはスクリプトノード、メッセージ、エンティティ、確認プロンプト、エラープロンプト、ナレッジグラフレスポンス、BotKit SDKなど、アプリケーションの任意の場所に記述されたスクリプトのキーと値のペアとして定義できます。次のスクリプトを使用して、メタタグを追加できます。

  • ユーザーレベルのタグを追加するには: tags.addUserLevelTag("tagname","tagvalue")
  • セッションレベルのタグを追加するには: tags.addSessionLevelTag("tagname","tagvalue")
  • メッセージレベルのタグを追加するには: tags.addMessageLevelTag("tagname","tagvalue")

識別されたインテントと識別されていないインテント

“検出されたインテント”と“検出されなかったインテント”の両方の主要な詳細、フィルター基準、および高度な詳細は類似していますが、わずかな違いがあります。これらのタブから発話についてボットを直接トレーニングすることもできます。

主要な詳細

フィールド 説明
発話 ユーザーが入力した実際の発話。タブの詳細は、デフォルトで発話ごとにグループ化されています。発話によるグループ化をオフにするには、発話ヘッダーをクリックし、発話によるグループ化オプションをオフにします。
インテント (「検出されたインテント」Iタブにのみ適用されます) ユーザーの発話に対して特定されたインテント。識別されたインテントとユーザーの発話を比較して、それらが適切に一致するかどうかを判断できます。そうでない場合は、ここからボットをトレーニングできます。インテントによるグループ化をオンにするには、インテントヘッダーをクリックし、タスク別グループ化オプションをオンにします。
示唆 リストされた発話に対して識別される関連するすべての示唆。
UserID 会話に関連するエンドユーザーのUserID。KoreユーザーIDまたはチャネル固有の一意のIDのいずれかに基づいてメトリクスを表示するように選択できます。メモ:チャネル固有のIDは、選択した期間中にボットと対話したユーザーに対してのみ表示されます。
言語 会話が行われた言語。
日付と時刻 チャットの日付と時間:

ボットのトレーニング

「検出されたインテント」タブと「検出されなかったインテント」タブの両方からインテントをトレーニングできます。これを行うには、これらのタブのいずれかの行にカーソルを合わせ、トレーニングアイコンをクリックします。ボットをトレーニングできる「テストとトレーニング」ページが開きます。詳細については、ボットのテストとトレーニングをご覧ください。

失敗したタスク

「失敗したタスク」タブには、識別されたが何らかの理由で実行されなかったタスクに関連する次の詳細が表示されます。

フィールド 説明
発話 ユーザーが入力した実際の発話。タブの詳細は、デフォルトで発話ごとにグループ化されています。発話によるグループ化をオフにするには、発話ヘッダーをクリックし、発話によるグループ化オプションをオフにします。
タスク名 ユーザーの発話に対して特定されたタスク。タスク名によるグループ化をオンにするには、タスク名ヘッダーをクリックし、タスク別グループ化オプションをオンにします。
失敗したポイント 失敗が発生してタスクがキャンセルまたはユーザーがドロップしたタスク実行世界内のノードまたはポイント。エントリをクリックして、そのセッションの完全な会話をマーカーで表示し、インテント検出の発話と失敗/ドロップアウトポイントを識別します。タスクの種類に応じて、[失敗ポイント]をクリックすると詳細が表示されます。
問題のタイプ

失敗の理由として、次のオプションの1つを示します。

  • ユーザーが一時停止したタスク
  • 代替タスクが初期化されました
  • チャットインターフェースが更新されました
  • ヒューマンエージェントへの転送
  • 承認試行の失敗―最大試行回数に達しました
  • 不正なエンティティによる失敗―最大試行回数に達しました
  • スクリプトの失敗
  • サービスの失敗
  • 非アクティブまたは外部イベント(ver8.0以降)―会話セッションが終了した結果、非アクティブまたは外部イベントのために進行中のタスクが閉じられます。
ユーザーID 会話に関連するエンドユーザーのユーザーID。KoreユーザーIDまたはチャネル固有の一意のIDのいずれかに基づいてメトリクスを表示するように選択できます。メモ:チャネル固有のIDは、選択した期間中にボットと対話したユーザーに対してのみ表示されます。
言語 会話が行われた言語。
日付と時刻 チャットの日付と時間:

ピン留め

ピン留めした「識別済みおよび未識別のインテント」タブまたは「失敗したタスク」タブのレコードは、ここの「ピン留め」タブに表示されます。タスク/インテントに関連する次の詳細が表示されます。

フィールド 説明
発話 ユーザーが入力した実際の発話。タブの詳細は、デフォルトで発話ごとにグループ化されています。発話によるグループ化をオフにするには、発話ヘッダーをクリックし、発話によるグループ化オプションをオフにします。
インテント 識別/失敗したインテント/タスク。
問題のタイプ 上記のセクションで説明したように、タスク失敗レコードの場合に失敗の理由を示します。
ユーザーID 会話に関連するエンドユーザーのユーザーID。KoreユーザーIDまたはチャネル固有の一意のIDのいずれかに基づいてメトリクスを表示するように選択できます。メモ:チャネル固有のIDは、選択した期間中にボットと対話したユーザーに対してのみ表示されます。
言語 会話が行われた言語。
日付と時刻 チャットの日付と時間:

詳細表示

「検出されたインテント」「検出されなかったインテント」「失敗したタスク」および「ピン留め」タブにリストされているすべてのユーザーの発話について、ユーザーセッションに関連する詳細を次のサブタブで開くことができます。

  • 詳細:これは会話のNLP分析を含むJSONファイルとともに、セッションの基本的な詳細を示しています。
  • NLP分析:インテントスコアリングと選択を含むNLP分析の視覚的表現を提供します。詳細については、ボットのテストとトレーニングをご覧ください。
  • チャット履歴:レコードがログに記録される正確なメッセージまたは会話にリダイレクトされ、ユーザーセッションのチャット履歴全体が表示されます。

チャット履歴

チャット履歴は次の機能を含むことで、ユーザー情報の可視性を提供します。

  • ユーザープロファイル:ユーザーとその使用メトリクスの全方位のビューを提供します。
  • ユーザー会話セッション: 選択した発話セクションを展開して、指定した期間のユーザーのすべてのセッションを一覧表示します。
  • 選択した発話へ移動:選択した発話はオレンジ色で強調表示されます。

提供されるユーザー情報の詳細は次のとおりです。

機能性 属性 説明
ユーザープロファイル KoreユーザーID プラットフォームによって割り当てられたユーザーID
チャネルデータ チャネルから受信したデータ、つまりユーザーコンテキストで利用可能な情報。
ユーザーmetaタグ 最新のものに対して、ユーザーとキー値のペアに関連付けられたメタタグの総数。
直近のインタラクション ユーザーがボットと最後に対話したとき
合計会話セッション 最初からユーザーによって登録されたインタラクティブおよびノンインタラクティブセッションの総数
過去30日間の合計会話セッション 過去30日間にユーザーによって登録されたインタラクティブおよびノンインタラクティブセッションの総数
*過去30日間にユーザーによるインタラクションがない場合、次のいくつかの属性は表示されません
過去30日間のインテント検出率 (識別されたインテントの合計/(識別されたインテントの合計+未識別の発話))*過去30日間の発話の場合は100
リクエストされたインテント 識別されたインテントの合計+識別されていない発話
識別されたインテント 識別されたインテントの合計
過去30日間のゴール完了率 (成功タスク/(合計成功タスク+合計失敗タスク))*過去30日間のタスクの場合は100
開始されたタスク 成功タスクの合計+失敗タスクの合計
完了したタスク タスクは正常に完了しました
最近の会話フロー 過去30日間にユーザーが最も実行した会話フロートップ10。最も多いフローは、フローが実行されたインスタンスの数によって決まります。
ユーザー会話セッション セッション属性
セッション開始 セッション開始日と時間。
セッション終了 セッション終了日と時間。
チャネル セッションが開始されたチャネル。
エージェント転送タグ ユーザーがエージェントに転送されたセッション。たとえユーザーがボットに戻った場合でも、セッションを検討する必要があります。
ドロップオフタグ ユーザーがドロップオフしたセッション
合計成功タスク セッションで正常に完了したタスクの数。
合計失敗タスク セッションで失敗したタスクの数。
識別されたインテント セッションで正常に認識されたインテントの数。
インテントは認識されません セッション内の未認識のインテントの数と未認識のインテントのリスト。
会話パス セッションでユーザーが開始した一連のタスク。
セッションのmetaタグ 表示された最新のカスタムメタタグの詳細とともに使用されたセッションメタタグの数。
会話のトランスクリプト
メッセージのメタタグ チャットのトランスクリプトには、メタタグが関連付けられたメッセージのメッセージタグが注釈として付きます。
エージェントへ転送 転送前の最後のメッセージでのエージェント転送のポイントを示します。
ドロップオフ ドロップオフ前の最後のメッセージでのドロップオフのポイントを示します。

実行

「実行」タブには、ボットのバックエンドパフォーマンスに関連する次の情報が表示されます。

フィールド 説明
ノード名 ユーザーの発話にレスポンスして実行されたタスク内のサービス、スクリプト、またはWebHookの名前。これらのスクリプトまたはサービスが属するコンポーネントによるグループ化をオンにするには、ノード名ヘッダーをクリックし、コンポーネントによるグループ化オプションをオンにします。
タイプ スクリプト、サービス、WebHookのいずれであるかを示します。メモ:WebHookの詳細はバージョン7.0から含まれています。
タスク ユーザーの発話に対して特定されたタスク。タスク名によるグループ化をオンにするには、タスク名ヘッダーをクリックし、タスク別グループ化オプションをオンにします。
合計実行回数 ユーザーの発話に対してスクリプトまたはサービスが実行された期間内における合計実行回数。
成功率 正常に実行されたサービスまたはスクリプトの実行率。
2XXレスポンス 2xxレスポンスを返したサービスまたはスクリプトの実行率。
非―2XXレスポンス 非―2xxレスポンスを返したサービスまたはスクリプトの実行率。
レスポンスの平均時間 合計実行回数におけるスクリプトまたはサービスの平均レスポンス時間。

高度なパフォーマンスの詳細

サービス、スクリプト、またはWebHookの名前をクリックすると、サービスの高度な詳細ダイアログが開き、実行の各インスタンスとともに実行の成功と失敗の個別のタブが一覧表示されます。さまざまな実行の平均レスポンス時間を分析することで、サービスまたはスクリプトの実行における異常についてのインサイトが得られます。任意の行をクリックして、サービスまたはスクリプトの実行に関連付けられたJSONレスポンスを開きます。

デバッグログ

koreDebugger.log("<debug statement>")ステートメントを使用してスクリプトノードに入力したカスタムデバッグステートメントはすべてこのタブに表示されます(デバッグステートメントは文字列フォーマットである必要があります)。   ログはすべてのチャネルにわたるユーザーの会話を含みます。特にユーザーのインタラクション中に失敗が発生した場合、ボット分析にそれらを使用できます。詳細は次のとおりです。

  • ボットの定義時に定義した実際のステートメント。
  • ロギングの日時
  • チャネル
  • ユーザーID(およびチャネル固有のID)
  • インタラクションの言語
  • 可能な場合はタスク名
  • 開発者フラグ―インタラクションが開発者またはエンドユーザーのどちらによって実行されたかを示します。

セッションに関連付けられているチャット履歴の詳細を見ることもできます。さらに詳細を見るには、以下のステップに従います。

  1. ログレコードをクリックします。
  2. 対応するウィンドウで、詳細タブとチャット履歴タブを見つけることができます。
  3. 「詳細」タブで、タスク名チャネル言語、およびフローを確認できます。
  4. チャット履歴タブをクリックします。ログが記録されているチャットのトランスクリプトを見つけることができます。
    • デバッグログがボットメッセージから生成された場合、チャットトランスクリプト内のその特定のメッセージに移動します。

    • デバッグログがボットメッセージの一部でない場合は、デバッグステートメントの前に追加された最新のメッセージに移動します。

ユニバーサルボットの場合、ユニバーサルボットとリンクされたボットからのデバッグステートメントがログに含まれます。デバッグログはプラットフォームがBotKitに到達できなかった場合や、BotKitがプラットフォームから送信されたメッセージを確認しなかった場合などのBotKitに関連するエラーメッセージも含みます。メッセージには、<endpoint><error code><response time>.などの詳細が含まれています。ストレージの制限―プラットフォームは、ボットごとに保持されるログステートメントの数に制限を課します。制限は、ボリュームと期間の組み合わせです。

  • ボットごとに最新の700ステートメントのみが保存されます。
  • 7日より古いステートメントは削除されます。

データのエクスポート

ページの右上隅にある「エクスポート」アイコンをクリックすると、ボット分析ページにあるデータをCSVファイルにエクスポートできます。 アイコンをクリックするとエクスポートプロセスが開始され、ステータストラッカードックを使ってエクスポートの進行状況を追跡できます。エクスポートが完了するとドックにエクスポートステータスが表示され、成功した場合はファイルをダウンロードするためのリンクが提供されます。ダウンロードには選択したタブに表示される情報とともに、選択したフィルターに基づく詳細な分析が含まれます。これらのレコードはメタタグ情報も含みます。

The NLP Insights helps you gain in-depth insights into the analytics data and assess your virtual assistant’s performance in identifying and executing tasks. You can improve your VA’s performance based on the insights.:

The Analyze > NLP Insights page shows the specific information in the following sections:

  •  Intent Found: Number of identified intents
  •  Intent Not Found: Number of unidentified intents
  • Unhandled Utterances: Number of unhandled utterances
  • Failed Task: Number of unsuccessful tasks
  • Performance: Monitor all the scripts and API services and capture the number of failed services or scripts during the interactions
  • Pinned: Pinned NLP Insight records. Specific records are pinned to highlight them for easy access and viewing.
  • Debug Log: Custom Debug logs include user conversations from across all channels, for analyzing your VA.

Intent Found

An intent refers to the goal the customer has in mind when typing in a question or comment. The  phrases used to express the intent are called user utterances. The Intent Found tab includes all the user utterances identified by the platform. 

Note: You need to check for false positives in scenarios where the utterance is wrongly identified for an intent.

See the following table and Features section to know more.

The following is an example of Intent Found:

User: I want to know my order confirmation

VA: Would you like to switch to Track Order

User: Yes

VA: Lets log you in.
      How would you like to go ahead – Log in or Guest?

In the above conversation, the user utterance of ‘knowing the order confirmation status’ is recognized by the VA and successfully mapped to the Track Order intent.

Description of the Intent Found Fields

The following table lists the fields on the Intent Fount tab with descriptions:

Fields Description
Utterances The utterances that are identified by the VA. The details on the tab are grouped by utterances based on the similarity, by default. To turn off grouping by utterance, click the Utterances header and disable the Group by Utterances option.
Intent The intent/task that is identified. The details on the tab can be grouped by intents. By default, the  Group by Intent option is turned off. To turn it on, click the Intent header and enable the Group by Intent option.
Traits All the traits that are identified for the listed utterances. The details on the tab can be grouped by traits. By default, the  Group by Traits option is turned off. To turn it on, click the Traits header and enable the Group by Traits option.

This information is available for the data generated after June 1, 2021.

UserID The UserID of the end user related to the conversation. You can view the metrics based on either Kore User id or Channel User Id.

Channel-specific ids are shown only for the users who have interacted with the VA during the selected period.

Language The language in which the conversation occurred.

If it is a multi-lingual VA, you can select specific languages to filter the conversation that occurred in those languages. The page shows the conversations that occurred in all enabled languages by default.
Date & Time The date and time of the chat. You can sort the data by either Newest to Oldest or Oldest to Newest.

Intent Not Found

Intent Not Found includes all the user utterances that the platform is not able to identify with a dialog task or FAQ either due to invalid training, less training data or the intent unavailability in the virtual assistant.

See  the following table and Features section to know more.

Example of Intent Not Found: 

User: I want to know my account statement

VA: I’ m sorry, I did not recognize the value you have entered. Please select a value from the list.

In the above conversation, the VA does not recognize the user utterance of ‘knowing the account statement’. It could be due to invalid training, less training, or unavailability of intents in the virtual assistant.

Description of Intent Not Found Fields

The following table lists the fields on the Intent Not Found tab with descriptions:

Fields Description
Utterances The utterances that are not identified by the VA. The details on the tab are grouped by utterances based on the similarity, by default. To turn off grouping by utterance, click the Utterances header and disable the Group by Utterances option.
Traits All the traits that are identified for the listed utterances. The details on the tab can be grouped by traits. By default, the  Group by Traits option is turned off. To turn it on, click the Traits header and enable the Group by Traits option.

This information is available for data  generated after June 1, 2021.

UserID The UserID of the end user related to the conversation. You can view the metrics based on either Kore User id or Channel User Id.

Channel-specific ids are shown only for the users who have interacted with the VA during the selected period.

Language The language in which the conversation occurred.

If it is a multi-lingual VA, you can select specific languages to filter the conversation that occurred in those languages. The page shows the conversations that occurred in all enabled languages by default.
Date & Time The date and time of the chat. You can sort the data by either Newest to Oldest or Oldest to Newest.

Unhandled Utterances

The Unhandled Utterances help analyze  the unidentified inputs received from the users during a task execution at an entity node, message node, or confirmation node. These insights allow you to identify the need for additional training or new intents and enhance the existing NLU model of the VAs.

In an unhandled utterance, the following new fields are available:

  • Prompt Type – A prompt type could be either an Entity node, Message node, or a Confirmation node.
  • Node Name – Name of the node in which the utterance is not handled
  • Task Name – Name of the task in which the utterances are unidentified on an entity, message, or confirmation nodes.

  • Group by functionality is available for Utterances, Traits, Prompt Type, Task Name, and Node Name
Note: The unhandled utterances are available for all conversations with product version 9.3 or higher.

See the following table and Features section to know more..

Unhandled Utterance Examples

The following examples show the conversations between the VA and user, with unhandled utterances captured at Entity, Message, and Confirmation nodes.

At an Entity Node:

For example, when the user provides an invalid input at entity or confirmation nodes as follows:

User: I want my account statement

VA: Please enter your Customer Id

User: Where do I find it?

VA: Sorry, that is an incorrect input. Please enter your Customer Id

In the above conversation, if the VA doesn’t recognize “where to find customer id” as an intent or entity, then this utterance is  categorized under Unhandled Utterances.

At a Message Node:

For example, when the user provides an invalid input at a message node as follows:

User: I want to book a flight for today

VA: Enter the flight number
            User: 12434
            VA: Enter number of seats required
            User: 3
            VA: Your flight is booked. Would you like to:
                    1. Book a Hotel
                    2. Book a sightseeing tour
            User: I want to Cancel the Flight
            VA: I’m sorry, I don’t understand. Please enter again.

In the above conversation, if the VA doesn’t recognize the intent name “cancel flight” as an input at the message node. The intent identification fails and the utterance is categorized under Unhandled Utterances.

At Confirmation Node:

For example, when the user provides an invalid input at a confirmation node as follows:

VA: How may I help you

User: I want to book a flight

VA: Enter the number of seats

User: 2

VA: Please confirm if you want two seats

User: I want to hire a cab

VA: I cannot understand it, can you rephrase it

In the above conversation, when a user enters ‘I want to hire a cab’ at the confirmation node, it is not recognized and logged under Unhandled Utterances.

Description of Unhandled Utterances Fields

The following table lists the fields on the Unhandled Utterances tab with descriptions:

Fields Description
Utterances The unhandled utterances for which the inputs received are unidentified. The details in the tab are grouped by utterances based on the similarity, by default. To turn off grouping by utterance, click the Utterances header and disable the Group by Utterances option.
Traits All the traits that are identified for the listed utterances. The details in the tab can be grouped by traits. By default, the  Group by Traits option is turned off. To turn it on, click the Traits header and enable the Group by Traits option.

This information is available for analytics generated after June 1, 2021.

Prompt Type A prompt type could be either an Entity node, Message node, or a Confirmation node. To turn on grouping by Prompt Type, click the Prompt Type header and enable the Group by Prompt Type option.
Task Name The task that is identified for the user utterance. To turn on grouping by task name, click the Task Name header and enable the Group by Task option.
Node Name The name of the service or script or WebHook within the task that got executed in response to the user utterance. To turn on grouping by node names to which these scripts or services belong, click the Node Name header and turn on the Group by NodeName option.
UserID The UserID of the end user related to the conversation. You can view the metrics based on either Kore User id or Channel User Id.

Channel-specific ids are shown only for the users who have interacted with the VA during the selected period.

Language The language in which the conversation occurred.

If it is a multi-lingual VA, you can select specific languages to filter the conversation that occurred in those languages. The page shows the conversations that occurred in all enabled languages by default.
Date & Time The date and time of the chat. You can sort the data by either Newest to Oldest or Oldest to Newest.

Failed Task

In a scenario where all the user utterances are successfully mapped to an intent, but the task cannot be completed for some reason, then such utterances are listed under this tab. You can group them based on task and failure types to analyze and solve issues with the VA.

See the following table and Features section to know more.

Failed Task – Type of Issues

Different types of issues that occur during a Failed Task are listed as follows:

  • Task aborted by user
  • Alternate task initiated
  • Chat Interface refreshed
  • Human agent transfer
  • Authorization attempt failure – Max attempts reached
  • Incorrect entity failure – Max attempts reached
  • Script failure
  • Service failure
  • Inactivity or External Events (from ver8.0) – when the conversation session and as a result, the in-progress task is closed due to inactivity or external events.

Description of Failed Task Fields

The following table lists the fields on the Failed Task tab with descriptions:

Fields Description
Utterances The utterances that are successfully mapped to an intent, but still the task failed due to some issue. See Failed Task – Type of Issues for more details. The details in the tab are grouped by utterances based on the similarity, by default. To turn off grouping by utterance, click the Utterances header and turn off the Group by Utterances option.
Task Name The task that is identified for the user utterance. To turn on grouping by task name, click the Task Name header and enable the Group by Task option.
Failure Point Nodes or points in the task execution journey where the failure occurred resulting in the task cancellation or user drop. Click an entry to view the complete conversation for that session with markers to identify the intent detection utterance and the failure/drop-out point. Depending on the task type, clicking Failure Point shows more details.
Type of Issue Shows the reason for failure in case of Task Failure records.

To know the usual type of issues, see Failed Task – Type of Issues.

UserID The UserID of the end user related to the conversation. You can view the metrics based on either Kore User id or Channel User Id.

Channel-specific ids are shown only for the users who have interacted with the VA during the selected period.

Language The language in which the conversation occurred.

If it is a multi-lingual VA, you can select specific languages to filter the conversation that occurred in those languages. The page shows the conversations that occurred in all enabled languages by default.
Date & Time The date and time of the chat. You can sort the data by either Newest to Oldest or Oldest to Newest.

Performance

Developers can monitor all the scripts and API services across the VA’s tasks from a single window. The performance tab displays information related to the backend performance of the VA. The platform stores the following meta-information:

  • Node name, type, and task name
  • Total number of runs
  • Success %
  • The total number of calls with 200 responses and the total number of calls with a non-200 response. You can view the  actual response code from the details page that  opens when you click the service row
  • Average Response times
  • Appropriate alerts if a script or a service is failing consecutively

Description of Performance Fields

The following table lists the fields on the Performance tab with descriptions:

Fields Description
Node Name The name of the service or script or Webhook within the task that got executed in response to the user utterance. To turn on grouping by components to which these scripts or services belong, click the Node Name header and turn on the Group by NodeName option.
Type Shows whether it is a script or service or Webhook.

Webhook details are included from ver 7.0.

Task Name The task that is identified for the user utterance. To turn on grouping by task name, click the Task Name header and enable the Group by Task option.
Total Runs The total number of times within the date period that the script or service is run for any user utterances.
Success% The percentage of the service or script runs that got executed successfully.
2XX Responses The percentage of the service or script runs that returned a 2xx response.
Non 2XX Responses The percentage of the service or script runs that returned a non-2xx response.
Avg Response Time The average response time of the script or service in the total number of runs.

This can be sorted from High to Low or Low to High under the Performance tab.

Pinned

Any records from Identified and Unidentified Intents, Unhandled Utterances, or Failed Tasks tabs that are pinned are displayed in the Pinned tab. 

Description of Pinned Fields

The following table lists the fields on the Pinned tab with descriptions:

Fields Description
Utterances The pinned utterances are displayed here. The details in the tab are grouped by utterances based on the similarity, by default. To turn off grouping by utterance, click the Utterances header and disable the Group by Utterances option.
Intent The intent associated with the pinned utterance. The details in the tab can be grouped by Intents. By default, the  Group by Intent option is turned off. To turn it on, click the Intent header and enable the Group by Intent option.
Type of Issue Shows the reason for failure in case of Task Failure records.

To know the usual type of issues, see Failed Task – Type of Issues.

UserID The UserID of the end user related to the conversation. You can view the metrics based on either Kore User id or Channel User Id.

Channel-specific ids are shown only for the users who have interacted with the VA during the selected period.

Language The language in which the conversation occurred.

If it is a multi-lingual VA, you can select specific languages to filter the conversation that occurred in those languages. The page shows the conversations that occurred in all enabled languages by default.
Date & Time The date and time of the chat. You can sort the data by either Newest to Oldest or Oldest to Newest.

Debug Log

Any custom debug statements that you entered in the Script node using the script koreDebugger.log("<debug statement>")are displayed on this tab. Debug statements should be in a string format. See the following table to know more.

The logs include the user conversation from across all channels. You can use them for bot analysis especially in case of failures during user interaction.

The details include:

  • The actual statement that you have defined at the time of Bot definition.
  • Date and time of logging
  • Channel
  • User ID (along with channel-specific id)
  • Language of interaction
  • Task name if available

You can also view the details of the chat history associated with the session. To view more details, follow the below steps:

  1. Click a logged record.
  2. On the corresponding window, you can find the Details and Chat History tabs.
  3. Under the Details tab, you can find the task name, channel, language, and flow.
  4. Click the Chat History tab. You can find the chat transcript where the log is recorded.
    • If the debug log is generated from a VA message, you are navigated to that specific message in the chat transcript.
    • If the debug log is not part of the VA message, you are navigated to the latest message added before the debug statement.

For universal bots, the debug statements from the universal and linked bots are included in the logs. The debug logs also include the error messages related to BotKit, for example, when the platform could not reach the BotKit or when the BotKit did not acknowledge the message sent by the platform. The message includes details like the <endpoint>, <error code>, and <response time>.

Description of Debug Log Fields

The following table lists the fields on the Debug Log tab with descriptions:

Fields Description
Log Description of the debug log. For example, getIndex is not defined.
Task Name The task that is identified for the user utterance. To turn on grouping by task name, click the Task Name header and enable the Group by Task option.
Debug Point  The point or a node in the conversation where the error is identified. For example, buildDataForCarousel
Channel Specific channel where the conversation occurred.
Language The language in which the conversation occurred.

If it is a multi-lingual VA, you can select specific languages to filter the conversation that occurred in those languages. The page shows the conversations that occurred in all enabled languages by default.
UserID The UserID of the end user related to the conversation. You can view the metrics based on either Kore User id or Channel User Id.

Channel-specific ids are shown only for the users who have interacted with the VA during the selected period.

Date & Time The date and time of the chat. You can sort the data by either Newest to Oldest or Oldest to Newest.

Storage Limitations

The platform imposes restrictions on the number of log statements retained per VA. The limit is a combination of volume and period:

  • Only the latest 700 statements per VA are stored.
  • Statements older than 7 days are removed.

NLP Insights Analysis

The following sections describe more about the options available on the NLP Insights page.

Features

The following list details the features available in NLP Insights for Intent Found, Intent Not Found, Unhandled Utterances, and Failed Task.

  • You can filter the information based on various criteria such as User Utterances, Intent, user id (Kore user id or channel-specific unique id), date-period, the channel of use, language, etc. You can also filter records based on multiple custom tags. See Filter Criteria to know more.
  • Complete meta information is stored for later analysis, including the original user utterance, the channel of communication, entities extracted (if any), custom tags applied, detailed NLP analysis with scores returned from each engine, and the ranking and resolver scores.
  • Ability to view the chat transcript to the point of the user utterance. This also gives the option to view the user profile and the details for that user’s conversation sessions.
  • You have an option to train the utterance.  The utterance will be marked once trained.
  • Any important record you want to mark, track later, or both can be pinned. They l appear on  the Pinned tab.
  • Sorting feature is available for Date and Time (Oldest to Newest, Newest to Oldest). You can export the insights data as a CSV file.

Note: The NLP Insights page shows the conversations from the last 24 hours by default. You can filter the insights for a selected period – use the Date drop-down to select 24 hours, last 7 days, or a custom period.

Fields Matrix

The following matrix shows the availability of fields on each tab of NLP Insights:

Fields Intent Found Intent Not Found Unhandled Utterances Failed Tasks Performance Pinned Debug Log
Utterances X X
Intent X X X X X
Traits X X X X
UserID X
Language X
Date & Time X
Prompt Type X X X X X X
Task Name X X X
Node Name X X X X X
Failure Point X X X X X X
Type of Issue X X X X X
Type X X X X X X
Total Runs X X X X X X
Success% X X X X X X
2XX Responses X X X X X X
Non 2XX Responses X X X X X X
Avg Response Time X X X X X X
Log X X X X X X
Debug Point X X X X X X
Channel X X X X X X

Filter Criteria

You can filter the information on the Insights page using various filters. You can save the entered filter criteria and set it as the default filter using Save as Default Filter.

The filter criteria differ slightly between different tabs. The relevant filters are applied when you switch between the tabs on the Insights Page. See Dashboard Filter Criteria to know more details.

Detailed View

For all the user utterances listed on  the various tabs such as Intent Found, Intent Not Found, Unhandled Utterances, etc., you can open more details of the user session by clicking the respective record. The record shows the information on the following sub-tabs: Details, NLP Analysis, and Chat History.

Details

The Details tab shows the basic details of the session along with a JSON file that includes the NLP analysis for the conversation.

NLP Analysis

This tab provides a visual representation of the NLP analysis, including intent scoring and selection.  See Testing and Training a Bot and Ranking and Resolver for more information.

Chat history

On the Chat History tab, you can access the exact message or conversation for which the record is logged. It shows the entire chat history of the user session.

Chat History provides visibility into the user information by capturing the following details:

  • User Profile: Provides a 360-degree view of the user and their usage metrics.
  • User Conversation Sessions: Lists all the sessions of the user in the given period with the selected utterance section expanded.
  • Go to Selected Utterance: When you click this icon, the selected utterance is highlighted in orange (see the preceding screenshot).

The following user information details are displayed on the Chat History tab:

Functionality Attribute Description
User Profile Kore User ID User id assigned by the platform
Channel Data Data received from the channel, that is the information available in the User Context.
User Meta Tags The total number of meta tags associated with the user and key-value pairs for the most recent ones.
Latest Interaction Last time the user interacted with the VA.
Total Conversation Sessions The total number of interactive and non-interactive sessions registered by the user from the beginning of time.
Total Conversation Sessions in the Last 30 Days The total number of interactive and non-interactive sessions registered by the user in the last 30 days.
*The next few attributes are not displayed if there is no interaction by the user in the last 30 days
Last 30 Days’ Intent Detection Rate (Total identified intents / (Total identified intents + unidentified utterances)) * 100 for the utterances over the last 30 days
Intents Requested Total identified intents + unidentified utterances
Intents Identified Total intents identified
Last 30 Days Goal Completion Rate (Tasks success tasks / (Total success tasks + total failed tasks) ) * 100 for the tasks over the last 30 days
Tasks Initiated Total success tasks + total failed tasks
Tasks Completed Tasks successfully completed
Recent Conversation Flows Top 10 popular conversation flows executed by the user in the last 30 days. Popular flows are determined by the number of instances, for which the conversation flow is executed.
User Conversation Sessions Session Attributes
Session Start Session start date and time.
Session End Session end date and time.
Channel Channel in which the session is initiated.
Agent Transfer Tag The session where the user is transferred to an agent. Sessions should be considered even if the user returns to the VA.
Drop Off Tag The session where the user dropped off.
Total Success Tasks Count of tasks successfully completed in the session.
Total Failed Tasks Count of tasks failed in the session.
Intents Identified Count of intents successfully identified in the session.
Intents Unidentified Count of intents unidentified in the session and list of unidentified intents.
Conversation Path The series of tasks initiated by the user in the session.
Session Meta Tags Count of the session meta tags used with the details of the most recent custom meta tags displayed.
Conversation Transcript
Message Meta Tags The chat transcript is annotated with message tags for messages with meta-tags associated with them.
Agent Transfer Indicates the point of agent transfer at the last message before transfer.
Drop Off Indicate the point of drop off at the last message before dropping off.

Advanced Performance Details

Clicking a service or script or WebHook name opens the advanced details dialog for the service, which lists each instance of its run along with separate tabs for successful and failed runs. Analyzing the average response time of different runs gives you insights into any aberrations in the service or script execution. Click any row to open the JSON response associated with the service or script run.

Train the Bot

You can train the specific intents and utterances from the Intent Found, Intent Not Found, and Unhandled Utterances tabs. To do so, hover over a row in any of these tabs, and click the Train icon. It opens the Test & Train page, where you can train the bot. For more information, see  Testing and Training a Bot.

Data Export

You can export the data present on the NLP Insights page to a CSV file, by clicking the Export icon on the top right corner of the page.

Once you click the icon, the export process starts, and you can see the progress in the Status Tracker dock. The export file is downloaded to your local Downloads folder. The downloaded file has the information specific to the selected tab and the detailed analysis based on the selected filters.

These records also include the Meta Tag information.