統計管理
チャットボットサービスを利用する実際のユーザーの利用方式が、対話作成過程で予想した発話タイプと異なることがあります。なお、モデリングの際に、全てのユーザーの発話パターンを代弁できているとは言えないため、統計データ及び流入するユーザーの発話記録に関する分析が肝心です。NAVERクラウドプラットフォームでは、継続的にモデルを改善し続けることができるように、様々な分析指標をご提供します。
NAVERクラウドプラットフォームのコンソルでは、ドメイン管理及び統計機能を提供します。
ドメイン
作成されたドメインの基本情報を提供します。
マネージメント
ドメイン別のユーザー及びユーザーの対話に対し、次のような統計データを提供します。
- 実際にサービスが行われるドメインの実ユーザー数、メッセージ件数、セッション件数及び増減率
- 時間あたりの平均及び時間あたりの最大ユーザー数、メッセージ件数、セッション件数に関する情報
- 平均実ユーザー数と対話のセッション別の平均メッセージ件数に関する情報
- チャットボットサービスの対話モデルのビルド数及びサービス配布数
- チャットボットの実ユーザー数の増減情報を提供します。
- 1日基準で照会する際、時間帯別に実ユーザー数に関する情報を確認することができます。
- 週別、月別の実ユーザー数の推移情報を提供します。
- ユーザーのメッセージ件数の増減情報を提供します。
- 1日基準で照会する際、時間帯別のメッセージ件数を確認することができます。
- 週別、月別のメッセージ件数の推移情報を提供します。
- チャットボットの対話セッション件数の増減情報を提供します。
- 1日基準で照会する際、時間帯別の全てのセッション件数を確認することができます。
- 週別、月別の対話セッション件数の推移情報を提供します。
- セッションあたりのユーザーの平均メッセージ件数に関する情報も確認することができます。
ドメイン管理者の対話モデルのビルド数及びサービス配布数に関する情報を提供します。
1日基準で照会する際、時間帯別のビルド数及びビルド失敗数に関する情報を確認することができます。
週別、月別の対話モデルのビルド数及びサービス配布数に関する情報を提供します。
統合指標
- チャットボットのユーザー及びユーザーの対話に対し、次のような統計データを提供し、直近反映されたデータ時刻を表示します。
- チャットボットサービスの実ユーザー数、ユーザーのメッセージ件数、対話のセッション件数及び増減率、失敗対話数、一般メッセージ件数、単一応答件数、類似応答件数、お客様センター連携件数、サービス連携(LINE pay、NAVER pay、知識検索サービス)件数など
- 平均実ユーザー数及び対話のセッション別の平均メッセージ件数に関する情報及び推移
順位の指標
- チャットボットのユーザー対話に対し、次のような順位データを提供し、直近反映されたデータ時刻を表示します。
- 特定の期間の間に最も多く応答された対話名、対話タイプ、エンティティの順位
運用の指標
- 失敗対話と不満足な対話の再学習に対し、次のような統計データを提供し、直近反映されたデータ時刻を表示します。
- 失敗対話(不満足な対話)件数、修正件数、検討保留件数、検討外件数、検討総件数
フィードバック指標
- フィードバックに関する対話に対し、次のような統計データを提供し、直近反映されたデータ時刻を表示します。
- YES/NOフィードバックの割合、フィードバックの満足率/応答率、全フィードバック件数、対話名別のフィードバック件数
- 韓国語ドメインでは、ユーザーの質問に含まれた感情を肯定的、否定的、中立的に分析した感情分析データを提供します。データをクリックすると、各感情に分類された質問を確認することができます。
