マルチメディアインテントガイド

ユーザーがテキストではなく、マルチメディアを送信した場合に、外部の分析APIでマルチメディアを提供して分析された結果に基づく回答を応答することができます。現在は、画像のテントのみをサポートしており、LINEメッセンジャーチャンネルでスムーズに動作します。

最近OCR技術を活用したサービスが増えてきています。マルチメディア(画像)インテントを活用する事例は、OCRが代表的です。ネイバークラウドプラットフォームでもCLOVA OCRサービスを提供しており、CLOVA ChatbotサービスでOCRサービスを連動する機能をマルチメディアインテントを介してサポートします。もしネイバークラウドプラットフォームのOCR商品を一緒に使用している場合は、 CLOVA OCRと連動するボタンをクリックして、簡単に連動しましょう。

LINEメッセンジャーチャンネルでは、既存のイメージを処理することができる仕様とPushスペックを提供しています。 LINEメッセンジャーは、この二つの機能を提供しておりチェトボトは、マルチメディアの入力を受け、OCRにインテントを確認した後、特定の情報などをチェトボトに質問に再投げすることができます。

しかし、LINEメッセンジャー以外のプラットフォームでその機能を使用すると、画像解析まで可能かチェトボトの回答応答はサポートしていません。つまり、各チャンネルの特性により、一方向にのみマルチメディアインテントを認識して連動することができるなどの制約があります。

イメージインテント連動する

①チェトボト設定のマルチメディアインテント]タブをクリックした後、画像インテントの連動ボタンをクリックします。

chatbot-2-13-01.png

②画像を認証することができるAPI URLとSecret keyを入力します。

chatbot-2-13-02.png

  • ユーザーが画像を送信すると、入力されたAPI URLに画像を転送します。

  • 画像を提供するためのフォームは、次のとおりです。

    • LINEメッセンジャーである場合
    {
     "domainCode": "ai.company.v6",
     "userId": "U77c8fe9743a0af83d4dbd57dc2f39e8a",
     "platform": "line",
     "query": "",
     "multimediaLine": {
       "contentId": 11096934827632,
       "typ": "image"
     }
    }
    
タイプ 必須 説明 備考
multimediaLine Object N 画像などcontent id情報を渡す必要があるときに使用します
multimediaLine.contentId Long Y そのcontentのidです。
multimediaLine.typ String Y このcontentがどのタイプなのかを明示します。現在はimageのみ可能です
  • Customチャンネルである場合 (Push機能を活用していますので、LINEメッセンジャー以外のプラットフォームでその機能を使用すると、画像解析まで可能かチェトボトの回答応答はサポートしていません。)

    {
    "domainCode": "ai.company.v6",
    "userId": "U77c8fe9743a0af83d4dbd57dc2f39e8a",
    "platform": "custom",
    "query": "",
    "multimedia": {
    "data": "",
    "typ": "",
    "extension": ""
    }
    }
    
タイプ 必須 説明 備考
multimedia Object N 画像などのマルチメディアを渡す必要があるときに使用します
multimedia.data String Y そのマルチメディアのデータです。そのデータは、base64 encodingている必要があります
multimedia.typ String Y このマルチメディアの種類を表記します。現在はimageのみ可能です
multimedia.extension String Y このマルチメディアのファイル拡張子を入力します。jpeg、pngなどが来ることができます
  • 画像解析を完了した後、チェトボトに戻って応答ヘジュオヤフォームは次のとおりです。

    • このうちmatchedTemplateのnameをチェトボトに質問に戻って投げます。
      {
      "matchedTemplate": {
      "name": "분석된 템플릿 이름",
      }
      }
      

③もしOCR商品を一緒に使用している場合は、 CLOVA OCRと連動するボタンをクリックして、簡単に連動しましょう。

chatbot-2-13-03.png

  • ただし、OCRテンプレートドメインのみをサポートします。

④マルチメディアインテントに活用ダイアログボックスを生成します。 chatbot-2-13-04.png

  • CLOVA OCRで分析したテンプレート名を再チェトボトに質問に投げます。
  • CLOVA OCRでのテンプレート名を質問したダイアログボックスを生成します。

に対する検索結果は~件です。 ""

    に対する検索結果がありません。 ""

    処理中...