KARTE CraftでKARTEの接客ステータス変更時にSlack通知をする

<html><head></head><body>どうも、 Customer Engineer の池上です。
本日7月12日の 朝9:00に、Craft AI Modules というCraftの新機能が発表されました。本日開催の KARTE CX Conference 2023 でも、<a href="https://event.plaid.co.jp/karte_cxc/2023?sessionId=7" target="_blank" rel="noreferrer">Microsoftさんとの共同セッション</a> で当機能について僕が話しています。
さて、 ChatGPT の登場以来、国内でもAIモデルを事業に活用する動きが高まっています。今回発表された Craft AI Modules は、 KARTE から GPT などのAIモデルを安全に利用するためのモジュールです。 Craft AI Modules を使うと、 KARTE や Craft ですでに実現している施策にAIモデルによる文章生成を活用した機能を簡単に組み込むことができます。
Craft AI Modules は、現時点では Azure OpenAI Service を経由してAIモデルにアクセスします。AIモデルの活用に当たってはセキュリティ上の問題がネックになりがちです。しかし、 Azure OpenAI Service では入力に使ったデータがモデルの再学習に使用されないなど、 エンタープライズ基準のセキュリティ が担保されます。そのため、たとえばエンドユーザーが送信したテキストを入力に使うようなAI利用施策についても、 Craft AI Modules で安全に実現することができます。
今回はCraft AI Modulesを使ったソリューションの一例として、 「エンドユーザーから送信されたチャットメッセージを自動要約する機能」 の実装手順を紹介します。
<img width="300" src="https://ik.imagekit.io/plaid/3870afdd-92e2-4166-8252-76b290957fd8/スクリーンショット2023-07-0910.11.15.png">
（※ Craft AI Modules の正式リリース時には仕様が変更になる可能性があります。）
<h1 id="処理の流れ">処理の流れ</h1>
全体の処理の流れは、次の通りです。
<img src="https://ik.imagekit.io/plaid/86920000-b5ea-4907-a90a-2db8910f69b0/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-07-0818.06.20.png" alt="スクリーンショット2023-07-0818.06.20.png">
KARTEのトーク機能では、もともと次のことが実現できます。
<ul>
<li>Webサイト上でエンドユーザーにチャットUIを表示し、 管理画面上でオペレーターがエンドユーザーとチャットのやりとりができる</li>
<li>オペレーター向け管理画面に、 オペレーターにしか見えない「ノート」 を投稿できる</li>
</ul>
これを利用し、エンドユーザーが入力したメッセージの要約文をノートに自動投稿するAI Botを実装します。
Craft Functionsとトーク機能との連携では、次の3つの機能を利用します。
<ul>
<li><a href="https://developers.karte.io/reference/message-hook-v2" target="_blank" rel="noreferrer">Hook v2 の Message Hook</a>
<ul>
<li>エンドユーザーからのチャットメッセージをリアルタイムに外部に連携する</li>
</ul>
</li>
<li><a href="https://craft.developers.karte.io/craft-functions/triggers/hook-v2" target="_blank" rel="noreferrer">Craft Hook v2 トリガー</a>
<ul>
<li>Hook v2 起動時に Craft Functions を実行する</li>
</ul>
</li>
<li><a href="https://developers.karte.io/reference/post_v2beta-talk-note-send" target="_blank" rel="noreferrer">API v2 の Send note message API</a>
<ul>
<li>API経由でトーク管理画面画面に「ノート」を投稿する</li>
</ul>
</li>
</ul>
<h1 id="実装手順">実装手順</h1>
実装の手順は次の通りです。
<ol>
<li>チャットUIを配信する</li>
<li>API v2 アプリを作成する</li>
<li>API v2 アプリのアクセストークンを Craft Secret Manager に登録する</li>
<li>Craft Functions を作成する</li>
<li>Craft Hook v2 トリガーを設定する</li>
<li>動作検証する</li>
</ol>
順番に見てみましょう。
<h2 id="1. チャットUIを配信する">1. チャットUIを配信する</h2>
まずエンドユーザーからチャットメッセージを受け付けるためのチャットUIをWebサイトに配信します。
<ul>
<li>接客サービスを新規作成する</li>
<li>「チャットアイコン」テンプレートからアクションを作成する</li>
<li>適切な配信設定をする</li>
</ul>
<img src="https://ik.imagekit.io/plaid/96cef770-3426-4755-97a3-b0c70a7ed1b0/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-07-0819.07.17.png" alt="スクリーンショット2023-07-0819.07.17.png">
接客サービスの配信はKARTEの一般的な機能なので、詳細手順は割愛します。 
これでWebサイトにチャットをするためのUIが表示されるようになります。
<img src="https://ik.imagekit.io/plaid/c7f01f84-9200-429a-8ac2-66bf802cbe83/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-07-099.52.53.png" alt="スクリーンショット2023-07-099.52.53.png">
<h2 id="2. API v2 アプリを作成する">2. API v2 アプリを作成する</h2>
Craft AI Modules や Send note message API を利用するためのAPI v2アプリを作成します。
<img src="https://ik.imagekit.io/plaid/79b16d1c-c014-441d-951c-164bdbef0258/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-07-0819.18.25_.png" alt="スクリーンショット2023-07-0819.18.25_.png">
<ul>
<li>[ストア &gt; API v2設定] からアプリを新規作成します</li>
<li>[アプリタイプ] を <code>craft</code> に設定します。</li>
<li>必要なscopeを追加します
<ul>
<li><code>alpha.craft.openai.chat.completions</code>: Craft AI Modules で利用</li>
<li><code>talk.message.get</code>: Message Hook に必要</li>
<li><code>beta.talk.note.send</code>: Send note message API に必要</li>
</ul>
</li>
<li>アプリを保存し、一度だけ表示されるアクセストークンを控えておきます</li>
</ul>
ここで重要なのは、アプリタイプを <code>craft</code> にして作成することです。Craft AI Modules は、Craftからしか利用できません。利用元がCraftに限定された機能にアクセスする場合には、アプリタイプを <code>craft</code> に設定した API v2 アプリを利用します。
<h2 id="3. API v2 アプリのアクセストークンを Craft Secret Manager に登録する">3. API v2 アプリのアクセストークンを Craft Secret Manager に登録する</h2>
API v2 アプリのアクセストークンを Craft Secret Manager のシークレットとして登録します。それにより、秘匿すべきアクセストークンをファンクション上に直接記述する必要が無くなります。
<img src="https://ik.imagekit.io/plaid/61a4b568-e0ec-4e12-a843-fe3e3b09f7fd/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-07-0910.33.39.png" alt="スクリーンショット2023-07-0910.33.39.png">
<ul>
<li>[Craft &gt; シークレット] からシークレットを新規作成します</li>
<li>控えておいたアクセストークンを貼り付けて、適当な名前を付けて保存します</li>
</ul>
作成したシークレットの名前は、次に作成するCraft Functionsのファンクション中に記載します。
<h2 id="4. Craft Functions を作成する">4. Craft Functions を作成する</h2>
AI Botの実装となる Craft Functions のファンクションを作成します。 
サンプルとなるソースコードは、GitHubで公開しています。
<a href="https://github.com/plaidev/craft-codes/tree/main/craft-functions/chat-auto-summary" target="_blank" rel="noreferrer">craft-codes/craft-functions/chat-auto-summary at main · plaidev/craft-codes · GitHub</a>
実装内容は、次のようにとてもシンプルです。
<ol>
<li>Hook v2経由でエンドユーザーのチャットメッセージ内容を受け取る</li>
<li>そのメッセージ内容をプロンプトに含めてAIモデルが生成した要約文を取得する</li>
<li>得られた要約文を Send note message API 経由でノートとして送信する</li>
</ol>
特にCraft AI Modules で文章生成するには、次の2つを指定します。
<ul>
<li>利用するモデルの名前</li>
<li>モデルに入力するプロンプト文</li>
</ul>
プロンプト文については、サンプルコードでは次のように指定しています。
<pre><code class="language-js hljs">const prompt = `次の文章の要点を3点抽出し、それを箇条書きでまとめてください。 "${text}"`;
</code></pre>
プロンプト文については用途に合わせて自由に調整することができます。色々と試した結果、単に「要約してください」と伝えるよりも要点の数を指定して箇条書きでまとめてもらった方が読みやすい要約になりました。
サンプルコードの内容で [Craft &gt; ファンクション] からファンクションを新規作成し、定数を入力した上で保存してください。
<img src="https://ik.imagekit.io/plaid/d976f3ea-20de-4011-9534-c83b5e57eed4/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-07-0910.34.44.png" alt="スクリーンショット2023-07-0910.34.44.png">
<h3 id="アプリタイプが craft である API v2 アプリの利用方法">アプリタイプが craft である API v2 アプリの利用方法</h3>
コードに関する細かい点として、アプリタイプが <code>craft</code> である API v2 アプリの利用方法には注意が必要です。
通常、 Craft Functions から KARTE の API を実行する場合は、 <code>api</code> モジュールを利用して次のように行います。
<pre><code class="language-js hljs">import api from 'api';

export default async function (data, { MODULES }) {
 const sdk = api('@dev-karte/v1.0#xxxxxxxxxxxx');
 talk.auth(TOKEN);
 sdk.postV2betaTalkNoteSend({
 content: {text: 'Hello, World!'},
 sender: {id: 'sender0', is_bot: true},
 user_id: 'user0'
 });
}
</code></pre>
しかし、アプリタイプが <code>craft</code> の場合、Craft経由のAPI実行であることを示すために<code>karteApiClientForCraftTypeApp</code> モジュールを利用する必要があります。
<pre><code class="language-js hljs">export default async function (data, { MODULES }) {
 const { karteApiClientForCraftTypeApp } = MODULES;
 const sdk = karteApiClientForCraftTypeApp({
 token: TOKEN,
 specUri:'@dev-karte/v1.0#xxxxxxxxxx',
 });
 sdk.postV2betaTalkNoteSend({
 content: {text: 'Hello, World!'},
 sender: {id: 'sender0', is_bot: true},
 user_id: 'user0'
 });
}
</code></pre>
Craft AI Modules 以外のAPIを利用する場合も、アプリタイプが <code>craft</code> であるアプリを使う場合はこの制約を受けます。
<h2 id="5. Craft Hook v2 トリガーを設定する">5. Craft Hook v2 トリガーを設定する</h2>
最後にエンドユーザーからメッセージが送られる度にファンクションが実行されるように Hook v2 の設定をします。 Hook v2 の設定は API v2 アプリ上で行います。
<img src="https://ik.imagekit.io/plaid/991d1d2e-619e-43be-b469-def12eea780a/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-07-099.49.45.png" alt="スクリーンショット2023-07-099.49.45.png">
<ul>
<li>「2. API v2 アプリを作成する」で作成したアプリの設定画面を開きます</li>
<li>[トリガー設定] に <code>KARTE Talk: ユーザーからのメッセージ送信時</code> を指定します</li>
<li>[チャネル設定 &gt; Craft] を有効化し、先ほど作成したファンクション名を入力します</li>
</ul>
これで、エンドユーザーからの全てのチャットメッセージ送信時に先ほど作成したファンクションが実行され、AI Botが機能するようになりました。
<h2 id="5. 動作検証する">5. 動作検証する</h2>
いよいよ動作検証です。 
Webサイトに表示されたチャットUIから、エンドユーザーとして長文のチャットを送信してみましょう。
問題が無ければ、トーク画面に AI Bot が要約した結果が自動投稿されます。
<img width="300" src="https://ik.imagekit.io/plaid/3870afdd-92e2-4166-8252-76b290957fd8/スクリーンショット2023-07-0910.11.15.png">
なお、全てのチャットメッセージに対して要約文が投稿されると、オペレーター向けの画面が見づらくなってしまいます。たとえば「こんにちは」というメッセージを箇条書きで要約させると、むしろ深読みした冗長な文章が生成されました。
<img width="300" src="https://ik.imagekit.io/plaid/f1302f8c-e24d-4ccb-977f-62cc124248a6/スクリーンショット2023-07-0910.07.37.png">
そこでサンプルコードでは、一定文字数未満のチャットメッセージは無視するように工夫されています。
<h1 id="Craft AI Modules の可能性">Craft AI Modules の可能性</h1>
今回は Craft AI Modules の活用例として、チャットオペレーターの業務を AIモデル の力で少し楽にする機能の実装方法を紹介しました。
見て分かる通り、KARTE と Craft AI Modules を活用するとAIモデルを活用した強力な施策を簡単に実装することができます。特に次のような「自然言語による入力がある場面」や「人間による解釈が必要な場面」では、活用余地が大きいです。
<ul>
<li>チャットメッセージ を要約する or 返信文を考える or 分類する</li>
<li>アンケート の自由入力欄を要約する or 分類する</li>
<li>データの集計結果 を解釈する</li>
</ul>
Craft AI Modules はまだ closed β 機能ですが、 専用のサービスサイトから「ウェイトリスト登録」を受け付けています 。気になる方は、いち早く Craft AI Modules を触って是非 新しいAI活用ソリューション開発基盤を体験してみてください！
Craft AI Modulesサービスサイト: 
<a href="https://ecosystem.plaid.co.jp/product/karte-craft/ai-modules" target="_blank" rel="noreferrer">https://ecosystem.plaid.co.jp/product/karte-craft/ai-modules</a>
</body></html>

Craft AI Modules は、 KARTE から GPT などのAIモデルを安全に利用するためのモジュールです。今回は一例として、「エンドユーザーから送信されたチャットメッセージを自動要約する機能」の実装手順を紹介します。

チャットメッセージを要約する AI Bot を Craft AI Modules で実装する