ユーザーがwebで閲覧した商品情報をメールに含めてKARTE Messageで配信してみた

<html><head></head><body>こんにちは、Customer Engineerの村上です！ 
最近自転車通勤をしようかとe-bikeを物色中なので、お勧めがあれば教えてほしいです！
さて、KARTE Datahubでは様々なデータを管理することが出来ますが、データ監視の目的で「一定の基準を満たした時に通知を飛ばしたい」と思ったことはないでしょうか？
例えば次のようなケースです。
<ul>
<li>一定期間のKARTEイベント数に急激な変化があった場合、イベント設定を見直したいから通知を取得したい</li>
</ul>
今回は、KARTE DatahubにあるKARTEのイベントデータを集計して、閾値に達した場合にSlackへ通知を送る方法について紹介します。
以下のようなメッセージが、閾値を超えるイベント数が計測された時にSlackに届くようになります。 
<img src="https://ik.imagekit.io/plaid/682fc76d-8830-448e-be38-19389603519e/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-10-2710.09.48.png" alt="スクリーンショット2023-10-2710.09.48.png">
<h1 id="全体像">全体像</h1>
実現する処理の全体像は、次の通りです。 
DatahubのJobflowからクエリを実行して、実行結果をCraft Functionに渡して、Slack APIにリクエストして通知を送るというシンプルなものです。 
<img src="https://ik.imagekit.io/plaid/6d488dae-17d4-4271-8770-780113774d1f/PLAIDSolution%E6%A7%8B%E6%88%90%E5%9B%B3-KARTE%E3%81%AE%E3%82%A4%E3%83%98%E3%82%99%E3%83%B3%E3%83%88%E6%95%B0%E3%81%AE%E5%A4%89%E5%8C%96%E3%81%AB%E5%BF%9C%E3%81%97%E3%82%99%E3%81%A6Slack%E3%81%AB%E9%80%9A%E7%9F%A5%E3%82%92%E9%80%81%E3%82%8B.jpg" alt="PLAIDSolution構成図-KARTEのイベント数の変化に応じてSlackに通知を送る.jpg">
<h1 id="実装手順">実装手順</h1>
実装の手順は次の通りです。
<ol>
<li>Slack アプリを作成する</li>
<li>Slack アプリをチャンネルに追加する</li>
<li>Slack アプリの OAuth トークンを Craft Secret Manager に登録する</li>
<li>Slack通知をしたいデータを取得できるSQLをDatahubクエリで書く</li>
<li>Slack通知を行うCraft Functionsを作成する</li>
<li>SQLの結果をCraft Functionsに渡すJobflowを作成する</li>
</ol>
順番に説明します。
まず、手順1〜3は以前に投稿した記事、 
「<a href="https://solution.plaid.co.jp/202307-hookv2-slack-integration">KARTE CraftでKARTEの接客ステータス変更時にSlack通知をする</a>」 
の同見出しの手順と全く同じです。こちらを実施した前提で手順4から説明します。 
（今回は API v2 アプリを使用しないため、以前に投稿した記事にある「3. API v2 アプリを作成する」の手順は実施しなくて大丈夫です。）
<h2 id="4. Slack通知をしたいデータを取得できるSQLをDatahubクエリで書く">4. Slack通知をしたいデータを取得できるSQLをDatahubクエリで書く</h2>
<a href="https://developers.karte.io/docs/execute-datahub-query" target="_blank" rel="noreferrer">Datahubクエリ</a>を作成し、Slackに通知したい情報を集計します。
今回は、karte_eventデータテーブルで集計されるevent_name毎のレコード数が、前々日と前日比で閾値を超えるデータを抽出するためのクエリを1つ作成します。 
このクエリの結果がSlack通知の元となります。
SQLエディタ：
<pre><code class="hljs">WITH event_data AS (
 SELECT 
 * 
 , FORMAT_TIMESTAMP('%Y-%m-%d', Sync_date) AS date
 FROM {% karte_event param_period[0], param_period[1] %}
), events_yesterday AS (
 SELECT 
 user_id
 , sync_date
 , event_name
 , JSON_EXTRACT(values, "$.view.access.uri.path") AS path
 , session_id
 , date
 FROM event_data
 WHERE date = FORMAT_TIMESTAMP('%Y-%m-%d', DATE_ADD(CURRENT_TIMESTAMP(), INTERVAL - 1 DAY))
), events_yesterday_cnt AS (
 SELECT
 MAX(date) AS date
 , event_name
 , COUNT(event_name) AS cnt
 FROM events_yesterday
 GROUP BY event_name
), events_day_before_yesterday AS (
 SELECT 
 user_id
 , sync_date
 , event_name
 , JSON_EXTRACT(values, "$.view.access.uri.path") AS path
 , session_id
 , date
 FROM event_data
 WHERE date = FORMAT_TIMESTAMP('%Y-%m-%d', DATE_ADD(CURRENT_TIMESTAMP(), INTERVAL - 2 DAY))
), events_day_before_yesterday_cnt AS (
 SELECT
 MAX(date) AS date
 , event_name
 , COUNT(event_name) AS cnt
 FROM events_day_before_yesterday
 GROUP BY event_name
), compare_events_cnt_log AS (
 SELECT
 eyc.event_name
 , edbyc.cnt AS base_cnt
 , eyc.cnt AS new_cnt
 , ROUND(eyc.cnt / NULLIF(edbyc.cnt,0) * 100,2) AS rate_of_change
 , eyc.cnt - edbyc.cnt AS comparison_cnt
 FROM events_yesterday_cnt AS eyc
 LEFT JOIN events_day_before_yesterday_cnt AS edbyc ON eyc.event_name = edbyc.event_name
 WHERE eyc.cnt - edbyc.cnt &gt; {{param_num}} OR eyc.cnt - edbyc.cnt &lt; -{{param_num}}
 AND ROUND(eyc.cnt / NULLIF(edbyc.cnt,0) * 100,2) IS NOT NULL
)
SELECT
 *
FROM compare_events_cnt_log
ORDER BY rate_of_change DESC
</code></pre>
パラメータエディタ：
<pre><code class="hljs">param_period:
 type: period
 label: 期間型パラメータ
 default:
 - 20220101
 - 20221110
 value: past 3 days
param_num:
 type: number
 label: 数値パラメータ
 default: 10000
 value: 10000
</code></pre>
今回のクエリでは前日分と前々日分のデータ比較なので中間テーブルを使いませんでしたが、複数の施策で使い回す場合やより長期のデータを参照したい場合は中間テーブルを作ることでクエリリソース消費量の節約になります。
<h2 id="5. Slack通知を行うCraft Functionsを作成する">5. Slack通知を行うCraft Functionsを作成する</h2>
次に、実行したクエリ結果をSlackに通知するCraft Functionsを作ります。次のコードを利用して、Craft Functionsを新規作成します。
<a href="https://github.com/plaidev/craft-codes/tree/a50bfa9bc51bad26c844343302d225a69d369ebc/craft-functions/event-notification-to-slack" target="_blank" rel="noreferrer">craft-functions/event-notification-to-slack</a>
実際に利用する際にはCraft コード内で利用している以下3つの変数を環境に合わせて修正してください。
<ul>
<li>「KARTE_PROJECT_ID」は、KARTE の管理画面URLの project= 以降の部分（https://admin.karte.io/craft/functions?project=<code>XXXXXXXXXXXXXXXX</code>）</li>
<li>「SLACK_CHANNEL_ID」は、「1. Slack アプリを作成する」で控えておいたチャンネルID</li>
<li>「SLACK_TOKEN_SECRET」は、「3. Slack アプリの OAuth トークンを Craft Secret Manager に登録する」で作成したシークレット名</li>
</ul>
また、サンプルコードにあるSlackのメッセージ内容は以下で定義しているものです。クエリの出力内容と合わせて、適宜通知したいメッセージに修正いただくことが可能です。
<pre><code class="hljs">// chat.postMessageのパラメータを設定
 const splitData = value.split(',');
 const eventname = splitData[0];
 const event_cnt_daybefore = splitData[1];
 const event_cnt_yesterday = splitData[2];
 const event_cnt_rate_of_change = splitData[3];

 let msg = `イベント数の急激な変化をキャッチしました。\n`;
 msg += `イベント名：${eventname}\n`;
 msg += `一昨日のイベント数：${event_cnt_daybefore}\n`;
 msg += `昨日のイベント数：${event_cnt_yesterday}\n`;
 msg += `イベントの増減率：${event_cnt_rate_of_change}%\n`;
 msg += `イベントURL： https://admin.karte.io/p/${KARTE_PROJECT_ID}/event_settings/each/${eventname}`;
</code></pre>
現在の設定だと、以下のようなSlackメッセージが届きます。
<pre><code class="hljs">イベント数の急激な変化をキャッチしました。
イベント名：view_item
一昨日のイベント数：177
昨日のイベント数：327
イベントの増減率：184.75%
イベントURL： https://admin.karte.io/p/[project_id]/event_settings/each/view_item
</code></pre>
<h2 id="6. SQLの結果をCraft Functionsに渡すJobflowを作成する">6. SQLの結果をCraft Functionsに渡すJobflowを作成する</h2>
最後に、作成したSQLとCraft Functionsを繋ぐJobflowを作成します。Jobflowを下記の内容で新規作成してください。
<ul>
<li>エクスポート元：作成したクエリ</li>
<li>エクスポート先：外部サービス</li>
<li>接続先：Craft</li>
<li>function名：作成したCraft Functions</li>
<li>行ごとにqueue をpublishする：チェックを入れる 
<img src="https://ik.imagekit.io/plaid/92bdc7a5-55fc-4616-a1ad-e27fbf5b1fe3/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-10-2710.13.43.png" alt="スクリーンショット2023-10-2710.13.43.png"></li>
</ul>
また、イベント数の変化があった時に通知を受けられるように、日次でジョブ実行されるようにスケジュールを設定することをお勧めします。 
<img src="https://ik.imagekit.io/plaid/ea869499-c888-470a-8aaf-131e302ccb5e/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-10-2710.14.15.png" alt="スクリーンショット2023-10-2710.14.15.png">
注意点として、「4. Slack通知をしたいデータを取得できるSQLをDatahubクエリで書く」で作成したクエリはUTCで時刻の判定が行われます。 
よって、ジョブフローの実行時間はJST 9時以降に設定することをお勧めします。その場合、UTCベースで前々日と前日分のイベント数を比較した結果に基づいて通知が届きます。
<h1 id="実際に動かしてみる">実際に動かしてみる</h1>
実際に動作を確認してみましょう。 
「6. SQLの結果をCraft Functionsに渡すJobflowを作成する」で作成したジョブフローを手動実行すると、Slackの指定したチャネルに以下のようなメッセージが届きます。 
<img src="https://ik.imagekit.io/plaid/682fc76d-8830-448e-be38-19389603519e/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-10-2710.09.48.png" alt="スクリーンショット2023-10-2710.09.48.png">
<h1 id="おわりに">おわりに</h1>
今回は「KARTEのイベント数の変化に応じてSlackに通知を送る」方法を紹介しました。 
他にも、特定のイベント（<code>_error</code>など）が発生した時にSlackに通知を送るなど、Datahubの情報をもとに必要なタイミングでSlackに通知を飛ばす様々な応用が可能です。
ぜひ皆さんも、作成してみてください！
<hr>
プレイドでは、世の中にインパクトを与える新しいソリューションを一緒につくる仲間を募集しています！ 
ぜひ気軽にお問い合わせください。
↓ パートナー企業になりたい
<ul>
<li><a href="https://ecosystem.plaid.co.jp/" target="_blank" rel="noreferrer">CustomerData-Driven Solution を一緒に創りませんか？ | PLAID Ecosystem</a></li>
</ul>
↓ PLAIDで働きたい
<ul>
<li><a href="https://recruit.plaid.co.jp/requisitions/general-customer-engineer" target="_blank" rel="noreferrer">Customer Engineer | 募集ポジション | 株式会社プレイド</a></li>
<li><a href="https://recruit.plaid.co.jp/requisitions/product-engineer" target="_blank" rel="noreferrer">Product Engineer | 募集ポジション | 株式会社プレイド</a></li>
</ul>
</body></html>

KARTE DatahubクエリでKARTEのイベント数をウォッチし、既定値を超える変化があった場合にSlack通知を送る方法を紹介します！