こんにちは。AkiことAkihiro Nakanoです。

さて、皆さん。
以前の記事でも「KARTEで実装するレコメンド」の紹介があったので、おそらく、

” 私もKARTEでレコメンド機能を実装したい！”

と思った方も沢山いらっしゃるかと思います。
実際にクライアントの皆様から、”レコメンドを実装したい！”といったお問い合わせを沢山頂いているのですが、実際に実装を行う上で最初の入り口・障壁となるのは何でしょうか。

そう、 「商品マスタ」 です。よね。

とてもざっくり前提を説明すると、レコメンド機能は、「KARTEで取得した行動データ」＋「商品マスタ」、この2つをインプットデータとして動きます。

私も、皆さんから相談を受けたはいいものの、実際には

”商品マスタ。。ごめんなさいすぐ用意出来ないです。。”
”商品マスタ、膨大な量あるんですよ。。”
”膨大な量の商品マスタが定期的に入れ替わるから、その都度運用者が更新するのが面倒臭いし、ミスの元になりそうです。。”

と言った声も頂きます。

そういった声を踏まえて、この度発明したのが

「え。商品マスタを連携するのが難しければ、KARTEを使って自動で作っちゃおうぜ！！」

というアバンギャルドなソリューションです。
今回の記事では、この商品マスタ生成ソリューションについてご紹介していきます。

そもそもレコメンドとは？

KARTEで実装するレコメンドについての詳細は、以前の記事でもご紹介しておりますが、
サマリーを述べると、下記の通りです。

KARTEで実現する標準的なレコメンドは、A【「ユーザー」と「アイテム」の紐付け】、B【その「アイテム」と「関連アイテム」の紐付け】を行う。
これを実現するためには、view_item（商品閲覧）イベントなどの行動データ、アイテムのマスタデータが必要。

レコメンドの実装手順をおさらい

上に続いて、レコメンドの実装手順もおさらいしておきましょう。
下に図示してみます。
image(41).png

こんな形でしたね。
「view_itemイベントの実装」と、「商品マスタの連携」が必要でした。実装の詳細はこちらの記事に記載しておりますので、併せてご覧ください。

今回は、、、↓
image(42).png
こちらの右側の「商品マスタを連携する」部分をKARTEで実装していきます。

実際に商品マスタをKARTEで生成する！

お待たせしました。では実際に実装していきましょう！！

◉全体像

最初に、今回の実装の全体像を公開してしまいます。↓
image(52).png

このような形です。
まだ何を言っているか分からないですよね。
アイテムの紐付けにも用いるview_itemイベントを使用して、商品マスタを生成していきます。
その上で必要なものは、下記の2つです。

item_masterというテーブルと、
それを更新するジョブフロー

順を追って見ていきましょう！！

◉前提

前提として、今回view_itemイベントで取得しているデータは下記のような形です。こちらを元に商品マスタを生成していきます。
image(53).png

◉商品データを入れる空のテーブルを作成する

まずは、item_masterという空のテーブルを用意しましょう。

任意のデータセットを作成し、その中にitem_masterというテーブルを作成します。

image(54).png

item_masterテーブルは、この後のパートで作成するジョブフロー内で参照するため、スキーマを先に指定しておきます。
テーブル作成時に、スキーマを指定して作成にチェックを入れ、スキーマ（テキスト）に下記の値を入力します。

item_id:STRING,name:STRING,price:INTEGER,display_price:STRING,image:STRING,url:STRING,l_category_cd:STRING,l_category_name:STRING,brand_cd:INTEGER,updated_at:TIMESTAMP

このテーブルに対してジョブフローを作成し、「view_itemイベントを元に商品マスタを作成・更新」する処理を行います。

◉ジョブフローを作成する

上記で作成したテーブルに、view_itemイベントを元に取得した商品データを追加していきましょう！

具体的に実装する処理は、以下の2つです。

最新の商品名、値段等を定期的に抽出する
前回更新したitem_masterとの差分を定期的に更新する

まず、前者を図示すると、下記のイメージです。

image(44).png

エンドユーザが閲覧した商品詳細ページから、商品idや商品名、商品画像等をview_itemイベントにより連携し、item_id毎に最新の情報を定期的に抽出することで、テーブルを生成します（ここでは、テーブル名をitem_master_tempとしています）。

その処理をクエリで書くと、下記のような形になります。

-- item_master_tempテーブルを作成するクエリ
WITH raw AS (
SELECT
  JSON_VALUE(values, '$.view_item.item_id') AS item_id
  , ROW_NUMBER() OVER (PARTITION BY JSON_VALUE(values, '$.view_item.item_id') ORDER BY sync_date DESC) AS order_num
  , JSON_VALUE(values, '$.view_item.name') AS name
  , JSON_VALUE(values, '$.view_item.price') AS price
  -- , FORMAT("%'d",JSON_VALUE(values, '$.view_item.price'))AS display_price
  , JSON_VALUE(values, '$.view_item.item_image_url') AS image
  , JSON_VALUE(values, '$.view_item.item_url') AS url
  , JSON_VALUE(values, '$.view_item.l_category_cd') AS l_category_cd
  , JSON_VALUE(values, '$.view_item.l_category_name') AS l_category_name
  , JSON_VALUE(values, '$.view_item.brand_cd') AS brand_cd
FROM
  {% karte_event period[0], period[1] %}  -- Periodパラメータをパラメータ定義で設定
WHERE
  event_name = 'view_item'
)

SELECT
item_id
, name
, CAST(price AS INT64) AS price
, CONCAT(FORMAT("%'d", CAST(price AS INT64)), '円（税込）') AS display_price
, image
, url
, l_category_cd
, l_category_name
, CAST(brand_cd AS INT64) AS brand_cd
FROM raw
WHERE order_num = 1

-- パラメータ部分
period:
  type: period
  label: 期間型パラメータ
  value: past 1 day

view_itemイベントを抽出する期間は、パラメータで指定出来る様にしています。
今回は、UU数が十分に多い（つまり、毎日商品詳細ページが十分量閲覧されている）と仮定して、消費するクエリリソースの観点から、抽出期間を1日と設定しました。
UU数が少ない場合は、出来るだけ多くの商品が抽出出来る様に、抽出期間を長くする等の調整が必要となります。

上記で作成したテーブル（item_master_temp）自体も商品マスタとして使用することは可能なのですが、一つ困りごとがあります。
それは、「特定の期間でのみ閲覧（view_item）された商品しかマスタとして使用できない」ということです。
先ほどのクエリでview_itemイベントを抽出する期間を1日としていると、その期間外でも商品はサイト上に存在しているが、期間内に閲覧されていない商品は商品マスタから除外されてしまいます。

そこで、2つ目のテーブル（最終的な商品マスタ）を作成し、「前回更新した商品マスタとの差分を定期的に更新する」という処理を実装します。これで商品マスタが完成です！

下記はそのイメージです。古い商品マスタの中で、既存の002というアイテムに変更が生じ、新規の004というアイテムが追加されています。
image(45).png

その処理をクエリで書くと、下記の通りです。

WITH current_master AS ( -- 既存マスタデータ
  SELECT
    item_id -- 以下、実際のカラム名を指定
    , ANY_VALUE(name) AS name -- 以下、万が一重複レコードが混入したケースを考慮
    , ANY_VALUE(price) AS price
    , ANY_VALUE(display_price) AS display_price
    , ANY_VALUE(image) AS image
    , ANY_VALUE(url) AS url
    , ANY_VALUE(l_category_cd) AS l_category_cd
    , ANY_VALUE(l_category_name) AS l_category_name
    , ANY_VALUE(brand_cd) AS brand_cd
    , ANY_VALUE(updated_at) AS updated_at
  FROM `prd-karte-per-client.aaa_xxxxxxxxxx.item_master` -- 実際のマスタテーブル名を指定してください
  WHERE NOT item_id IS NULL
  GROUP BY item_id
)
, new_data AS ( -- 変更対象のレコード
  SELECT
    item_id -- 以下、実際のカラム名を指定
    , name
    , price
    , display_price
    , image
    , url
    , l_category_cd
    , l_category_name
    , brand_cd
    , CURRENT_TIMESTAMP() AS updated_at
  FROM item_master_temp -- 実際の一時テーブル名を指定してください
  WHERE NOT item_id IS NULL
)
, non_updated_master AS ( -- 変更対象ではない既存マスタデータのレコード
  SELECT
    a.item_id -- 以下、実際のカラム名を指定
    , a.name
    , a.price
    , a.display_price
    , a.image
    , a.url
    , a.l_category_cd
    , a.l_category_name
    , a.brand_cd
    , a.updated_at
  FROM current_master AS a
  LEFT OUTER JOIN new_data AS b
  ON a.item_id = b.item_id
  WHERE b.item_id IS NULL
)

SELECT * FROM non_updated_master
UNION DISTINCT
SELECT * FROM new_data

↑
上記2つのクエリを1つのクエリにして、ジョブフローとして定期的に実行していきます！

では、一緒に作っていきましょう！

Datahub ＞クエリからクエリを作成し、任意の名前で保存します。ここでは、item_master_queryとしました。

image(55).png

ここで記載したクエリは、下記の通りです。

WITH raw AS (
  SELECT
    JSON_VALUE(values, '$.view_item.item_id') AS item_id
    , ROW_NUMBER() OVER (PARTITION BY JSON_VALUE(values, '$.view_item.item_id') ORDER BY sync_date DESC) AS order_num
    , JSON_VALUE(values, '$.view_item.name') AS name
    , JSON_VALUE(values, '$.view_item.price') AS price
    -- , FORMAT("%'d",JSON_VALUE(values, '$.view_item.price'))AS display_price
    , JSON_VALUE(values, '$.view_item.item_image_url') AS image
    , JSON_VALUE(values, '$.view_item.item_url') AS url
    , JSON_VALUE(values, '$.view_item.l_category_cd') AS l_category_cd
    , JSON_VALUE(values, '$.view_item.l_category_name') AS l_category_name
    , JSON_VALUE(values, '$.view_item.brand_cd') AS brand_cd
  FROM
    {% karte_event period[0], period[1] %}  -- Periodパラメータをパラメータ定義で設定
  WHERE
    event_name = 'view_item'
)

, item_master_temp AS(
  SELECT
    item_id
    , name
    , CAST(price AS INT64) AS price
    , CONCAT(FORMAT("%'d", CAST(price AS INT64)), '円（税込）') AS display_price
    , image
    , url
    , l_category_cd
    , l_category_name
    , CAST(brand_cd AS INT64) AS brand_cd
  FROM raw
  WHERE order_num = 1
)

, current_master AS ( -- 既存マスタデータ
  SELECT
    item_id -- 以下、実際のカラム名を指定
    , ANY_VALUE(name) AS name -- 以下、万が一重複レコードが混入したケースを考慮
    , ANY_VALUE(price) AS price
    , ANY_VALUE(display_price) AS display_price
    , ANY_VALUE(image) AS image
    , ANY_VALUE(url) AS url
    , ANY_VALUE(l_category_cd) AS l_category_cd
    , ANY_VALUE(l_category_name) AS l_category_name
    , ANY_VALUE(brand_cd) AS brand_cd
    , ANY_VALUE(updated_at) AS updated_at
  FROM `prd-karte-per-client.aaa_xxxxxxxxxx.item_master` -- 実際のマスタテーブル名を指定してください
  WHERE NOT item_id IS NULL
  GROUP BY item_id
)
, new_data AS ( -- 変更対象のレコード
  SELECT
    item_id -- 以下、実際のカラム名を指定
    , name
    , price
    , display_price
    , image
    , url
    , l_category_cd
    , l_category_name
    , brand_cd
    , CURRENT_TIMESTAMP() AS updated_at
  FROM item_master_temp -- 実際の一時テーブル名を指定してください
  WHERE NOT item_id IS NULL
)
, non_updated_master AS ( -- 変更対象ではない既存マスタデータのレコード
  SELECT
    a.item_id -- 以下、実際のカラム名を指定
    , a.name
    , a.price
    , a.display_price
    , a.image
    , a.url
    , a.l_category_cd
    , a.l_category_name
    , a.brand_cd
    , a.updated_at
  FROM current_master AS a
  LEFT OUTER JOIN new_data AS b
  ON a.item_id = b.item_id
  WHERE b.item_id IS NULL
)

SELECT * FROM non_updated_master
UNION DISTINCT
SELECT * FROM new_data

-- パラメータ部分
period:
  type: period
  label: 期間型パラメータ
  value: past 1 day

その後、Datahub ＞ジョブフローから、下記画像のようにジョブフローを作成します。インポート先のテーブルは先ほど作成したitem_masterを指定し、ルールは「置き換え」るように実行を行います。

image(58).png

オプションから、「スケジュール実行」「繰り返し実行」を有効にします。今回は、商品マスタが1日おきに入れ替わることを想定して、「毎日0時に実行する」という設定にしています。サイトに表示する商品の入れ替わる頻度によって、この期間を長くするなどの調整が必要となります。

image(59).png

「今すぐ実行」を押下し、少し経ってitem_masterテーブルにデータがインポートされていれば、商品マスタの作成は成功です（右側に、そのアイテムデータをアップデートした日時が記載されています）！
その後はこの商品マスタを使って、こちらの記事を参考にレコメンドが実装できます！！

image(57).png

まとめ

いかがだったでしょうか？
まさか、KARTEで商品マスタまで作成できると思っていましたでしょうか。
このソリューションの面白い点は「KARTEで錬金術のように商品マスタが作れた！」という点だけではなく、サイトの商品ページ上にお客様が来訪してさえいれば「半永久的、かつ自動的に商品マスタが更新されていく」点なのです。
ぜひ、皆さんも試してみてくださいね👍

プレイドでは、世の中にインパクトを与える新しいソリューションを一緒につくる仲間を募集しています！
ぜひ気軽にお問い合わせください。

↓ パートナー企業になりたい

CustomerData-Driven Solution を一緒に創りませんか？ | PLAID Ecosystem

↓ PLAIDで働きたい

簡易商品マスタをKARTEのイベントから自動生成する