Craft FunctionsからGoogle Analytics Data APIを利用し、GA4のユーザーセグメント分析レポートを作成する方法

<html><head></head><body>こんにちは、Customer Engineerの島本です！
先日友達と築地にあるトーセイホテル ココネ築地銀座プレミアに行ってきました！サウナよりも湯船に浸かっている時にどこからか吹いてくる冷風が気持ちよかったです。 
<img src="https://ik.imagekit.io/plaid/9cdd01c2-38c0-4f90-ba2a-ae3fadb22528/IMG_1719.jpg" alt="IMG_1719.jpg">
さて、Craft Functionsを使用すると、社内外のさまざまなシステムから情報を取得し、KARTEとの連携をスムーズに行うことができます。ただし、1 実行あたりの起動時間の上限が 10 秒という制約や、KARTE のサーバーサイドAPIのリクエスト制限があるため、複数件レコードを一括で連携するには設計上で工夫が必要でした。
しかし、Craft Functionsを使用してGoogle Cloud Storage にファイル保存することで、複数件レコードを一括で連携することができます！
<h2 id="構成図">構成図</h2>
構成図は次の通り。 
<img src="https://ik.imagekit.io/plaid/14fa7717-737d-4ff0-b5ab-ad5dcb5b35aa/blog%E7%94%A8.png" alt="blog用.png">
また、そもそも保存先のGCS の用意ができないという方もいると思いますが、<a href="https://developers.karte.io/docs/about-datahub" target="_blank" rel="noreferrer">KARTE Datahub</a> をご利用頂いている場合は、KARTE からGCS バケットを払い出すことができます！ 
今回はKARTE が払い出したGCS バケットを利用する方法で紹介します。
<h2 id="注意点">注意点</h2>
取得するデータサイズが大きくなると、APIからデータを取得する時間およびGCS への書き込み時間が伸びて、Craft Functions の実行時間制限を超過する可能性があります。
また、取得したデータがメモリサイズを超過することにより、Craft Functions が異常終了する可能性もあります。実際に処理できるデータ量を検証の上で本ソリューションの利用を検討してください。
<h2 id="設定手順">設定手順</h2>
設定の手順は次の通りです。
<ol>
<li>KARTE が払い出したGCS バケットへの権限付与を有効化する</li>
<li>Googleサービスアカウントを払い出す</li>
<li>サービスアカウントに対象バケットへの権限を付与する</li>
<li>サービスアカウントのJSONキーファイルの中身を Craft Secret Manager に登録する</li>
<li>Craft Functions でそのサービスアカウントを使ってファイルを保存する</li>
</ol>
順番に見てみましょう。
<h3 id="1. KARTE が払い出したGCS バケットへの権限付与を有効化する">1. KARTE が払い出したGCS バケットへの権限付与を有効化する</h3>
まず、KARTE Datahub の管理画面からGCS バケットへの権限付与を有効化します。
<ul>
<li>グローバルナビゲーションの[データハブ設定]を開く</li>
<li>[サービスアカウント管理]のタブを開く</li>
<li>[GCSバケットへの権限付与済みGoogleサービスアカウント]の部分で、[権限付与]ボタンが表示されているか確認</li>
</ul>
<img src="https://ik.imagekit.io/plaid/895df45f-3a23-4868-a17c-4f42a9813625/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882024-04-0123.19.18.png" alt="スクリーンショット2024-04-0123.19.18.png">
有効化されていない場合は、営業担当にお問い合わせください。
<h3 id="2. Googleサービスアカウントを作成する">2. Googleサービスアカウントを作成する</h3>
払い出しGCS バケットへの権限付与をするGoogleサービスアカウントを払い出します。
<ul>
<li>[Datahub設定] &gt; [サービスアカウント管理]タブを開く</li>
<li>[払い出しGoogleサービスアカウント]の[Googleサービスアカウント作成]ボタンを押す</li>
<li>ダウンロードするkeyFileのキータイプを次の選択肢から選ぶ
<ul>
<li>JSON(推奨)</li>
<li>P12</li>
</ul>
</li>
<li>認証用のkeyFileが自動でダウンロードされる
<ul>
<li>一度しかダウンロードできないため、大切に保管してください</li>
</ul>
</li>
</ul>
<img src="https://ik.imagekit.io/plaid/836ee1fa-2e98-4aa6-ad9e-6fdc698db791/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882024-04-0123.23.35.png" alt="スクリーンショット2024-04-0123.23.35.png">
ダウンロードしたkeyFileは、後の手順で利用します。
<h3 id="3. サービスアカウントに対象バケットへの権限を付与する">3. サービスアカウントに対象バケットへの権限を付与する</h3>
払い出したサービスアカウントに対して権限を付与します。
<ul>
<li>[GCSバケットへの権限付与済みGoogleサービスアカウント]の領域で、[権限付与]ボタンを押す</li>
<li>プルダウンから、先ほど払い出したサービスアカウントを選択する</li>
</ul>
<img src="https://ik.imagekit.io/plaid/fe23e8b4-3690-474d-8689-59656e6a2343/%E3%83%86%E3%82%99%E3%83%BC%E3%82%BF%E3%83%8F%E3%83%95%E3%82%99%E8%A8%AD%E5%AE%9A_-_%E7%A4%BE%E5%86%85%E6%A4%9C%E8%A8%BC%E7%94%A8_kasumi_shimamoto_-_KARTE.png" alt="データハブ設定_-社内検証用_kasumi_shimamoto-_KARTE.png">
<h3 id="4. サービスアカウントのJSONキーファイルの中身を Craft Secret Manager に登録する">4. サービスアカウントのJSONキーファイルの中身を Craft Secret Manager に登録する</h3>
Googleサービスアカウントの認証情報をCraft Functions から安全に利用するために、Craft Secret Manager に登録します。
<img src="https://ik.imagekit.io/plaid/1cb0539c-a074-47aa-b2f4-569647617236/create_service_account_secret.png" alt="create_service_account_secret.png">
<ul>
<li>[Craft &gt; シークレット] からシークレットを新規作成</li>
<li>[名前] に、わかりやすい名前を入力</li>
<li>ダウンロードしたJSONキーファイルの中身を [シークレットの値] にそのまま入力し、作成</li>
<li>シークレット名をメモしておく</li>
</ul>
<h3 id="5. Craft Functions でそのサービスアカウントを使ってファイルを保存する">5. Craft Functions でそのサービスアカウントを使ってファイルを保存する</h3>
最後に、実際にCraft Functionsから外部APIを叩いて、GCS バケットに保存してみます。 
今回は情報を取得するAPIとして、<a href="https://jsonplaceholder.typicode.com/" target="_blank" rel="noreferrer">JSONPlaceholder</a> を利用します。
作成手順は次の通りです。 
<img src="https://ik.imagekit.io/plaid/f54845aa-6834-475f-ad9d-dfaf4b0ef4c5/create_craft_functions.png" alt="create_craft_functions.png">
<ul>
<li>[Craft &gt; ファンクション &gt; 新規作成 &gt; テンプレートから作成] を選択</li>
<li>「 外部APIから取得したデータをGoogle Cloud Storageにファイル保存する 」というテンプレートを検索し[取得]ボタンをクリック</li>
<li>[反映] ボタンをクリック</li>
<li>[変数] タブで次の変数の値を設定する
<ul>
<li><code>LOG_LEVEL</code>
<ul>
<li>出力するログのレベルです</li>
</ul>
</li>
<li><code>SERVICE_ACCOUNT_KEY_SECRET</code>
<ul>
<li>先ほど作成したシークレットの名前を指定します</li>
</ul>
</li>
<li><code>API_ENDPOINT</code>
<ul>
<li>データ取得元である外部サービスのAPIエンドポイントです</li>
<li>例：https://jsonplaceholder.typicode.com/posts</li>
</ul>
</li>
<li><code>BUCKET_NAME</code>
<ul>
<li>保存する先のGCS のバケット名です</li>
<li>例：karte-data-{{api_key}}
<ul>
<li>{{api_key}}の部分は、実際のapi_keyに置き換えてください</li>
</ul>
</li>
</ul>
</li>
<li><code>FILE_PATH</code>
<ul>
<li>保存するファイルのパスです</li>
<li>例：test/demo_data.json</li>
</ul>
</li>
</ul>
</li>
<li>[保存] する</li>
<li>デプロイ完了後、[設定 &gt; ファンクションの有効化] にチェックを付ける</li>
</ul>
なお、サンプルコードは、下記URLで公開しています。 
<a href="https://github.com/plaidev/craft-codes/tree/main/craft-functions/fetch-external-api-and-save-file-to-gcs" target="_blank" rel="noreferrer">craft-codes/craft-functions/fetch-external-api-and-save-file-to-gcs at main · plaidev/craft-codes</a>
以下、重要な点をかいつまんで説明します。
サンプルコードでは、GCS バケット上のファイルをKARTE Datahub に連携したいケースを想定して、Datahub で取り込み可能な改行区切りのJSON データに加工しています。
実際に利用する際には、APIのレスポンスデータ形式に合わせて変更してください。
<pre><code class="hljs">function formatDataToJSONLines(responseData) {
 return responseData.map(obj =&gt; JSON.stringify(obj)).join('\n');
}
</code></pre>
下記関数でバケット名、ファイルのパスを指定してGCS バケットにファイルをアップロードしています。
<pre><code class="hljs">async function uploadDataToStorage(bucketName, filePath, jsonLinesData, jsonKey, logger) {
 const storage = new Storage({ credentials: jsonKey });
 const bucket = storage.bucket(bucketName);

 const blob = bucket.file(filePath);
 const stream = blob.createWriteStream({
 metadata: {
 contentType: 'application/json',
 },
 });

 return new Promise((resolve, reject) =&gt; {
 stream.on('error', err =&gt; {
 logger.error('Upload Error:', err);
 reject(err);
 });

 stream.on('finish', () =&gt; {
 logger.log(`Uploaded: ${filePath}`);
 resolve();
 });

 stream.end(jsonLinesData);
 });
}
</code></pre>
とても簡単ですね！
最後に定期的にAPI からデータを取得するために、Craft Scheduler の設定をします。
<img src="https://ik.imagekit.io/plaid/1a603aa3-3952-4232-ba1a-b4575047dedd/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882024-02-1318.25.41.png" alt="スクリーンショット2024-02-1318.25.41.png">
<ul>
<li>Craft Functionsの<code>設定タブ</code>を開きます</li>
<li>スケジュールを有効化し、cron形式（JST）で実行時間を指定します</li>
</ul>
設定は以上になります。
<h2 id="実際に動かしてみる">実際に動かしてみる</h2>
実際に動作を確認してみましょう！
前述のサンプルコードに必要な定数を入力した内容でCraft Functionsを作成し、実際に実行してみます。
<img src="https://ik.imagekit.io/plaid/3fabf6ee-50c0-4ab5-a195-5ad77a389c16/%E3%83%86%E3%82%99%E3%82%B9%E3%82%AF%E3%83%88%E3%83%83%E3%83%95%E3%82%9A_%E2%80%94_-zsh_%E2%80%94_173%C3%9746.png" alt="デスクトップ_—-zsh—_173×46.png">
gsutilを使ってGCS バケット上に保存されていることを確認できました！
<img src="https://ik.imagekit.io/plaid/b19f0ee2-7122-409a-aa43-ef9e617ca054/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882024-03-2610.03.39.png" alt="スクリーンショット2024-03-2610.03.39.png"> 
また、ファイルの中身も改行区切りのJSON データで保存されていることが確認できます。 
これで問題なくKARTE Datahub に連携できますね！
<h2 id="おわりに">おわりに</h2>
今回は外部APIから取得したデータをGoogle Cloud Storageにファイル保存する方法について紹介しました。
このソリューションを活用すれば、社内外のさまざまなシステムから情報を取得してKARTE Datahub に連携することができるため、できることの幅が広がりますね！ぜひ皆さんも試してみてください！
<hr>
プレイドでは、世の中にインパクトを与える新しいソリューションを一緒につくる仲間を募集しています！ぜひ気軽にお問い合わせください。
↓ パートナー企業になりたい
<ul>
<li><a href="https://ecosystem.plaid.co.jp/" target="_blank" rel="noreferrer">CustomerData-Driven Solution を一緒に創りませんか？ | PLAID Ecosystem</a></li>
</ul>
↓ PLAIDで働きたい
<ul>
<li><a href="https://recruit.plaid.co.jp/requisitions/general-customer-engineer" target="_blank" rel="noreferrer">Customer Engineer | 募集ポジション | 株式会社プレイド</a></li>
<li><a href="https://recruit.plaid.co.jp/requisitions/product-engineer" target="_blank" rel="noreferrer">Product Engineer | 募集ポジション | 株式会社プレイド</a></li>
</ul>
</body></html>

外部APIから取得したデータを改行区切りのJSON形式に整形し、Google Cloud Storageにファイル保存します。