こんにちは、Customer Engineerの神谷です！最近とにかく懸垂をやりこんでいたら、体重は変わらないのに目に見えて力が強くなってきました。格闘技は技術も大事ですが、コンタクトスポーツなのでやはりそもそものフィジカルが強くないと話になりません。懸垂の成果を、早く試合で試したいです。

さて、今回は、Craft FunctionsからCustom Search APIを使って、特定のキーワードにおける検索エンジンでの検索結果を、Googleスプレッドシート（以下、スプレッドシート）に出力する方法をご紹介します。まず最初に、Custom Search APIってそもそも何なのかと、特定のキーワードにおける検索エンジンでの検索結果を出力する意義についてご説明します。

Google Custom Search APIとは

Custom Search APIとは何なのか端的に書くと、Googleが提供するカスタム検索エンジンを開発者が利用できるAPIです。カスタム検索エンジンとは、特定のトピックに関する検索結果や、特定のWebサイト内に絞った検索結果を抽出できるもので、その機能を自分のWebサイト内に埋め込むこともできます。つまり、Custom Search APIを使うと、特定のキーワードに関連する検索結果をカスタマイズしたり、検索対象をあるWebサイト内に絞った検索エンジンを作れたりします。

特定のキーワードにおける検索エンジンでの検索結果を出力する意義

Custom Search APIがどんなものかご理解いただいたところで、今回の本題に入っていきましょう。今回は、Custom Search APIを使って特定のキーワードにおける検索エンジンでの検索結果を出力しますが、その意義は以下の2つがあると私は考えています。

1. SEO戦略の評価

特定のキーワードやトピックにおける検索結果を定期的にモニタリングすることで、その変動や競合他社との比較ができます。それにより、自社のWebサイトや記事コンテンツに改善の余地があるかどうかを把握します。APIを使って自動で定期的に出力することにより、手間を減らせるのもメリットです。

2. トレンドの把握及びコンテンツ戦略の立案

特定のキーワードやトピックに関する分析を行っておくことで、どのようなコンテンツが求められているのかそのトレンドを見極め、今後のコンテンツ作成時に役立つと思います。特にグルメやファッションなど特定のジャンルを扱うWebサイトの場合、そのトレンドを把握しておくことは、運用に必要な絶対条件の1つです。

アウトプットイメージ

Custom Search APIやそれを使う意義についてご理解いただけたら、具体的なアウトプットについて見ていきましょう。今回は例として、「ラーメン」というキーワードにおける検索上位トップ10の結果を、スプレッドシートに出力してみます。私がラーメン大好きなのでそうしただけで、ラーメンを選んだ理由に深い意味はありません。

スクリーンショット2024-02-2715.22.19.png

具体的なアウトプットイメージは、上の通りです。検索上位10件のページの、URL・タイトル・ディスクリプションの3つをCustom Search APIを使ってそれぞれ抽出し、スプレッドシートに出力しています。こうやってみると、単に「ラーメン」で検索した場合、大手チェーンが強いことが一目瞭然ですね。ちなみに「丸源ラーメン」と「ラーメン横綱」は、私がラーメンに目覚めるきっかけとなった、思い出の味です。

スクリーンショット2024-02-2715.44.07.png

そして今回のソリューションの構成図は、上の通りです。構成自体は極めてシンプルで、Craft Functionsを実行してCustom Search APIを呼び出し、特定のキーワードにおける検索結果をまず取得します。それを返して、スプレッドシートに出力するだけです。

注意点

前提として、次の点に注意をしてください。

検索結果は、その人のブラウザや端末によって変わる可能性があります
- 特に端末の位置情報をオンにしている場合、それを考慮した検索結果になることがあります
- 例えば弊社プレイドは銀座にオフィスがあるため、オフィスで自分のPCやスマホから「ラーメン」と検索すると中央区や銀座のラーメンに関する情報が多く出てきます
- Custom Search APIを使った場合、そういった条件は無視して一般論における検索結果が出てくるとお考えください
Custom Search APIには、1日に使用できる無料枠の上限があります
- 2024年2月末現在、GCPプロジェクトのCustom Search APIのページを見ると、無料枠は1日に100件の検索リクエストとなっています
- 例えば今回のように、1つのキーワードに対して上位10件を抽出する場合、1日に10回までが無料枠の範囲内になります

設定手順

設定の手順は次の通りです。

Googleサービスアカウントを作成する
Custom Search APIを有効化する
Custom Search Engineを取得する
GCPプロジェクトでAPIキーを取得する
Googleサービスアカウントに対象スプレッドシートへの権限を付与する
GoogleサービスアカウントのJSONキーファイルの中身を Craft Secret Manager に登録する
Custom Search APIを使って特定のキーワードでの検索結果を取得しスプレッドシートに出力するためのCraft Functionsを作成する

1. Googleサービスアカウントを作成する

GoogleのサービスでAPIを利用するために、Googleサービスアカウントを作成します。

Google Cloudのコンソール画面を開く
- アカウントやプロジェクトが無い場合は作成してください
[IAMと管理 > サービスアカウント > サービスアカウントを作成] から適当な名称のサービスアカウントを作成

スクリーンショット2023-08-1413.15.34.png

作成したサービスアカウントを選択し、[キー > 鍵を追加 > 新しい鍵を作成] からJSON形式のキーファイルをダウンロード

スクリーンショット2023-08-1413.16.12.png

ダウンロードしたキーファイルは、後の手順で利用します。

2. Custom Search APIとGoogle Sheets APIを有効化する

続いてCustom Search APIとGoogle Sheets APIを有効化します。その利用にあたっては、GCPプロジェクトを利用する必要があります。

スクリーンショット2024-02-0517.37.21.png
スクリーンショット2024-02-2114.16.12.png
スクリーンショット2023-08-1413.10.10.png

適当なGCPプロジェクトを作成または選択し、[APIとサービス > 有効なAPIとサービス > APIとサービスの有効化またはライブラリ] からCustom Search APIとGoogle Sheets APIを検索し、有効化します。

3. Custom Search Engineを取得する

単にCustom Search APIを有効化しただけではまだ使うことはできず、Custom Search Engineを取得する必要があります。

スクリーンショット2024-02-2714.58.02.png

まず、Custom Search Engineの設定画面にアクセスしてください
赤枠で囲った、右上の追加ボタンをクリックします

スクリーンショット2024-02-2715.00.09.png

検索エンジン名は、適当な名前をつけてください
検索の対象は、特定のサイトまたはページを検索を選択し、何か適当なURLを入力します
今回は便宜的にhttps://www.google.co.jp/を入れていますが、後で削除するので何でもいいです
下の作成ボタンを押して、カスタム検索エンジンを作成します

スクリーンショット2024-02-2715.10.14.png

カスタム検索エンジンが完了すると上の画面が出ますが、表示されたコードは今回は使いません
その右下のカスタマイズを押してください

スクリーンショット2024-02-2715.01.10.png
スクリーンショット2024-02-2715.15.19.png

作成したカスタム検索エンジンの概要が出てくるので、検索エンジンIDを控えておいてください
同じ画面で少し下にスクロールして、検索するサイトを見てください
カスタム検索エンジン作成時に入力した検索対象のURL、今回の例ではwww.google.co.jp/を削除します

4. GCPプロジェクトでAPIキーを取得する

続いて、Custom Search APIを有効化したのと同じGCPプロジェクト内で、APIキーを取得する必要があります。

スクリーンショット2024-02-0213.34.24.png
スクリーンショット2024-02-0213.35.15.png

APIとサービス > 認証情報の順にクリックします
上の方にある認証情報を作成をクリックし、APIキーを選択します
するとAPIキーが生成されるので、それをコピーします

取得したAPIキーはCraft Functions作成時に必要なので、忘れずに取っておきましょう。

5. Googleサービスアカウントに対象スプレッドシートへの権限を付与する

Google Sheets APIを有効化したとしても、個別のスプレッドシートに対して自由にアクセスできるわけではありません。スプレッドシート毎に、対象のGoogleサービスアカウントに対して権限を付与する必要があります。

対象スプレッドシートを開き、右上の [共有]ボタンをクリック

スクリーンショット2023-08-1514.20.04.png

ダウンロードしたキーファイルに含まれるclient_emailの値を入力し、権限には [編集者] を選択して [送信]

6. GoogleサービスアカウントのJSONキーファイルの中身を Craft Secret Manager に登録する

Googleサービスアカウントの認証情報をCraft Functionsから安全に利用するために、Craft Secret Manager に登録します。

[Craft > シークレット] からシークレットを新規作成
[名前] に、わかりやすい名前を入力
ダウンロードしたJSONキーファイルの中身を [シークレットの値] にそのまま入力し、作成
シークレット名をメモしておく

7. Custom Search APIを使って特定のキーワードでの検索結果を取得しスプレッドシートに出力するためのCraft Functionsを作成する

Craft Functionsのファンクションを作成します。作成手順は次の通りです。

[Craft > ファンクション > 新規作成 > テンプレートから作成] を選択
「 Craft FunctionsからCustom Search APIを使って、特定のキーワードでの検索結果をGoogleスプレッドシートに出力する 」というテンプレートを検索し[取得]ボタンをクリック
[反映] ボタンをクリック
[変数] タブで次の変数の値を設定する
- GCP_API_KEY
  - 取得しておいたAPIキーの値を入力します
- CUSTOM_SEARCH_ENGINE_ID
  - 取得しておいた検索エンジンIDの値を入力します
- TARGET_KEYWORD
  - 検索結果を取得したいキーワード（今回はラーメン）を指定します
- SERVICE_ACCOUNT_KEY_SECRET
  - 利用するGoogleサービスアカウントのJSONキーを登録したシークレットの名前です
- SPREADSHEET_ID
  - 出力先となるスプレッドシートのシートIDです
  - URLがhttps://docs.google.com/spreadsheets/d/123456789/editの場合、123456789がそれに該当します
- SHEET_NAME
  - 出力先となるスプレッドシートのシート名です
- MAX_RECORDS
  - スプレッドシートに出力される行数の最大値です
- [設定 > ファンクションの有効化] にチェックを付けて [保存]

なお、テンプレートのソースコードはGitHubで公開しています。
craft-codes/craft-functions/custom-search-api-spreadsheet at main · plaidev/craft-codes

ここから、Craft Functionsのコードで重要な部分について、かいつまんでご説明します。

// 特定のキーワードでの検索結果を取得する関数
async function getSearchResults(apiKey, searchEngineId, keyword, logger) {
  const customSearch = google.customsearch('v1');
  try {
    const res = await customSearch.cse.list({
      key: apiKey,
      cx: searchEngineId,
      q: keyword,
      num: MAX_RECORDS,
    });
    return res.data.items || [];
  } catch (error) {
    logger.error('検索結果の取得に失敗しました:', error.message);
    return null;
  }
}

// スプレッドシートにヘッダーとデータを書き込む関数
async function writeToSpreadsheet(spreadsheetId, sheetName, searchResults, authClient) {
  const sheets = google.sheets({ version: 'v4', auth: authClient });
  
  const dataRows = searchResults.map((result, index) => [
    index + 1,
    result.link,
    result.title,
    result.snippet
  ]);

この部分で、指定したキーワードにおける検索結果を取得し、スプレッドシートに書き込むために成形しています。特別難しいことはなく、writeToSpreadsheet関数のresultに、取得した結果が格納されています。その中から、ページのURLに該当するlink、ページのタイトルに該当するtitle、ページのディスクリプションに該当するsnippetを今回は抽出しています。

あとは、Craft Functionsを実行するための設定も必要になります。今回は、KARTEで閲覧や購入など何かイベントが発生した際に発動するのではなく、1ヶ月か2ヶ月に1回程度の定期実行が一般的かと思われるので、その設定方法をご紹介します。

スクリーンショット2024-02-1318.25.41.png

Craft Functionsの設定タブを開きます
スケジュールを有効化し、cron形式（JST）で実行時間を指定します

cron形式（JST）についてここで詳しくは説明しませんが、例えば毎月1日の11時に実行したい場合は、0 11 1 * *と入力して保存してください。とりあえずすぐ動かして実行結果を確認したい場合は、1分ごとに毎回実行される* * * * *を入力してみてください。入力欄の下に例があるので、そんなに難しくはないと思います。

ここまでできたら、Craft Functionsを有効化して保存してください。

検証

実際にCraft Functionsを実行して、指定したキーワードにおける検索上位トップ10が、スプレッドシートに出力されるか見てみましょう。特に出力時の条件分岐は設けていないので、エラーが出ない限りは必ず出力されるはずです。

スクリーンショット2024-02-2715.22.19.png

よければ、キーワードを色々変えて、どのような結果になるか試してみてください。ただし以前に述べたように、Custom Search APIは無料で使える1日のリクエスト数に上限があるため、そこだけお気をつけください。

おわりに

今回は、Craft FunctionsからCustom Search APIを使って、特定のキーワードでの検索結果をGoogleスプレッドシートに出力する方法をご紹介しました！次回以降は、Custom Search APIのもう少し高度な使い方を紹介したり、他のAPIやライブラリも組み合わせたソリューションを紹介していきますのでお楽しみに！

プレイドでは、世の中にインパクトを与える新しいソリューションを一緒につくる仲間を募集しています！ぜひ気軽にお問い合わせください。

↓ パートナー企業になりたい

CustomerData-Driven Solution を一緒に創りませんか？ | PLAID Ecosystem

↓ PLAIDで働きたい