こんにちは、Customer Engineerの神谷です！ふるさと納税で手に入れた塩サバがまだ大量にあったので、週末にサバの南蛮漬けを作ってみました。南蛮漬けには酢が入るため、冷蔵庫でそれなりに日持ちするので、作り置きのおかずとしてピッタリなんですよ。塩サバには下味がついているから調理も楽で、少量の油で揚げ焼きにすればすぐできます。ちなみに南蛮漬けに使うのは、小麦粉ではなく片栗粉派です。

さて今回は、Craft FunctionsからCustom Search APIを使い、複数のサイトのコンテンツギャップ解析を行う方法をご紹介します。そもそもCustom Search APIってなんだという方は、こちらの記事の冒頭で簡単に説明しているので、まずそちらをご覧ください。

コンテンツギャップ解析とは？

Custom Search APIについて、その概要をご理解いただいたら、今回のソリューションについて話を進めます。まず最初に具体的なアウトプットをお見せした方が、理解しやすいと思いますので、それを以下に示します。

スクリーンショット2024-03-0415.09.06.png

今回のアウトプットでは、3つのドメインを指定し、それぞれのサイトに含まれるコンテンツの中から、特定のキーワードを含むものを10件ずつ、Googleスプレッドシート（以下、スプレッドシート）に出力しています。ちなみに指定したキーワードは、「東京駅ラーメン」です。このキーワードを、タイトルや本文のどこかに含むコンテンツを抽出しています。こうすることによって、同じキーワードでもそれぞれのサイトがどんなコンテンツを持っているか、その違いが明らかになります。これがコンテンツギャップです。

次に、コンテンツギャップの解析について説明していきます。上記のアウトプットのように、複数のサイトから同一キーワードやトピックに関するコンテンツを抽出し、それらのギャップを解析することで、以下のような施策に役立つのではと私は考えております。

自社のサイトで不足しているコンテンツがわかり、新規コンテンツ制作戦略立案に役立つ

同一キーワードやトピックにおける複数サイトのコンテンツを見ることで、他社が提供しているのに自社にないコンテンツを発見し、これらのギャップを埋めるためのコンテンツ戦略立案に役立ちます。例えば、以下のような場合が挙げられます。

ECサイトやグルメサイト
- これらは同一ジャンルに多数のコンテンツがあるので、他社で売っているけど自社では販売してなかったり、他社には掲載されているのに自社には載ってなかったりといった状態を明らかにし、その場合の改善策立案を立てやすくするでしょう
ニュースサイトやメディアプラットフォーム
- トレンドや最新ニュースに関するコンテンツを提供するサイトは、コンテンツギャップ解析を利用して、未報道のトピックや独自の視点を提供するコンテンツを作成することができるでしょう
B2B企業のオウンドメディア
- コンテンツギャップ解析の結果を元に、業界のニーズや疑問に応えるコンテンツを作成することで、専門性を示し、リード獲得に役立つでしょう

他社と比較することで、既存のコンテンツ改善にも役立つ

他社と自社のコンテンツを見比べた際、テーマはほぼ同じでもその質において他社に良いところがあれば、その部分は参考にするなど、既にあるコンテンツに関してもより良くしていくことができるでしょう。丸パクリは当然ダメですが、書き方や写真の撮り方など、参考にできる部分があると思います。

つまり、Custom Search APIを使って、複数のサイトが持つそれぞれのコンテンツギャップ解析を実行することで、良質なコンテンツ作成に役立てられるはずです。そうやって良質なコンテンツを作ることで、SEOで上位を狙ったり、より多くのコンバージョン獲得にも繋げられると思います。

アウトプットイメージと構成図

ここまでで、コンテンツギャップ解析とそれを実行する意義をご理解いただいたら、改めて最終的なアウトプットを見てみましょう。今回は「東京駅ラーメン」を含むコンテンツを、3つのサイトから10件ずつ抽出してみました。このキーワードを選んだことに、特に深い意味はありません。私がこの周辺で、よくラーメンを食べているからという理由だけです。

スクリーンショット2024-03-0415.09.06.png

抽出しているのは、タイトル・URL・ディスクリプションの3つです。タイトルやディスクリプションに直接「東京駅ラーメン」を含まないコンテンツもあるものの、これはCustom Search APIの検索条件が、本文も対象になっているからです。もし、検索対象をタイトルだけにしたいなどの場合は、一旦全て抽出したうえで、更にそこからタイトルに該当キーワードを含むものだけに絞る処理が必要で、それについては今回は割愛します。

スクリーンショット2024-03-0411.45.24.png

また、構成図は上の通りです。構成自体は極めてシンプルで、Craft Functionsを起動してCustom Search APIを利用し、複数のサイト内における検索結果を返します。そしてその結果を、スプレッドシートに出力するだけです。

注意点

前提として、次の点に注意をしてください。以前のCustom Search APIの記事とほぼ同じですが、改めて書いておきます。

検索結果は、その人のブラウザや端末によって変わる可能性があります
- 特に端末の位置情報をオンにしている場合、それを考慮した検索結果になることがあります
- Custom Search APIを使った場合、そういった条件は無視して一般論における検索結果が出てくるとお考えください
Custom Search APIには、1日に使用できる無料枠の上限があります
- 2024年3月初頭現在、GCPプロジェクトのCustom Search APIのページを見ると、無料枠は1日に100件の検索リクエストとなっています
- 例えば今回のように、1つのキーワードに対して3つの記事から上位10件を抽出する場合、1日に3回までなら合計リクエスト数が90回となり、無料枠の範囲内に収まります

設定手順

設定の手順は次の通りです。

Googleサービスアカウントを作成する
Custom Search APIとGoogle Sheets APIを有効化する
Custom Search Engineを取得する
GCPプロジェクトでAPIキーを取得する
Googleサービスアカウントに対象スプレッドシートへの権限を付与する
GoogleサービスアカウントのJSONキーファイルの中身を Craft Secret Manager に登録する
Custom Search APIを使って複数のサイトにおける検索結果を取得しスプレッドシートに出力するためのCraft Functionsを作成する

1. Googleサービスアカウントを作成する

GoogleのサービスでAPIを利用するために、Googleサービスアカウントを作成します。

Google Cloudのコンソール画面を開く
- アカウントやプロジェクトが無い場合は作成してください
[IAMと管理 > サービスアカウント > サービスアカウントを作成] から適当な名称のサービスアカウントを作成

スクリーンショット2023-08-1413.15.34.png

作成したサービスアカウントを選択し、[キー > 鍵を追加 > 新しい鍵を作成] からJSON形式のキーファイルをダウンロード

スクリーンショット2023-08-1413.16.12.png

ダウンロードしたキーファイルは、後の手順で利用します。

2. Custom Search APIとGoogle Sheets APIを有効化する

続いてCustom Search APIとGoogle Sheets APIを有効化します。その利用にあたっては、GCPプロジェクトを利用する必要があります。

スクリーンショット2024-02-0517.37.21.png
スクリーンショット2024-02-2114.16.12.png
スクリーンショット2023-08-1413.10.10.png

適当なGCPプロジェクトを作成または選択し、[APIとサービス > 有効なAPIとサービス > APIとサービスの有効化またはライブラリ] からCustom Search APIとGoogle Sheets APIを検索し、有効化します。

3. Custom Search Engineを取得する

単にCustom Search APIを有効化しただけではまだ使うことはできず、Custom Search Engineを取得する必要があります。

スクリーンショット2024-02-2714.58.02.png

まず、Custom Search Engineの設定画面にアクセスしてください
赤枠で囲った、右上の追加ボタンをクリックします

スクリーンショット2024-02-2715.00.09.png

検索エンジン名は、適当な名前をつけてください
検索の対象は、特定のサイトまたはページを検索を選択し、何か適当なURLを入力します
今回は便宜的にhttps://www.google.co.jp/を入れていますが、後で削除するので何でもいいです
下の作成ボタンを押して、カスタム検索エンジンを作成します

スクリーンショット2024-02-2715.10.14.png

カスタム検索エンジンが完了すると上の画面が出ますが、表示されたコードは今回は使いません
その右下のカスタマイズを押してください

スクリーンショット2024-02-2715.01.10.png
スクリーンショット2024-02-2715.15.19.png

作成したカスタム検索エンジンの概要が出てくるので、検索エンジンIDを控えておいてください
同じ画面で少し下にスクロールして、検索するサイトを見てください
カスタム検索エンジン作成時に入力した検索対象のURL、今回の例ではwww.google.co.jp/を削除します

4. GCPプロジェクトでAPIキーを取得する

続いて、Custom Search APIを有効化したのと同じGCPプロジェクト内で、APIキーを取得する必要があります。

スクリーンショット2024-02-0213.34.24.png
スクリーンショット2024-02-0213.35.15.png

APIとサービス > 認証情報の順にクリックします
上の方にある認証情報を作成をクリックし、APIキーを選択します
するとAPIキーが生成されるので、それをコピーします

取得したAPIキーはCraft Functions作成時に必要なので、忘れずに取っておきましょう。

5. Googleサービスアカウントに対象スプレッドシートへの権限を付与する

Google Sheets APIを有効化したとしても、個別のスプレッドシートに対して自由にアクセスできるわけではありません。スプレッドシート毎に、対象のGoogleサービスアカウントに対して権限を付与する必要があります。

対象スプレッドシートを開き、右上の [共有]ボタンをクリック

スクリーンショット2023-08-1514.20.04.png

ダウンロードしたキーファイルに含まれるclient_emailの値を入力し、権限には [編集者] を選択して [送信]

6. GoogleサービスアカウントのJSONキーファイルの中身を Craft Secret Manager に登録する

Googleサービスアカウントの認証情報をCraft Functionsから安全に利用するために、Craft Secret Manager に登録します。

[Craft > シークレット] からシークレットを新規作成
[名前] に、わかりやすい名前を入力
ダウンロードしたJSONキーファイルの中身を [シークレットの値] にそのまま入力し、作成
シークレット名をメモしておく

7. Custom Search APIを使って複数のサイトにおける検索結果を取得しスプレッドシートに出力するためのCraft Functionsを作成する

Craft Functionsのファンクションを作成します。作成手順は次の通りです。

[Craft > ファンクション > 新規作成 > テンプレートから作成] を選択
「 Craft FunctionsからCustom Search APIを使って、複数のサイトのコンテンツギャップ解析を行う 」というテンプレートを検索し[取得]ボタンをクリック
[反映] ボタンをクリック
[変数] タブで次の変数の値を設定する
- GCP_API_KEY
  - 取得しておいたAPIキーの値を入力します
- CUSTOM_SEARCH_ENGINE_ID
  - 取得しておいた検索エンジンIDの値を入力します
- TARGET_KEYWORD
  - 検索結果を取得したいキーワードを指定します
- SEARCH_TARGET_SITES
  - 検索対象とするサイトのドメインをカンマ区切りで指定します
- SERVICE_ACCOUNT_KEY_SECRET
  - 利用するGoogleサービスアカウントのJSONキーを登録したシークレットの名前です
- SPREADSHEET_ID
  - 出力先となるスプレッドシートのシートIDです
  - URLがhttps://docs.google.com/spreadsheets/d/123456789/editの場合、123456789がそれに該当します
- SHEET_NAME
  - 出力先となるスプレッドシートのシート名です
- MAX_RECORDS
  - スプレッドシートに出力される行数の最大値です
- [設定 > ファンクションの有効化] にチェックを付けて [保存]

なお、テンプレートのソースコードはGitHubで公開しています。
craft-codes/craft-functions/custom-search-api-content-gap-spreadsheet at main · plaidev/craft-codes

ここから、Craft Functionsのコードで重要な部分について、かいつまんでご説明します。

まず、冒頭のSEARCH_TARGET_SITES変数で、検索対象とするサイトのドメインを指定しています。上で述べたように、カンマ区切りでドメインを指定してください。

example1.com,example2.com,example3.com

Craft Functionsの中に直接埋め込むこともできるものの、こうやって変数としてカンマ区切りで指定することで、検索対象のサイトを変えたり、その数を増やしたり減らしたりといったことも簡単にできます。こうすればプログラミングに慣れない方でも、間違った部分を編集してエラーが出てしまうようなリスクを減らせるでしょう。

// スプレッドシートに結果を記入する関数
async function appendResultsToSpreadsheet(
  spreadsheetId,
  sheetName,
  searchResults,
  columnIndex,
  authClient
) {
  const sheets = google.sheets({ version: 'v4', auth: authClient });

  await sheets.spreadsheets.values.clear({
    spreadsheetId,
    range: `${sheetName}!B2:Z`,
  });

  const values = searchResults.map(item => [`${item.title}\n${item.link}\n${item.snippet}`]);

  const CodeOfB = 'B'.charCodeAt(0);
  const range = `${sheetName}!${String.fromCharCode(CodeOfB + columnIndex)}2:${String.fromCharCode(CodeOfB + columnIndex)}${1 + values.length}`;

  await sheets.spreadsheets.values.update({
    spreadsheetId,
    range,
    valueInputOption: 'USER_ENTERED',
    resource: {
      values,
    },
  });
}

async function fetchAndAppendSearchResults(site, index, authClient, logger) {
  const urlWithParams = constructSearchUrl(
    GCP_API_KEY,
    CUSTOM_SEARCH_ENGINE_ID,
    TARGET_KEYWORD,
    site
  );

  try {
    const searchResults = await fetchData(urlWithParams);
    if (searchResults.items && searchResults.items.length > 0) {
      await appendResultsToSpreadsheet(
        SPREADSHEET_ID,
        SHEET_NAME,
        searchResults.items,
        index,
        authClient
      );
    } else {
      logger.info(`このサイトには該当コンテンツがありませんでした: ${site}`);
    }
  } catch (error) {
    logger.error(`このサイトでの検索時にエラーが発生しました。 ${site}: ${error.message}`);
  }
}

この部分で、それぞれのドメインから指定されたキーワードを含むコンテンツを抽出し、それをスプレッドシートに書き込んでいます。もしスプレッドシートに別の項目が入っていた場合は、まずそれを削除し、改めてデータを書き込むようになっています。

あとは、Craft Functionsを実行するための設定も必要になります。今回は、KARTEで閲覧や購入など何かイベントが発生した際に発動するのではなく、1ヶ月か2ヶ月に1回程度の定期実行が一般的かと思われるので、その設定方法をご紹介します。

スクリーンショット2024-02-1318.25.41.png

Craft Functionsの設定タブを開きます
スケジュールを有効化し、cron形式（JST）で実行時間を指定します

cron形式（JST）についてここで詳しくは説明しませんが、例えば毎月1日の11時に実行したい場合は、0 11 1 * *と入力して保存してください。とりあえずすぐ動かして実行結果を確認したい場合は、1分ごとに毎回実行される* * * * *を入力してみてください。入力欄の下に例があるので、そんなに難しくはないと思います。

ここまでできたら、Craft Functionsを有効化して保存してください。

検証

実際にCraft Functionsを実行して、指定した複数のサイトにおける特定のキーワードを含むコンテンツが、10件スプレッドシートに出力されることを確認してみましょう。特に出力時の条件分岐は設けていないので、エラーが出ない限りは必ず出力されるはずです。

スクリーンショット2024-03-0415.09.06.png

余裕があれば、キーワードやドメインを変えて、どのような結果が得られるか検証してみてください。ただし以前に述べたように、Custom Search APIは無料で使える1日のリクエスト数に上限があるため、そこだけお気をつけください。

おわりに

今回は、Craft FunctionsからCustom Search APIを使って、複数のサイトのコンテンツギャップ解析を行う方法をご紹介しました！Custom Search APIを使うと、自社サイトのコンテンツの状況を客観的に見ることができて便利ですね。1日の無料枠の上限には気をつけつつ、上手く扱っていきたいです。Custom Search APIのより面白い使い方が見つかれば、また皆さんに共有したいと思います。

プレイドでは、世の中にインパクトを与える新しいソリューションを一緒につくる仲間を募集しています！ぜひ気軽にお問い合わせください。

↓ パートナー企業になりたい

CustomerData-Driven Solution を一緒に創りませんか？ | PLAID Ecosystem

↓ PLAIDで働きたい