簡易商品マスタをKARTEのイベントから自動生成する

<html><head></head><body>こんにちは、PLAIDでCustomer EngineerをしておりますUGと申します。
最近はきゅうりの漬物にハマっており、毎日つけてはポリポリ食べております。
（Customer Engineerがどんな職種か気になった方は、ぜひ<a href="https://blog.plaid.co.jp/n/n6d87538d003f" target="_blank" rel="noreferrer">こちら</a>をご一読ください。）
<h1 id="概要">概要</h1>
本日はKARTEからS3バケットに対して、ジョブフローを用いてデータ連携する際にAssume Role With WebIdentityを使用して、AWS側で作成したIAM RoleにAssume RoleしてS3バケットにアクセスする方法に関して紹介していきます。
これによりシークレットアクセスキーを使用せず、S3を介したDatahubへのデータ連携が可能になります。 
シークレットアクセスキーの使用を避けることで、アクセスキーの流出リスク等々を解消できるため、よりセキュアに便利にアクセスすることができます。
（今回紹介する連携方法はKARTE側から払い出したS3ではご利用頂けませんのでご了承ください。）
<h1 id="構成図">構成図</h1>
今回の構成図は下記の通りです。 
<img src="https://ik.imagekit.io/plaid/be061bf6-63ca-4061-b219-651a0c8829e6/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2114.33.59.png" alt="スクリーンショット2023-08-2114.33.59.png">
シークレットアクセスキーで認証して、KARTE側からS3側にデータ連携をする際の構成図と変わりはほとんどありませんが、S3バケットにアクセスする際のアクセス方法にAssume Roleを使用することだけ違います。
<h1 id="手順">手順</h1>
今回のSolution Blogのハンズオンの手順は下記の通りです。
（本ハンズオンは検証で使用できるAWSアカウントを開設していることを前提にしています。）
<ol>
<li>検証用のAWS環境に接続用のS3バケットを作成</li>
<li>検証用のAWS環境に新規のIAM Roleを作成</li>
<li>1で作成したIAM Roleを使用して、S3バケットに接続するためのDatahub側の設定を行う</li>
<li>DatahubからサンプルのファイルをS3バケットに対して連携する</li>
</ol>
既にご自身のAWS環境に検証用のS3バケットがある場合は、手順の1を読み飛ばして頂けますと幸いです。
<h1 id="AWS側でS3バケットを作成">AWS側でS3バケットを作成</h1>
※既に検証用のS3バケットが用意されている場合はこちらの章は読み飛ばしてください。
ご自身のAWSマネージメントコンソールにログインしてください。
その際にS3バケットを新規に作成できるロールであることを確認してください。
ログインが完了したら、Home画面上部の検索バーからS3と検索してS3の設定画面に遷移してください。その後、S3の設定画面から「バケットを作成」をクリックしてください。 
<img src="https://ik.imagekit.io/plaid/f653f0ac-76ee-4fc6-a7ff-ac2347e03092/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2115.03.24.png" alt="スクリーンショット2023-08-2115.03.24.png">
バケットの新規作成画面に遷移したら、下記の画像を参考にS3バケットを新規に作成してください。
バケット名、リージョン、タグ等の詳細な設定はご自身の環境に合わせて、適宜変えてください。 
<img src="https://ik.imagekit.io/plaid/8fd54b8a-d428-4afe-ba9b-969299347031/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2114.58.56(1).png" alt="スクリーンショット2023-08-2114.58.56(1).png"> 
<img src="https://ik.imagekit.io/plaid/2a6a34d9-1aee-4aa1-81ab-640ab323b0d9/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2114.59.09.png" alt="スクリーンショット2023-08-2114.59.09.png"> 
<img src="https://ik.imagekit.io/plaid/c624d46b-ec98-4e34-bf6a-ba0e66cd552f/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2114.59.29.png" alt="スクリーンショット2023-08-2114.59.29.png">
設定が完了したら、最後に「バケットを作成」をクリックして、設定したバケットが作成されているかを確認してください。
<h1 id="AWS側でIAM Roleを作成">AWS側でIAM Roleを作成</h1>
ご自身のAWSマネージメントコンソールにログインしてください。
その際にIAM Roleを新規に作成できるロールであることを確認してください。
ログインが完了したら、Home画面上部の検索バーからIAMと検索してIAMの設定画面に遷移してください。その後、左側のナビゲーションバーからロールを選択して、「ロールの作成」をクリックしてください。
<img src="https://ik.imagekit.io/plaid/b792cca5-d942-4426-8fc1-626e6d31dc58/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2116.22.58.png" alt="スクリーンショット2023-08-2116.22.58.png">
ロールの新規作成画面に遷移したら、<a href="https://developers.karte.io/docs/s3#aws%E5%81%B4%E3%81%AE%E8%A8%AD%E5%AE%9A" target="_blank" rel="noreferrer">IAM Role作成のドキュメント</a>を参考にIAM Roleを作成してください。
作成したら、IAM RoleのARNのコピーしておいてください。後続の設定で使用します。
<h1 id="作成したIAM Roleを使用して、S3バケットに接続するためのDatahub側の設定を行う">作成したIAM Roleを使用して、S3バケットに接続するためのDatahub側の設定を行う</h1>
ここから、作成したIAM Roleを使用して、S3バケットにアクセスするために必要なDatahub側の設定をしていきます。設定方法に関してはこちらのサポートサイトは<a href="https://developers.karte.io/docs/amazon-s3#datahub%E3%82%B8%E3%83%A7%E3%83%96%E8%A8%AD%E5%AE%9A" target="_blank" rel="noreferrer">こちら</a>
ジョブフローの設定画面から「接続先の作成・管理」をクリックしてください。 
<img src="https://ik.imagekit.io/plaid/3212d666-6ee7-4850-a3a3-0dcdb16dc7c5/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2116.54.53.png" alt="スクリーンショット2023-08-2116.54.53.png">
作成＞Amazon S3を選択してください。 
<img src="https://ik.imagekit.io/plaid/4d6bffa7-600a-46dd-9ea4-0910232f73eb/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2117.03.46.png" alt="スクリーンショット2023-08-2117.03.46.png">
先ほど作成したIAM RoleのARNをロールARNの欄にペーストしてください。 
<img src="https://ik.imagekit.io/plaid/7267af08-b7b5-49ed-a37d-9d1a1a433e3f/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2811.30.07.png" alt="スクリーンショット2023-08-2811.30.07.png">
これで検証用のS3に対して、IAM Roleでアクセスする準備は完了です。
ジョブフローを用いて、実際にファイルを連携してみましょう。
<h1 id="DatahubからサンプルのファイルをS3バケットに対して連携する">DatahubからサンプルのファイルをS3バケットに対して連携する</h1>
下記の画像を参考にジョブフローを設定してください。
接続先は先ほど設定した、S3の接続先をご使用ください。
バケット名はAWS側で作成したものをペーストしてください。
ファイルパス等々はご自身の環境に合わせて、適宜変えてください。 
<img src="https://ik.imagekit.io/plaid/66b7df4b-25f1-4af3-ad87-46a5bb3f8e03/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2117.18.46.png" alt="スクリーンショット2023-08-2117.18.46.png">
設定が完了したら、接続の確認ボタンを押してください。
設定が間違っていない場合、成功と表示されます。 
<img src="https://ik.imagekit.io/plaid/3e390965-7047-4202-8320-af6e489bbe61/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2117.27.22.png" alt="スクリーンショット2023-08-2117.27.22.png">
ここまでの設定が完了したら、保存して、ジョブフローを実行してください。
問題なければ、実行済みと表示されます。 
<img src="https://ik.imagekit.io/plaid/a3700eb2-fc71-4a83-8dd4-2ca6d73844c3/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2117.34.15.png" alt="スクリーンショット2023-08-2117.34.15.png">
実行済みと表示されたら、念の為、S3バケットの設定画面でファイルが連携されていることを確認してください。先ほど、設定したファイルが連携されています。 
<img src="https://ik.imagekit.io/plaid/bfc87f01-6d91-45c8-895e-f530fb57eabd/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%882023-08-2117.36.48.png" alt="スクリーンショット2023-08-2117.36.48.png">
<h1 id="最後に">最後に</h1>
ここまでで、IAM Roleを使用してDatahubからS3バケットにアクセスする方法を紹介してきました。
この方法により、今まではシークレットアクセスキーで認証していたものから、よりセキュアに柔軟にご自身のS3バケットに対してアクセスできるようになります。
皆様も是非試してみてください！
<hr>
プレイドでは、世の中にインパクトを与える新しいソリューションを一緒につくる仲間を募集しています！ 
ぜひ気軽にお問い合わせください。
↓ パートナー企業になりたい
<ul>
<li><a href="https://ecosystem.plaid.co.jp/" target="_blank" rel="noreferrer">CustomerData-Driven Solution を一緒に創りませんか？ | PLAID Ecosystem</a></li>
</ul>
↓ PLAIDで働きたい
<ul>
<li><a href="https://recruit.plaid.co.jp/requisitions/general-customer-engineer" target="_blank" rel="noreferrer">Customer Engineer | 募集ポジション | 株式会社プレイド</a></li>
<li><a href="https://recruit.plaid.co.jp/requisitions/product-engineer" target="_blank" rel="noreferrer">Product Engineer | 募集ポジション | 株式会社プレイド</a></li>
</ul>
</body></html>

KARTEからS3バケットに対して、ジョブフローを用いてデータ連携する際にAssume Role With WebIdentityを使用して、AWS側で作成したIAM RoleにAssume RoleしてS3バケットにアクセスする方法に関して紹介していきます。

Assume Roleを使ってDatahubからS3に安全にアクセスする