WEBクローラーの設定方法
概要
このチュートリアルでは、KurocoのWEBクローラー機能を使って外部Webページをクロールし、収集した内容をKurocoのコンテンツとして取り込む手順を説明します。
WEBクローラーは、bot（クローラー）が指定したWebページを巡回し、テキスト・画像・ファイルなどを収集してKurocoのコンテンツに取り込む機能です。収集したコンテンツはKuroco RAGのベクトルデータに変換してAIの回答に利用したり、差分検知と組み合わせて更新通知に利用したりできます。
このチュートリアルでは、Kuroco公式ドキュメントサイトの更新情報ディレクトリ（https://kuroco.app/ja/docs/update/）を対象に、リリースノート（release-note-*）を除外してクロールする例を扱います。この設定では2ページ（Kuroco リリースロードマップとKurocoのバージョン管理について）のみがクロールされます。
学べること
このチュートリアルを終えると、次のことができるようになります。
- 収集対象のWebページを指定したWEBクローラーを作成する
- クロール結果の保存先となるコンテンツ定義を作成し、クローラーと連携する
- クロールを手動で実行し、履歴と収集結果を確認する
- クロール結果をAIの回答や更新通知に活用する方法を理解する
前提条件
- Kurocoアカウント: 有効なKurocoアカウントが必要です。アカウントをお持ちでない場合は、無料トライアルからアカウント登録してください。
クローラーの設定
まず、収集対象のWebページを定義するWEBクローラーを作成します。
1. WEBクローラー一覧を開く
管理画面の左メニューから[チャネル] -> [WEB] -> [WEBクローラー]をクリックします。
WEBクローラー一覧が表示されます。右上の[+ 追加]をクリックすると、WEBクローラー編集画面が開きます。
2. 基本設定を入力する
[基本設定]で以下を設定します。
| 項目 | 入力値 |
|---|---|
| タイトル | Crawl Test（任意の識別名） |
| ステータス | 「有効にする」をオンにします |
| クロール対象 | 「WEBページをクロール」を選択します |
| クロール数制限 | 0（無制限）のままにします |
3. 収集設定を入力する
今回はテキストを収集するため、[テキストデータ収集]をオンにします。ファイルや画像を収集する場合は、あわせて[ファイル収集（PDFやOfficeファイル）]や[画像収集する]をオンにします。
4. WEBページのクロール設定を入力する
クロール対象に「WEBページをクロール」を選択すると、[WEBページのクロール設定]が表示されます。今回の例では以下を設定します。
| 項目 | 入力値 |
|---|---|
| 開始URL | https://kuroco.app/ja/docs/update/kuroco-roadmap/ |
| 許可されているURL | https://kuroco.app/ja/docs/update/ |
| 拒否されるURL | https://kuroco.app/ja/docs/update/release-note- |
| リンクの追跡 | オンにします |
[開始URL]からクロールを開始し、[リンクの追跡]でページ内のリンクをたどります。[許可されているURL]で/ja/docs/update/配下のみに対象を限定し、[拒否されるURL]でリリースノート（release-note-*）を除外します。
5. 保存する
画面を一番下までスクロールし、[更新する]をクリックして保存します。
コンテンツ定義の設定
次に、クロール結果を保存するコンテンツ定義を作成し、手順で作成したクローラーと連携します。
1. コンテンツ定義を追加する
左メニューの[コンテンツ定義]を開き、右上の[+ 追加]をクリックします。
2. データ種別を「クローリング」にする
コンテンツ定義名を入力し、[全般]タブの[データ種別]で「クローリング」を選択します。クロール結果の保存に必要な項目は自動で追加されるため、項目設定は変更しないでください。
[クローリング]タブは、[データ種別]で「クローリング」を選択すると左サイドバーに表示されます。選択しない場合はタブが表示されません。
3. 連携クローラーを設定する
左サイドバーの[クローリング]をクリックし、以下を設定します。
| 項目 | 入力値 |
|---|---|
| Webページを有効にする | オンにします |
| 連携クローラー設定 | 「クローラーの設定」で作成したクローラーを選択します |
[+ 追加する]をクリックして保存します。保存後、Contents・URL・ハッシュ値・言語・画像・last-modifiedなどの項目が自動で追加されます。
[連携クローラー設定]には、すでに作成済みのクローラーが表示されます。
クロールの動作確認
クロールを実行
コンテンツ定義との連携が完了したら、クロールを手動で実行して結果を確認します。
左メニューの[チャネル] -> [WEB] -> [WEBクローラー]から作成したクローラーのタイトルをクリックして編集画面を開きます。
右上の[クロールを実行]をクリックします。
ステータスを「有効」にしても自動ではすぐに実行されません。初回の動作確認は[クロールを実行]で手動実行してください。
履歴の確認
WEBクローラー編集画面の右上にある[履歴]をクリックすると、実行履歴が確認できます。
反映までタイムラグがあるため、[リロードする]をクリックして最新の状態を確認します。ステータスが完了に変わり、クロール数が表示されれば成功です。今回の設定では、[Kuroco リリースロードマップ]と[Kurocoのバージョン管理について]の2ページがクロールされます。
コンテンツの確認
左メニューから、連携先のコンテンツをクリックします。クロールで収集されたページがコンテンツとして登録されていることを確認できます。
各コンテンツを開くと、Markdown形式に変換された本文やURLなどが格納されていることを確認できます。
WEBクローラーには差分検知の仕組みがあり、再クロール時に前回と内容が変わっていないページは更新されません。すべてのページを強制的に更新する場合は、クローラーの[基本設定]で[強制更新]をオンにします。
クロール結果の活用例
AIからの回答として使用する
クロールしたコンテンツはKuroco RAGのベクトルデータに変換できるため、AI/RAG機能と組み合わせて活用できます。例えば、製品ドキュメントサイトをクロールしたコンテンツをもとに、ユーザーからの質問にAIが回答できるようになります。
- [AI] -> [ベクトルデータ]でベクトルデータが生成されていることを確認します。
- チャットボットのAPIを設定し、クロールしたコンテンツ定義をデータソースとして指定します。
チャットボットの設定方法については、以下のドキュメントを参照してください。
更新通知として使用する
差分検知の仕組みとカスタム関数を組み合わせると、更新通知の仕組みを構築できます。例えば、コンテンツ定義のカスタム関数トリガーに{sendmail}や{slack_post_message}を設定すると、クロール対象ページに変更があった際に通知を送れます。
また、より細かい頻度でクロールを自動実行したい場合は、Smartyプラグイン{kick_spider}とバッチ処理を組み合わせる方法があります。詳しくはkick_spiderを参照してください。
関連ドキュメント
サポート
お探しのページは見つかりましたか？解決しない場合は、問い合わせフォームからお問い合わせいただくか、Slackコミュニティにご参加ください。