Schedulerのコツ

概要

Scheduler ページでは、Extractor で作成したパーサーを登録し、データ収集タスクを自動実行できます。
例えば、PR TIMESのデータを毎日午前7時に自動で取得するよう設定することで、定期的な情報収集が可能になります。

本ページでは、Schedulerの設定方法と、効果的に活用するためのコツを解説します。
Extractor および Scheduler の基本設定については、下記の記事をご覧ください。

Schedule_Name

最初の項目は 「Schedule_Name（スケジューラーの名前）」です。
この名前は後から一覧で見たときに、どのスケジュールがどんな役割を持っているのかをすぐに把握できるよう、具体的かつ分かりやすいものに設定しましょう。
例えば、「PR TIMES_Daily_7AM」のように詳細な名前をつけることで、運用時の混乱を防ぎ、スムーズな管理に役立ちます。

Memo

次に、「Memo」 項目です。
ここは必須ではありませんが、スケジュールの補足情報や作成意図などを自由に記載できるメモとしてご活用ください。

Schedule

基本操作

次は「Schedule」 項目です。
ここでは、データ収集タスクを実行する日時を設定します。毎月1日や毎日といった頻度に加え、曜日単位での選択、さらに5分単位での詳細な時刻設定が可能です。
これにより、例えば「毎月1日の夜に実行」「毎日午前7時に実行」「毎週月曜日のみ実行」など、柔軟なスケジュール設定が行えます。

「Schedule」の横にある「Schedule Setting」 ボタンを押すと、データ収集タスクの実行日時を詳細に設定する画面が表示されます。

ここでは、主に以下の項目を設定します。

• 「Select type（規模）」：タスクの実行規模（Large / Small）を設定します。
• 「Select type（頻度）」：日付（Date number）で指定するか、曜日（Weeks）で指定するかを選択します。
• 「Date number」を選択すると、毎月1日などの日付を指定できます。
• 「Weeks」を選択すると、特定の曜日を選択できます。
• 「Select week」：実行したい曜日を複数選択します。
• 「Select hour」：実行したい時間を0時から23時までの間で選択します。
• 「Select minute」：実行したい分を0分から55分まで5分刻みで選択できます。

例えば、PR TIMESのデータを毎日午前7時に取得したい場合は、以下のように設定します。

• 「Select type（規模）」：で「Small」を選択。
• 「Select type（頻度）」で「Weeks」を選択。
• 「Select week」で「Mon」から「Sun」まですべての曜日を選択（または「Add all」ボタンで一括選択）
• 「Select hour」で「7」を選択
• 「Select minute」で「0」を選択

コツ

以下のような設定で Scheduler を効果的に活用できます。

• 平日のみのデータ収集：
  • 「Select type（頻度）」で「Weeks」を選択し、「Select week」で月曜日から金曜日のみを選択します。これにより、週末の不要な実行を避け、平日ビジネス時間内の情報収集に特化できます。
• 毎月月初めの定期的な取得：
  • 月次レポート用のデータなど、毎月特定の日に取得したい場合は、「Select type（頻度）」で「Date number」を選択し、該当する日付（例：1日）を指定します。
• システム負荷を考慮した深夜実行：
  • Webサイトへの負荷を最小限に抑えたい場合や、日中のリソースを温存したい場合は、「Select hour」で2時や3時などの深夜時間帯を指定するのが効果的です。
• 特定の時間帯での集中収集：
  • 例えば、午前9時から9時30分の間に集中的にデータを取得したい場合は、「Select hour」で「9」を選択し、「Select minute」で「0」「5」「10」「15」「20」「25」のように複数選択することも可能です。

Select URL

基本操作

続いては「Select URL」 項目です。
こちらのボタンを押すと、データを収集したいURLを設定する画面が開きます。
特別なコツというよりも、スクレイピングを実行したい Web サイトの URL を正確に入力することが最も重要です。収集したい対象の URL を一つずつ追加し、正しいターゲットを設定しましょう。

開いた画面の Add URL 欄に収集したい Web サイトの URL を挿入（追加）してください。複数の URL を追加する場合は、それぞれを改行して入力することが可能です。
全ての URL の入力が完了したら、画面上部の「Add」 ボタンで設定を確定します。URL の挿入を確認し、「OK」ボタンで URL 設定が完了します。

コツ

正しいデータ収集のためには、以下の点にご注意ください。

• URL の入力ミス（タイプミス・コピペミス）：
  • 最も起こりやすい問題です。URL の一部が間違っていると、意図しないページを参照したり、データが全く取得できなかったりする原因となります。入力後は必ず正確性を確認しましょう。
• 動的なURLへの注意：
  • セッション ID や日付など、アクセスするたびに一部が変動する URL をそのまま登録すると、次回の実行時にエラーとなることがあります。固定部分のみを使用するなど、適切な形式で設定が必要です。
• Webサイト側の URL 変更：
  • 参照先の Web サイトがリニューアルや更新で URL 構造を変更した場合、設定していた URL ではデータが取得できなくなることがあります。定期的に動作確認を行うことをお勧めします。
• リダイレクト先の確認：
  • 入力した URL が自動的に別の URL へリダイレクトされる場合があります。最終的にデータを取得したいページに正しくアクセスできているかを確認しましょう。
• robots.txt の確認：
  • スクレイピング対象のWebサイトが robots.txt でデータ収集を禁止している場合があります。事前に確認し、規約を遵守することが重要です。

Select Parser

パーサーとは Web サイトからどのような情報を、どのように集めるかを指示する「データの設計図」のようなものです。ここでは、主に以下のように設定を進めます。（一覧ページから詳細ページを取得する場合）

• 一番上の「Select Parser」：
  • 最初にアクセスするページ（例えば、ニュースの一覧ページ）から、次に進むべきページの URL（例えば、各記事の詳細ページURL）を見つけるためのパーサーを選択します。
• その下の「Select Column」：
  • 1で選択したパーサーが取得する情報の中から、「次のパーサー（Next Select Parser）に渡したいURL（例：詳細ページURL）」を選択します。
• 「Next Select Parser」とその下の「Select Parser」：
  • 2で指定したURL（詳細ページURL）にアクセスし、そこから具体的なデータ（例：記事のタイトル、本文など）を収集するためのパーサーを選択します。

このようにStruccleでは、複数のパーサーを連携させることで、一覧ページから詳細ページへと順を追ってデータを深く収集していくことが可能です。

Select Parser と Select Column

まず、スクレイピングの起点となるパーサーを選択します。

【1-1. 最初の「Select Parser」：一覧ページから詳細URLを見つける】
添付画像のように、一番上の「Select Parser」のドロップダウンリストから、PR TIMESのプレスリリース「一覧ページ」を処理するパーサーを選択してください。（例：「PR_TIMES_一覧パーサー」）

このパーサーは、PR TIMESのトップページやカテゴリページなど、複数のプレスリリースが並んでいるページにアクセスし、それぞれのプレスリリースの「詳細ページURL」を抽出する役割を担います。

【1-2. 「Select Column」：詳細URLの指定】

次に、その下の「Select Column」のドロップダウンリストから、1-1で選択したパーサーが一覧ページから取得した情報の中から、「次にアクセスする詳細ページのURL」が格納されているカラム（列）を選択します。（例：「url」）

ここで指定されたカラムに含まれるURLが、次のステップで使う「詳細パーサー」の入力となります。
この設定が、一覧ページから個別の詳細ページへ移動するための「橋渡し」の役割を果たします

Next Select Parser

次に、1で指定した詳細URLにアクセスし、そこから具体的な情報を取得するためのパーサーを設定します。

【2-1. 「Next Select Parser」の「Select Parser」：詳細ページからデータを収集】

「Next Select Parser」の「Select Parser」のドロップダウンリストから、PR TIMESの各プレスリリースの「詳細ページ」を処理するためのパーサーを選択してください。（例：「PR_TIMES_詳細パーサー」）

このパーサーは、先ほど「Select Column」で指定した「詳細URL」を使って各プレスリリースの詳細ページにアクセスし、そのページから「タイトル」「本文」「発表日」などの具体的なデータを収集します。

このようにStruccleでは、「一覧ページ用のパーサー（Select Parser）で詳細ページのURLを取得し、そのURLを次の詳細ページ用のパーサー（Next Select Parser）に渡す」 という多段階の設定を行うことで、複雑な構造を持つWebサイトからでも、必要な情報を深く、効率的に収集することが可能です。

添付画像まで登録できれば「Register」でスケジュール設定完了です。

Status

最後に「Status」 項目についてご説明します。
この項目では、設定したスケジュールの定期実行をON/OFFで切り替えることができます。不要な実行を一時的に停止したり、準備が整ってから開始したりと、必要に応じて柔軟に制御することが可能です。

添付画像では「PR TIMES_Daily_7AM」が定期的に事項され、「食べログ_テンプレート」は実行されない状態です。

このページでは、StruccleのScheduler機能について、その設定方法から活用術、注意点までを解説いたしました。
本ガイドが、皆様のデータ収集タスクの自動化・効率化の一助となれば幸いです。ぜひ今回学んだ知識を活かし、ご自身のビジネスに最適なSchedulerを設定してみてください。