MENU
  • HOME
  • Struccle
  • 取引実績
  • お問い合わせ
  • 資料DL
  • 会社概要
  • FAQ
  • Struccle記事
  • BigQuery記事
データ流通、検索エンジン開発のプロフェッショナル
DataStructor
  • HOME
  • Struccle
  • 取引実績
  • お問い合わせ
  • 資料DL
  • 会社概要
  • FAQ
  • Struccle記事
  • BigQuery記事
DataStructor
  • HOME
  • Struccle
  • 取引実績
  • お問い合わせ
  • 資料DL
  • 会社概要
  • FAQ
  • Struccle記事
  • BigQuery記事
  1. ホーム
  2. Struccle
  3. Struccleでスクレイピング
  4. 4.スクレイピング前準備 〜開始(Scheduler)

4.スクレイピング前準備 〜開始(Scheduler)

2025 9/12
Struccleでスクレイピング
2025年9月11日2025年9月12日

入門ガイド

スクレイピング前準備 〜開始(Scheduler)

このガイドでは、データ収集(スクレイピング)を開始するまでの準備から実際に収集開始するまでの手順について解説していきます。

目次

スケジューラー(Scheduler)の作成

この章ではスケジューラーの作成を行っていきます。スケジューラーとは、ここまで作ってきたページデータ(パーサー)を使用して、データ収集をするための設定です。スケジューラーを使用して、どのURLページを取得するのか、であったり、週に1回の定期取得などを設定することができます。

基本作業


詳細ページのみ取得したい場合

scd_name

ここにどのデータか、が分かるように任意の名前を入力してください

↓

Schedule

データ収集を開始したい日付など指定がある場合は設定してください。指定がない場合は、’select data’の「1」にチェックを入れてOKを押してください

↓

Primary Proc

使用したいExtractorで作成した詳細パーサーを選択

↓

Primary Use Cols

特に指定はないので、sourse_urlを指定してください

↓

Primary Proc Select

取得したページURLを全て入力して

→Add→OK

↓

Registerで完了

↓

定期取得ボタン

一回単発の取得であればOFFに

毎回定期取得した場合(Scheduleで定期取得を設定した場合)はONに

↓

一時的にデータを保存したい場合はSave

そのままデータ収集を開始したい場合はStart Now


一覧ページ→詳細ページを取得したい場合

scd_name

ここにどのデータか、が分かるように任意の名前を入力してください

↓

Schedule

データ収集を開始したい日付など指定がある場合は設定してください。指定がない場合は、’select data’の「1」にチェックを入れてOKを押してください

↓

Primary Proc

使用したいExtractorで作成した一覧パーサーを選択

↓

Primary Use Cols

このあと指定する詳細パーサーのURLと紐付けるURL項目(詳細パーサーの同じURLが記載されている項目)を指定。基本はここの項目ではurlを指定してください

(異なる場合は一覧・詳細パーサーのCHECKで同じURLがある項目を確認)

↓

Primary Proc Select

取得したページURLを全て入力して

→Add→OK

↓

subsequentProc

Processor

使用したいExtractorで作成した詳細パーサーを選択

↓

subsequentProc

Please select use cols

ここに前述の一覧パーサー設定時のPrimary Use Colsと紐づくURL項目を選択。基本はsource_urlを選択。

↓

Registerで完了

↓

定期取得ボタン

一回単発の取得であればOFFに

毎回定期取得した場合(Scheduleで定期取得を設定した場合)はONに

↓


一時的にデータを保存したい場合はSave

そのままデータ収集を開始したい場合はStart Now

これでスケジューラーでデータ収集が開始されました。


それでは次にSTEP.5の

データ出力

を学んでいきましょう!


人気記事

  • BigQueryの無料枠を活用しよう!制限と注意点、活用方法を解説
  • BigQueryでエラー解決!よくあるエラーと対処法
  • BigQueryのレベル別学習リソースまとめ!初心者から上級者まで役立つ情報源
  • 【SUUMOスクレイピング】Struccleで物件データを全件収集
  • BigQuery入門!無料データでSQLの基本文字列関数をマスター
Struccleでスクレイピング
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次
カテゴリー
  • AI_Agent (153)
    • Agent開発 (153)
  • BigQuery (100)
    • BigQueryTips (11)
    • BigQueryでデータ分析 (49)
    • BigQueryのFAQ (1)
    • BigQuery入門 (8)
    • BigQuery学習教材 (22)
    • BigQuery導入ガイド (3)
    • BigQuery最新情報 (3)
    • BigQuery活用事例 (4)
  • Struccle (198)
    • Struccleでスクレイピング (24)
      • suumoの物件データを収集&分析 (1)
      • アニマルジョブの電話番号、メールアドレスを全件収集 (1)
      • データ集計 (6)
      • ホットペッパービューティーのヘアサロンデータを収集&分析 (1)
      • 食べログの飲食店データを収集&分析 (1)
    • Struccleデータ料金事例 (173)
      • 商品分析 (15)
      • 営業リスト (119)
      • 競合分析&市場調査 (58)
      • 自動車 (11)
      • 自社活用 (7)
    • Struccle活用企業様の紹介 (1)
  • 当ブログのコーディング実行環境設定 (6)
目次