MENU
  • HOME
  • Struccle
  • 取引実績
  • お問い合わせ
  • 資料DL
  • 会社概要
  • FAQ
  • Struccle記事
  • BigQuery記事
データ流通、検索エンジン開発のプロフェッショナル
DataStructor
  • HOME
  • Struccle
  • 取引実績
  • お問い合わせ
  • 資料DL
  • 会社概要
  • FAQ
  • Struccle記事
  • BigQuery記事
DataStructor
  • HOME
  • Struccle
  • 取引実績
  • お問い合わせ
  • 資料DL
  • 会社概要
  • FAQ
  • Struccle記事
  • BigQuery記事
  1. ホーム
  2. Struccle
  3. Struccleでスクレイピング
  4. 3.URLを準備する

3.URLを準備する

2025 9/12
Struccleでスクレイピング
2025年9月11日2025年9月12日

入門ガイド

URLを準備する-

このガイドでは、使用するURLの準備及び便利機能について解説していきます。

目次

基本の考え方

①複数ページのURLを作る

ここでは複数ページのURLが存在していることを学び、複数ページのURL作成方法をご紹介します。

ページネーションとは

ウェブページなどのコンテンツを複数のページに分割し、各ページへのリンクを並べて表示する仕組みのことです。

上記赤丸の箇所のようなページがあるものが、複数ページ存在するページです。

この1ページ目のURLが

https://tabelog.com/kanagawa/A1404

となっており、2ページ目3ページ目以降は


https://tabelog.com/kanagawa/A1404/rstLst/2
https://tabelog.com/kanagawa/A1404/rstLst/3

と末尾の数字がページ数のページになっていきます。

つまり、手動でこの末尾を変えたURLを作れば、あなたの作りたい分のページURLを作成できます。
(Excel等で作成するとスムーズに作成できます)

このURLを取得URLとすればそのページ分のデータを全て取得することができます。

ページネーション機能

ただ、

これを全URL分作成をもっと簡単にしたい!

という方向けにページURLの自動作成機能も用意しています。

ページネーション機能の使い方

NEW CHATを押して新しいExtractorを開く

↓

一覧ページのURL取ってきて、下記赤四角の箇所にURLを入れてSCRAPEを押す

↓

PAGINATIONを選択

PAGINATION=複数URLページを自動生成

↓

取得が完了したら下記のようになるので、MAKEを押す

↓

CHECKをクリックする

↓

上記のようになっているので、

Data format conversion:vertical
Column:pagination_url

を選択することによって

上記のようにデータをバラすことができました。

ここの右の箇所のURLが正しく全て取れているかを確認します

↓

ここでもし正しくない(URLが順番になっていない等)があればひとつページを戻り
赤丸のPromptの箇所に修正してもらいたい内容を入力してSCRAPEを押す。


こうするとAIがデータを修正してくれます

↓

こうしてデータが完成したら名前をつけて保存。
これでこのデータはページネーションパーサーとして使用できます。


それでは次にSTEP.4の

スクレイピング前準備 〜開始(Scheduler)

を学んでいきましょう!


人気記事

  • BigQueryの無料枠を活用しよう!制限と注意点、活用方法を解説
  • BigQueryでエラー解決!よくあるエラーと対処法
  • BigQueryのレベル別学習リソースまとめ!初心者から上級者まで役立つ情報源
  • 【SUUMOスクレイピング】Struccleで物件データを全件収集
  • BigQuery入門!無料データでSQLの基本文字列関数をマスター
Struccleでスクレイピング
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次
カテゴリー
  • AI_Agent (153)
    • Agent開発 (153)
  • BigQuery (100)
    • BigQueryTips (11)
    • BigQueryでデータ分析 (49)
    • BigQueryのFAQ (1)
    • BigQuery入門 (8)
    • BigQuery学習教材 (22)
    • BigQuery導入ガイド (3)
    • BigQuery最新情報 (3)
    • BigQuery活用事例 (4)
  • Struccle (198)
    • Struccleでスクレイピング (24)
      • suumoの物件データを収集&分析 (1)
      • アニマルジョブの電話番号、メールアドレスを全件収集 (1)
      • データ集計 (6)
      • ホットペッパービューティーのヘアサロンデータを収集&分析 (1)
      • 食べログの飲食店データを収集&分析 (1)
    • Struccleデータ料金事例 (173)
      • 商品分析 (15)
      • 営業リスト (119)
      • 競合分析&市場調査 (58)
      • 自動車 (11)
      • 自社活用 (7)
    • Struccle活用企業様の紹介 (1)
  • 当ブログのコーディング実行環境設定 (6)
目次