【SUUMOスクレイピング】Struccleで物件データを全件収集

2024年10月17日2024年11月28日

1. SUUMOスクレイピングの基礎知識

SUUMOから不動産情報を取り出して活用したい！と思ったことはありませんか？
そんな時に役立つのが「スクレイピング」です。
この章ではスクレイピングの基本概念から、SUUMOスクレイピングを活用した事例、必ず守るべき倫理と注意点まで丁寧に解説していきます。
これを読めば、SUUMOスクレイピングを始めるための基礎知識がバッチリ身につきます！

SUUMO(スーモ)とは？

「SUUMO」って聞いたことはあるけど、実際どんなサービスかよく知らない…という方もいるかもしれません。

このセクションでは、SUUMOの概要、掲載されている情報の種類、そしてその利用方法について分かりやすく解説します。

SUUMOを深く理解することで、スクレイピングで何ができるのか、その可能性が見えてくるはずです！

SUUMOは株式会社リクルートが運営する日本最大級の不動産・住宅情報サイトです。賃貸物件はもちろん、売買物件、新築マンション、中古マンションなど、あらゆる種類の不動産情報が網羅されています。

物件探しだけでなく、住宅ローンや引越し、リフォームに関する情報も提供しており、住まいに関するあらゆるニーズに対応できる総合プラットフォームと言えるでしょう。

SUUMOには、物件に関する様々な情報が掲載されています。具体的には以下のような情報が挙げられます。

物件の基本情報：住所、価格、間取り、築年数、面積など
物件の詳細情報：設備（エアコン、浴室乾燥機など）、周辺環境（駅からの距離、スーパー、学校など）、写真、間取り図など
不動産会社情報：会社名、連絡先、営業時間など

これらの情報は、物件探しはもちろん、市場調査や競合分析にも役立ちます。スクレイピングを活用することで、これらの情報を効率的に収集し、ビジネスに活用することが可能になります。

スクレイピングとは？そのメリット・デメリット

スクレイピングとはWebサイトから情報を自動的に抽出する技術のことです。

人間がPC、スマホ画面で見ている情報をプログラムを使って収集するイメージです。

SUUMOの場合は物件情報（家賃、住所、間取りなど）をまとめて取得できます。

スクレイピングのメリット

メリットとしては、データ収集の手間が大幅に省けること、大量のデータを効率的に集められることなどが挙げられます。

例えば市場調査や競合分析などに役立ちます。

スクレイピングのデメリット

しかし、デメリットも存在します。

Webサイトの構造変更によってスクレイピングプログラムが動かなくなる可能性や、サーバーに負荷をかけすぎてしまう可能性があるのです。

後ほど解説する倫理と注意点を守り、適切な方法でスクレイピングを行うことが重要です。

次のセクションではSUUMOスクレイピングの具体的な活用事例を見ていきましょう！

SUUMOスクレイピングの活用事例

SUUMOスクレイピングで集めたデータは、様々なビジネスシーンで活用できます。例えば下記のような事例です。

競合分析：競合他社の物件情報（価格設定、間取り、設備など）を分析し、自社の戦略に活かす。
市場調査：特定のエリアの賃貸相場や物件の供給状況を把握し、今後の動向を予測する。
不動産投資：投資に適した物件を効率的に探し出し、収益性の高い投資判断を行う。

これらの他にも、アイデア次第で様々な活用方法が考えられます。

スクレイピングでデータ収集を自動化すれば、ビジネスチャンスを広げられる可能性が高まります。

ただし、スクレイピングを行う際には、倫理的な側面と注意点に配慮することが不可欠です。

次のセクションで詳しく解説します。

スクレイピングの倫理と注意点（著作権、利用規約、robots.txtへの配慮）

スクレイピングは便利な技術ですが、使い方を誤ると法的な問題に発展する可能性があります。

違法行為にならないよう以下の点に注意しましょう。

著作権：スクレイピングで取得した情報を無断で転載・複製することは著作権侵害にあたります。
利用規約：SUUMOの利用規約を必ず確認し、スクレイピングが禁止されていないか確認しましょう。規約に違反するとアカウント停止などの措置が取られる場合があります。
robots.txt：robots.txtは、Webサイトがクローラー（スクレイピングプログラムも含まれる）に対してアクセスを許可する範囲を指定するためのファイルです。SUUMOのrobots.txtを確認し、スクレイピングが許可されている範囲内でデータを取得するようにしましょう。

これらの点に注意し、倫理的に問題のない範囲でスクレイピングを行うことが重要です。

次の章では具体的なスクレイピングツール「Struccle」について解説します！

Struccle(ストラクル)とは？

Struccle(ストラクル)とは、プログラミング不要のスクレイピングツールです。

Webスクレイピングは、近年のビジネスにおいて幅広く活用されています。しかし、プログラミングの知識や経験がない方にとっては、少し難しいと感じるかもしれません。

そんな悩みを解決するのが「Struccle」です。

Struccleは、Webスクレイピングツールと呼ばれる種類のソフトウェアで、プログラミングの知識がなくても、マウス操作だけでWebスクレイピングを実行できます。PCにダウンロードも不要なSaaS型のwebサービスです。

数あるWebスクレイピングツールの中でも、Struccleは特に使いやすいツールだと自負しております。

Struccleはノーコードで操作できるだけでなく、Webスクレイピングに必要な機能が豊富に備わっています。

誰でも簡単にWebスクレイピングを始められるように設計されています。

さらに、Struccleにはよく使われるWebサイトのスクレイピングテンプレートが用意されています。

SUUMOのテンプレートを使えば、ほんの数クリックで物件情報を収集することが可能です。

Struccleを使ったSUUMOスクレイピング実践

ここからは実際にStruccleを使用して、SUUMOの賃貸マンション物件情報リストを収集する手順を解説していきます。

今回は例として下記条件でSUUMOの物件情報リストを収集していきます。

タイプ：賃貸
都道府県：東京都
市区町村：品川区
対象件数：73,304件(※2024/10時点)

東京都品川区のSUUMO賃貸マンション情報

ステップ1：SUUMOで収集したい物件ページのURLを取得する

ステップ2：Struccleで”良きに”SUUMOデータを抽出させる

取得したSUUMOのURLを入力し、「データ抽出」を選択する

抽出したSUUMOの物件データを確認する

ステップ3：Struccleで取得しきれなかった項目をPAGE VIEW機能で微調整する

「PAGE VIEW」を選択する

対象の箇所を選択後、列名を「apart_jsons」とし、「EXTRACT」を選択する

ステップ4：Struccleで作ったSUUMOデータ形式を他(目黒区)のURLでも確認する

東京都品川区のSUUMO賃貸マンションリストはで取得できたが、目黒区のSUUMO賃貸マンションリストでも同様に取得できるような汎用性を確認するため、東京都目黒区のSUUMO賃貸マンションのURLでも確認してみます。

この確認は同じSUUMOでもURLページによって、ページ構成が変わり、取得できない場合があるためです。

東京都目黒区のSUUMO賃貸マンション情報

URLは上記をご利用ください。

「テスト」をクリック

SUUMO東京都目黒区の賃貸マンションURLを入力し、「実行」を選択

目黒区のSUUMO物件データでも問題なくスクレイピングが完了することを確認

ステップ5：Struccleで取得したSUUMOデータ(apart_jsons)の形を整える

SUUMOの賃貸物件情報では、一つのマンションに複数の部屋が紐づく形でデータを持っています。

マンション名	部屋名
Aマンション	1階a部屋、1階b部屋、2階a部屋
Bマンション	1階a部屋、1階b部屋、2階a部屋

上記エクセルのような表形式にすると、一つの行に複数の部屋情報が入っている状態で、

この状態ですと非常に使い勝手が悪いです。

下記のようにSUUMO物件リストをフラットにしてみます。

マンション名	部屋名
Aマンション	1階a部屋
Aマンション	1階b部屋
Aマンション	2階a部屋
Bマンション	1階a部屋
Bマンション	1階b部屋
Bマンション	2階a部屋