1. ものログスクレイピングの基礎知識
ものログに掲載されている製品の価格情報やユーザーレビューを取り出して分析したい！と思ったことはありませんか？
そんな時に役立つのが「スクレイピング」です。
この章ではスクレイピングの基本概念から、ものログスクレイピングを活用した市場調査や競合分析の事例、必ず守るべき倫理と注意点まで丁寧に解説していきます。
これを読めば、ものログスクレイピングを始めるための基礎知識がバッチリ身につきます！
ものログとは？
「ものログ」って聞いたことはあるけど、実際どのような製品情報が掲載されているか改めて確認したい…という方もいるかもしれません。
このセクションでは、ものログの概要、掲載されている製品の価格や口コミ情報、そしてその活用方法について分かりやすく解説します。
ものログを深く理解することで、スクレイピングで何ができるのか、製品開発や販売戦略のための可能性が見えてくるはずです！
ものログは、様々な製品（日用品、家電、食品など）の価格情報や、ユーザーによる口コミ・レビューをまとめている価格比較・レビューサイトです。消費者が製品を選んだり、企業が市場動向を調査したりする際に利用されています。
ものログには、主に製品に関する情報が掲載されています。具体的には以下のような情報が挙げられます。
・製品の基本情報：製品名、カテゴリ、メーカー名など
・価格情報：複数のECサイトや店舗での販売価格、最安値、価格推移など
・ユーザーレビュー：評価点数、口コミ内容、投稿日時など
これらの情報は、自社製品の価格戦略や競合製品の分析はもちろん、市場調査やトレンド把握に役立ちます。スクレイピングを活用することで、これらの情報を効率的に収集し、ビジネスの戦略立案に活用することが可能になります。
スクレイピングとは？そのメリット・デメリット
スクレイピングとはWebサイトから情報を自動的に抽出する技術のことです。
人間がPC、スマホ画面で見ている情報をプログラムを使って収集するイメージです。
ものログの場合は製品の価格情報（最安値、価格帯など）やレビュー情報（評価点数、口コミ内容など）をまとめて取得できます。
スクレイピングのメリット
メリットとしては、データ収集の手間が大幅に省けること、大量のデータを効率的に集められることなどが挙げられます。
例えば、競合製品の価格変動を継続的に追跡することや、製品の評判の傾向を分析することに役立ちます。
スクレイピングのデメリット
しかし、デメリットも存在します。
Webサイトの構造変更によってスクレイピングプログラムが動かなくなる可能性や、サーバーに負荷をかけすぎてしまう可能性があるのです。
後ほど解説する倫理と注意点を守り、適切な方法でスクレイピングを行うことが重要です。
次のセクションではものログスクレイピングの具体的な活用事例を見ていきましょう！
ものログスクレイピングの活用事例
ものログスクレイピングで集めたデータは、製品の販売や開発に関わる様々なシーンで活用できます。例えば下記のような事例です。
・競合価格調査：競合製品の現在の価格や過去の価格推移を網羅的に把握し、自社の最適な販売価格やキャンペーン戦略を決定する。
・人気製品分析：高評価の製品や売れているカテゴリの口コミ内容を分析し、ユーザーが求める機能や改善点を見つける。
・市場調査：特定のカテゴリにおける製品の供給状況や価格帯のトレンドを分析し、市場への参入タイミングやターゲット層を見極める。
・製品改善：自社製品のレビューを一括で収集・分析し、具体的な改善点を洗い出す。
これらの他にも、アイデア次第で様々な活用方法が考えられます。
スクレイピングでデータ収集を自動化すれば、手間なくデータに基づいた戦略を立てられる可能性が高まります。
ただし、スクレイピングを行う際には、倫理的な側面と注意点に配慮することが不可欠です。
次のセクションで詳しく解説します。
スクレイピングの倫理と注意点（著作権、利用規約、robots.txtへの配慮）
スクレイピングは便利な技術ですが、使い方を誤ると法的な問題に発展する可能性があります。
違法行為にならないよう以下の点に注意しましょう。
・著作権：スクレイピングで取得した情報を無断で転載・複製することは著作権侵害にあたります。
・利用規約：ものログの利用規約を必ず確認し、スクレイピングが禁止されていないか確認しましょう。規約に違反するとアカウント停止などの措置が取られる場合があります。
・robots.txt：robots.txtは、Webサイトがクローラー（スクレイピングプログラムも含まれる）に対してアクセスを許可する範囲を指定するためのファイルです。ものログのrobots.txtを確認し、スクレイピングが許可されている範囲内でデータを取得するようにしましょう。
これらの点に注意し、倫理的に問題のない範囲でスクレイピングを行うことが重要です。
次の章では具体的にスクレイピングツール「Struccle」について解説します！
Struccle(ストラクル)とは？
Struccle(ストラクル)とは、プログラミング不要のスクレイピングツールです。
Webスクレイピングは、近年のビジネスにおいて幅広く活用されています。しかし、プログラミングの知識や経験がない方にとっては、少し難しいと感じるかもしれません。
そんな悩みを解決するのが「Struccle」です。
Struccleは、Webスクレイピングツールと呼ばれる種類のソフトウェアで、プログラミングの知識がなくても、マウス操作だけでWebスクレイピングを実行できます。PCにダウンロードも不要なSaaS型のwebサービスです。
数あるWebスクレイピングツールの中でも、Struccleは特に使いやすいツールだと自負しております。
Struccleはノーコードで操作できるだけでなく、Webスクレイピングに必要な機能が豊富に備わっています。
誰でも簡単にWebスクレイピングを始められるように設計されています。
さらに、Struccleにはよく使われるWebサイトのスクレイピングテンプレートが用意されています。
テンプレート機能とは？
ほんの数クリックですぐに対象サイトのデータを収集できる便利機能です。
Struccleを使ったものログスクレイピング実践
ここからは実際にStruccleのテンプレート機能の「カスタム収集」を使用して、ものログの製品情報リストを収集する手順を解説していきます。
今回は例として下記条件でものログの製品情報リストを収集していきます。
・対象件数：約900件
ステップ1：Struccleのテンプレート機能でものログデータを取得する
画面左のメニューから「テンプレート」を選択。
「ものログ」のタイプ「スキンケア、口コミ情報」の「詳細」を押下。
詳細画面で「カスタム収集へ進む」を押下。
※ 押下後、自動で画面が切り替わります。
ステップ2：ものログの収集設定をカスタマイズする（スケジューラ更新）
スケジューラ更新画面に切り替わったら、テンプレートの収集設定をカスタマイズ。
「スケジュール名」を任意で編集。
「詳細設定」で収集日時を、「URL確認」で対象サイトページのURLを設定。
今回は「ヤマザキ ロイヤルブレッド 10枚」と「ランチパック(ツナマヨネーズ)」の2商品を対象とするので、スケジュール詳細の「monolog_items」は削除。
「monolog_detail」は残します。
テンプレートにおいて、「スケジュール詳細」に設定されているパーサーのうち名前に「items」とつくものは商品検索結果などの一覧画面、「detail」は商品詳細などの詳細画面を取得するためのものです。
そのため、今回のように特定の商品詳細データのみ取得したい場合は、一覧画面の情報（items）を利用せず詳細情報（deital）を利用するため、スケジュールでもdetailのみを残します。
▼スケジュールの「詳細設定」。任意の日時を設定します。
▼URLの「URL確認」で「ヤマザキ ロイヤルブレッド 10枚」と「ランチパック(ツナマヨネーズ)」の2商品の詳細ページURLを追加します。
https://monolog.r-n-i.jp/item/4903110105695
「URL追加」にURLを1行ずつ入力して「追加」を押下。
URLを追加したら「OK」を押下して確定。
こうすることでテンプレートをただ使う場合と異なり、特定の商品情報のみのデータを取得できるようになります。
▼設定変更後画面
最後に「保存」を押下して設定を保存。
ステップ3：ものログのスクレイピング実行
「即実行」もしくはスケジュールをONにし、スクレイピングを実行できるようにします。
スケジュールONの場合は、ご自身で設定された日時や曜日にスクレイピングが実行され、自動で「結果確認」メニューにデータが入ってきます。
ステップ4：ものログデータをダウンロードする
「結果確認」メニューを開く。
データ収集が完了すると「開く」ボタンが有効になるので、「開く」を押下。
取得したデータを加工するため、カスタム処理で「ものログ_基本」を選択し、「確認」を押下。
すると1セルに格納していた複数の口コミが・・・
1行ずつにバラすことができたので、「カスタムDL」でCSVファイルをダウンロード。
ステップ5：ダウンロードしたものログデータの確認
CSVファイルをスプレッドシートに読み込むとこのようになります。
（二つの商品に対して、それぞれの口コミを1件につき1行ずつ表示しています。）
分析実践：ものログデータをGensparkで分析
ダウンロードしたCSVファイルで口コミ分析ができます。
良い口コミ・あまり良くない口コミ（5段階で3未満など）のみを抽出して、それらのコメントの頻出ワードを出すだけでもプラス・マイナス要因についての全体像が把握できます。
Gensparkなどを使えば口コミの頻出ワードを可視化してくれたりするので、一目でどのようなことが消費者に評価されているのかがわかりやすいです。
また、詳細のレポートも出力してくれます。
まとめ：Struccleでものログスクレイピングをもっと手軽に
今回は、「Webスクレイピング」の基礎から、Webスクレイピングツール「Struccle」を使ったものログの製品情報取得方法までを解説しました。
Struccleを使えば、プログラミングの知識や経験がなくても、簡単に競合製品の価格や口コミ情報を集めることができます。さらに、スケジュールを設定しておけば、好きなタイミングで自動的にスクレイピングを実行することも可能です。定期的にデータを更新することで、市場の動向や競合の価格設定をリアルタイムに把握できます。