Struccleでスクレイピング– category –
Struccleを実際に使ってスクレイピングした内容を解説しています。
-
0.Struccleの基本機能
入門ガイド Struccle 機能紹介 このガイドでは、Struccleの基本機能を紹介します。各機能を理解すればあなたの取得したデータを取得できるようになります。 機能紹介 Extractor 自動収集をするための準備はここで行います。 ここで作成する機能をパーサー... -
Struccleとは?
入門ガイド ようこそStruccleの世界へ Struccleはこれまで解決したくても出来なかったデータ収集の作業効率を大幅に改善できるWebスクレイピングツールです。こちらではStruccleについてご紹介していきます。 Struccleとは? Struccleはプログラミングや高... -
6.テンプレートを使用して取得
入門ガイド テンプレート Struccleにはより簡単にデータ収集ができるテンプレート機能もあります。現在作成中です。 Template -
5.データ出力
入門ガイド データ出力 このガイドでは、収集したデータを出力する方法について解説していきます。 Result この章ではデータ出力をするためのResultの機能についてご紹介します。 Resultの機能 STATE ここではスクレイピングの開始時間、完了予定時間を見... -
よくある質問(FAQ)
FAQ Struccleをご利用いただく上で、お客様からよくいただくご質問とその回答をまとめました。 全体 無料で使えますか? A. はい、Struccleは無料で使えます。 プログラミング知識は必要ですか? A. いいえ、必要ありません。対象ページのURLを入れてデー... -
【Extractor】パーサーを複製する
作ったデータを複製しましょう Extractorで作成したデータは複製することができます。 過去のデータは残しつつ少し修正したい場合に複製してそちらで試したり、バックアップを取っておく場合などにご活用ください。 作業手順 ではExtractorで作成したデー... -
【Extractor】プロンプトで指示を出してデータ修正
AIに指示を出して修正しましょう 次により自由度高くデータ修正する方法をご紹介します。StruccleではAIで指示(プロンプト)を出すことによって、その指示に従ったデータ修正をする方法もあります。細かい修正などはプロンプトを出しながら綺麗なデータを... -
【Extractor】データを横持ちにする
データをCSVで使いやすいように並べ替える 取得したデータには下記のように一つの項目に多くのデータが入っており(json形式)、このままではCSVでダウンロードしたときに使いにくいデータになる場合があります。 SQLなどの言語が使える方なら扱いやすいデ... -
4.スクレイピング前準備 〜開始(Scheduler)
入門ガイド スクレイピング前準備 〜開始(Scheduler) このガイドでは、データ収集(スクレイピング)を開始するまでの準備から実際に収集開始するまでの手順について解説していきます。 スケジューラー(Scheduler)の作成 この章ではスケジューラーの作... -
【用語集】自動検出機能とは?
自動検出機能とは Struccleには初心者の方でも使いやすいように、AIを活用した自動検出機能を備えています。 ①取得項目の識別・認識 ExtractorでWebページのデータ(パーサー)を作成する際には、取得する項目を会社名や電話番号など自動でページのデータ...