機能説明
「データ収集」はパーサーを作成するためのチャット画面です。
スクレイピングモデルの生成や調整を行ってパーサーを作成しましょう。
メイン画面
「データ収集」メニューのメイン画面です。
作成したパーサー（チャット）の一覧が表示されます。
１ 新規チャット
このボタンを押すと新しくチャット画面が開き、パーサーを作成します。
<<詳細はこちら>>
２ チャット共有
作成したパーサー（チャット）を他のユーザーへ共有します。
<<詳細はこちら>>
３ 名前を検索
パーサー（チャット）を名前で検索します。
４アーカイブ
非表示にしたパーサー（チャット）の一覧が確認できます。
<<詳細はこちら>>
５ 開く
パーサー（チャット）の詳細画面を開きます。
６ チャットID
パーサー（チャット）ごとに割り振られたIDをコピーします。チャット共有時などに使います。
７ 非表示
パーサー（チャット）を非表示にします。
８ チャットID
パーサー（チャット）ごとに割り振られたIDをコピーします。チャット共有時などに使います。
チャット画面（パーサー作成）
パーサー作成をする画面です。
AIに指示を出したりしながらスクレイピングモデルを調整します。
１ 名前
パーサー（チャット）の名前を変更できます。
２ IP情報
使用するIPプロキシ情報です。
３ テーブル取得
取得対象ページ内にテーブル形式のデータがある場合、取得を強化します。
４ user
チャット作成時、最初に入力した対象サイトページの「URL」です。
５ model
スクレイピングモデルの詳細情報です。
６ モデル選択
スクレイピングモデル生成の指示に使うAIのモデルを選択します。
７ URL
スクレイピングモデルを生成するため、対象サイトページのURLを入力します。
８ 画像
取得したい箇所を調整するために、画像を添付することでもAIに指示を出せます。
９ 指示内容
スクレイピングモデルの調整のために、AIに指示を出します。
（例：「初回料金」データを取得してください。）
10 IP確認
IPプロキシ設定の変更をします。スクレイピング時に使用する国や地域の設定を指定できます。
（例：「日本」を選択すると、日本のIPとして対象サイトへアクセスします）
あまり使用しません。
<<詳細はこちら>>
11 取得開始
対象サイトページ（URL）のデータを取得することで、スクレイピングモデルの生成を始めます。
<<詳細はこちら>>
12 操作記録
動的なサイトにて、通常のスクレイピングではデータ取得ができない場合に使用します。
あまり使用しません。
<<詳細はこちら>>
13 サイト表示
対象サイトページの画面から直接取得したいデータ項目を選択・編集します。
<<詳細はこちら>>
14 モデル作成
スクレイピングモデルの生成を実行します。
15 確認
「確認画面」のポップアップが開きます。
スクレイピングモデルを使ったデータ取得状況を確認できます。
取得したデータはこちらからも都度ダウンロードが可能です。
<<詳細はこちら>>
16 改善
列（項目名）を指定して改善を指示することで、データ取得の精度を高めます。
<<詳細はこちら>>
IP確認（ポップアップ）
IPプロキシ設定の変更をします。スクレイピング時に使用する国や地域の設定を指定できます。
取得モード選択を設定し、URLを入力して「データ確認」を押すことで画面左にプレビューが表示されます。
1 画面
対象サイトページの画面が表示されます。
2 プラットフォーム
実行環境を選択します。
環境によってはサイトからブロックされてしまうため、この設定を変更してお試しいただくことをオススメします。
3 取得方法
スクレイピングのデータ取得モードを選択します。
動的サイトなど、一部のサイトは取得方法を変更する必要があります。
4 地域（または除外地域）
アクセス元に設定する国や地域（または除外地域）を変更します。
国を変更することによって、表示される価格表記が異なる場合などに使います。
「プラットフォーム」が「ランダム選定」の場合は除外地域を設定します。
（例：「日本」を選択すると、日本のIPとして対象サイトへアクセスします）
5 ブラウザ
「取得方法」により、Chromeやfirefoxなどを選択できます。
うまくいかない場合にこの設定を変更してお試しいただくことをオススメします。
6 URL
対象サイトページのURLを入力します。
入力したURLにアクセスが成功すれば画面左にページが表示されます。
7 データ確認
「取得モード選択」や「URL」を設定した後、このボタンを押下してIP確認を実行します。
8 適用
設定された取得モードをスクレイピングモデルに適用します。
9 閉じる
IP確認ツール画面を閉じます。
抽出タイプ選択
「取得開始」を押下すると表示されます。スクレイピングモデルのタイプを選択します。
詳細ページ
1 ページに複数の項目が 1 ずつ存在するようなページのスクレイピングに適しています。
一覧ページ
1 ページに同一の項目が複数ずつ存在するような一覧型のページのスクレイピングに適しています。
ページネーション
ページネーションは、長いリストや検索結果を複数ページに分割して表示する仕組みのことであり、その分割されたページのURLを取得するための機能です。
閉じる
「抽出タイプ選択」のポップアップ画面を閉じます。
操作記録（ポップアップ）
動的サイトのデータ取得をする際に必要な操作の記録を対象サイトページから直接クリックして設定します。
基本操作は ①→②→③→④→⑤→⑥→⑦ です。
1 URL
対象サイトページ（動的ページ）のURLを入力します。
2 データ確認
入力したURLのページを画面左に表示します。
3 操作名
作成中の操作記録に名前をつけます。
4 対象ページプレビュー画面
プレビュー画面から動的操作を行うボタンをクリックで選択します。
（例：「もっと見る」ボタン）
クリックすると「リンククリックを検出しました。この操作でページを取得しますか？」というポップアップが表示されるので「OK」を押下します。
5 操作記録を保存
設定した操作記録を保存します。
※「操作名」をつけ忘れないようにご注意ください。
6 保存した操作記録を選択（プルダウン）
使いたい操作記録を選択します。
7 取得開始
プルダウンから操作記録を選択したのち、スクレイピングモデルに反映させます。
8 プラットフォーム
実行環境を選択します。
環境によってはサイトからブロックされてしまうため、この設定を変更してお試しいただくことをオススメします。
9 地域（または除外地域）
アクセス元に設定する国や地域（または除外地域）を変更します。
国を変更することによって、表示される価格表記が異なる場合などに使います。
「プラットフォーム」が「ランダム選定」の場合は除外地域を設定します。
（例：「日本」を選択すると、日本のIPとして対象サイトへアクセスします）
10 ブラウザ
「取得方法」により、Chromeやfirefoxなどを選択できます。
うまくいかない場合にこの設定を変更してお試しいただくことをオススメします。
11 リンクの自動修正
URLのリンクを自動で修正してエラーを回避します。
12 操作ID
現在表示している操作記録のIDをコピーします。
13 操作履歴
記録した操作の実行順などを設定します。
14 クリア
操作記録を削除します。
▼ 確認画面の「操作を選択」から操作記録を選択して「確認」を押すと、データ取得時に操作記録が反映されます。
サイト表示（ポップアップ）
データ取得項目を対象サイトページから直接クリックして追加や編集をします。
基本操作は ①→②→③→④→⑤ です。
1 URL
対象ページをプルダウンから選択します。
2 モード
取得項目（列）を新規追加または既存項目の編集するかを選択します。
3 列名
取得項目（列）の名前をつけます。
4 プレビュー画面
対象サイトページを表示します。
取得したい項目をページから直接クリックして指定します。
5 抽出
取得項目の設定を確定し、スクレイピングモデルに反映します。
6 選択解除
選択対象を解除します。
7 閉じる
「サイト表示」のポップアップ画面を閉じます。
確認画面（ポップアップ）
チャット（パーサー作成）画面で「確認」を押下して表示される画面。
データ取得状況を確認します。また、この画面からもデータのダウンロードが可能です。
1 URL（改行区切り）
データ取得状況を確認したい、対象のサイトページURLを入力します。
複数のURLを一気に入力することも可能です。
2 確認
URLの入力後、「確認」を押下することでデータ取得を実行します。
3 加工タイプ
データ形式を「縦持ち」か「横持ち」か選択し、取得データを加工できます。
縦持ち
縦に長い形式で、カテゴリ名（属性名）を一つの列にまとめて格納します。
分析や集計に適しています。
「項目名」がデータとして格納されるため、行数が多く、列数が少なくなります。
横持ち
横に広い形式で、カテゴリ（属性名）をそれぞれ独立した列として格納します。
人間が見やすく、データの入力や確認に適しています。
「項目名」が列名になるため、行数が少なく、列数が多くなります。
4 対象列
データ加工対象の列を選択します。
5 実行
データ加工を実行します。
6 戻す
データ加工実行前の状態に戻します。
7 データ保存
現在取得されているデータをCSVダウンロードします。
8 スケジュールに登録
「定期設定」のスケジュール追加の「URL選択」にて、「URLソース」から選べるようになります。
なお、登録できるのはページネーションパーサーで作成した「pagination_url」のみです。
9 閉じる
「確認画面」のポップアップを閉じます。
10 操作を選択
「操作記録」を利用する場合、プルダウンから選択します。
なお、操作記録は動的サイトページをスクレイピングする際に利用します。
11 確認画面
最新のデータ取得状況を確認できます。
この画面に表示されるデータは「データ保存」からダウンロードできます。
改善（ポップアップ）
対象の列を選択し、改善します。
主にエラーなどでうまくデータが取得できていない場合などに使います。
チャットを選択（チャット共有）
チャット（パーサー）を他のユーザーへ共有したい場合に使います。
共有したい「チャットID」と共有相手の「User ID」を指定して共有します。
アーカイブ
非表示にしたチャット（パーサー）が一覧で表示されます。
再表示することも可能です。