MENU
  • HOME
  • 取引実績
  • 会社概要
  • 資料DL
  • お問い合わせ
  • FAQ
  • BigQuery記事
  • Struccle記事
データ流通、検索エンジン開発のプロフェッショナル
DataStructor
  • HOME
  • 取引実績
  • 会社概要
  • 資料DL
  • お問い合わせ
  • FAQ
  • BigQuery記事
  • Struccle記事
DataStructor
  • HOME
  • 取引実績
  • 会社概要
  • 資料DL
  • お問い合わせ
  • FAQ
  • BigQuery記事
  • Struccle記事
  1. ホーム
  2. BigQuery
  3. BigQueryでデータ分析
  4. 【BigQuery公開データ分析】地球観測衛星データで地球を眺める!環境問題の現状

【BigQuery公開データ分析】地球観測衛星データで地球を眺める!環境問題の現状

2024 11/28
BigQuery BigQueryでデータ分析
2024年9月23日2024年11月28日
目次

記事の対象者と解消できるお悩み

【対象者】

初中級データアナリスト

【興味関心】

  1. 環境問題
  2. 持続可能な社会
  3. ESG投資
  4. CSR活動
  5. データ分析の可能性

【解消できるお悩み】

  • 環境問題の現状を把握したいけど、どこから情報収集すれば良いか分からない…
  • 自社のビジネスが環境に与える影響を知りたい
  • ESG投資やCSR活動に役立つデータ分析をしたい
  • データを使って、環境問題の解決に貢献したい

記事作成者

【人物】株式会社志庵 代表取締役 佐藤 光 起業6年目

【経歴】株式会社光通信➜光通信同期と起業➜データアナリスト転職➜SaaSで2度目起業

【会社実績】

SaaS 資金調達無しARR2億円

SaaS GMV200億円

【内容】自社AaaSであるStruccle、webスクレイピング、BigQueryに関する記事を作成

各種用語

  • ARR(Annual Recurring Revenue)
    • サブスクリプションサービスの年間売上※当社はSaaS売上
  • Struccle(ストラクル)
    • 株式会社志庵が独自開発しているAaaS
  • AaaS(アース)
    • Data Analytics as a Serviceの意
  • SaaS(サース)
    • Software as a Serviceの意
  • GoogleCloudPlatform
    • Googleが提供するクラウドプラットフォーム。この中に様々なサービスが存在する。
  • GCP(ジーシーピー)
    • GoogleCloudPlatformの略
  • BigQuery(ビッグクエリ)
    • 上記GCPの中に含まれるデータ分析基盤サービス
  • SQL(エスキューエル)
    • データベースを操作するプログラミング言語
  • クエリ
    • SQLで記述した命令文
    • クエリ例)
      • SQL構文のクエリ⬇
        • SELECT item_name, price FROM sales_table where price >= 1000;
        • 上記クエリ(命令文)の意味としては「売上テーブル(sales_table)から価格(price)が1000円以上の商品名(item_name)と価格(price)を抽出する」
  • ペタバイト
    • データの単位 ペタバイト=1000テラバイト=約100兆行のデータ

概要

地球環境問題は、現代社会における最重要課題の一つです。地球温暖化、森林伐採、海洋汚染など、様々な問題が深刻化しており、その現状を把握し、対策を講じることは、私たち人類にとって喫緊の課題です。地球観測衛星は、地球全体を俯瞰的に観測し、様々な環境データを収集することができます。これらのデータを分析することで、環境問題の現状を把握し、その解決策を探るための手がかりを得ることができます。

今回はGoogle Cloudのデータウェアハウス「BigQuery」と、地球観測衛星から得られる無料公開データを使って、環境問題の現状を分析してみましょう。BigQueryの強力な分析機能を活用すれば、膨大な衛星データから、森林伐採の状況、海洋汚染の広がり、都市化の影響などを可視化することができます。この記事では、BigQueryを使って地球観測衛星データを分析する方法と、そこから得られるインサイトを紹介します。データ分析初心者の方でも、BigQueryを使えば、地球規模で進行する環境問題を理解する一助となるでしょう。

目次

  1. BigQueryで地球観測衛星データ分析を行うメリット
  2. 分析に使用するBigQueryのデータセット
  3. BigQueryで地球観測衛星データを分析する手順
    1. 1. データ確認
    2. 2. データ加工
    3. 3. 環境問題の分析
    4. 4. 考察と分析結果の活用
  4. BigQueryを使った地球観測衛星データ分析例
  5. FAQ:BigQueryに関するよくある質問
  6. まとめ:BigQueryで地球環境問題を理解し、持続可能な社会を目指そう!

1. BigQueryで地球観測衛星データ分析を行うメリット

BigQueryは地球観測衛星データ分析に最適なツールです。

その理由は以下の様なメリットがあるからです。

  • 大規模データの高速処理: 膨大な衛星データを高速に分析できるため、地球規模の環境変化を効率的に把握できます。
  • 様々なデータソースとの連携: 公開データ、研究機関のデータ、気象庁の観測データなど、様々なデータソースと連携できるため、環境問題分析に必要なデータを統合的に分析できます。
  • 豊富な分析機能: SQL、機械学習、地理空間分析など、高度な分析機能を利用できるため、複雑な環境データ分析にも対応できます。
  • コストパフォーマンスの高さ: 従量課金制なので、必要な時に必要なだけ利用でき、コストを抑えられます。
  • 高いセキュリティ: Google Cloudの強固なセキュリティ基盤により、安心してデータを管理できます。

2. 分析に使用するBigQueryのデータセット

今回の分析ではBigQueryの公開データセット「GOES-16」を使用します。

このデータセットは特定の地域における雲の量の変化など様々な環境変化を分析するのに適しています。

3. BigQueryで地球観測衛星データを分析する手順

BigQueryで地球観測衛星データを分析する手順は以下の通りです。

3.1 1. データ確認

まず、データセットの内容を確認します。BigQueryコンソールのUIでデータセットのスキーマを確認したり、サンプルデータをプレビューしたりすることで、データの構造や内容を理解することができます。`bigquery-public-data.noaa_goes16` データセットには、 `abi_l1b_radiance`などのテーブルが含まれており、GOES-16 衛星が観測した放射輝度データなどが記録されています。

3.2 2. データ加工

必要に応じて、データを加工します。例えば、特定の地域や期間のデータに絞り込んだり、異なる衛星画像を結合してより広い範囲を分析したりします。BigQueryは、SQLを使ってデータ加工を行うための様々な関数を提供しています。また、地理空間分析関数を利用して、特定の形状(ポリゴン)内のデータのみを抽出することも可能です。

3.3 3. 環境問題の分析

加工したデータに対して、SQLクエリやBigQuery MLなどを用いて分析を行います。例えば、森林面積の変化を分析することで森林伐採の状況を把握したり、NDVI(正規化植生指標)の変化を分析することで植生の健康状態を評価したりすることができます。また、機械学習を用いて、森林火災や洪水などの災害発生を予測するモデルを構築することも可能です。

3.4 4. 考察と分析結果の活用

分析結果に基づいて、環境問題の現状と課題について考察します。地球温暖化の影響はどの程度深刻なのか、環境破壊はどの地域で進行しているのか、私たちにできることは何かなどを考え、レポートにまとめます。分析結果を基に、環境問題への意識向上、環境保護活動への参加、持続可能な社会の実現に向けた取り組みなどを促進することができます。

4. BigQueryを使った地球観測衛星データ分析例

今回はBigQueryの公開データを使って、地球観測衛星データから環境問題の現状を分析してみましょう。

bigquery-public-data.noaa_goes16.abi_l1b_radiance テーブルには、GOES-16 衛星が観測した放射輝度データが格納されています。

このデータを使って特定の地域における雲の量の変化を時系列で分析してみましょう。

BigQuery分析例:日別の平均有効ピクセル数

SELECT
  EXTRACT(DATE FROM time_coverage_start) AS observation_date,
  AVG(valid_pixel_count) AS average_valid_pixels
FROM `bigquery-public-data.noaa_goes16.abi_l1b_radiance`
WHERE band_id = '[7]' -- 可視光バンド
AND geospatial_westbound_longitude BETWEEN -125 AND -120 -- 分析対象地域の経度範囲(例:アメリカ西海岸)
AND geospatial_southbound_latitude BETWEEN 35 AND 40 -- 分析対象地域の緯度範囲
GROUP BY observation_date
ORDER BY observation_date

【BigQuery SQL解説】

  • EXTRACT(DATE FROM time_coverage_start) で、観測日時から日付を抽出します。
  • AVG(valid_pixel_count) で、日別の平均有効ピクセル数を計算します。
  • WHERE 句で、可視光バンド(band_id = ’07’)のデータに絞り込み、分析対象地域の経度・緯度範囲を指定します。
  • GROUP BY 句で、日付ごとに集計します。
  • ORDER BY 句で、日付順に並べ替えます。

【BigQuery分析での活用例】

  • 日別の平均有効ピクセル数の変化をグラフ化することで、雲量の増減傾向を可視化できます。
  • 他の環境データ(例:気温、降水量)と組み合わせることで、雲量の変化と気候変動の関係性を分析できます。

注意点

  • これらのクエリはBigQuery公開データに基づいています。データの正確性や最新性については、実際のBigQuery公開データをご自身でご確認ください。
  • 当該分析は様々な要因を総合的に判断する必要があります。これらのクエリは分析の一例であり、意思決定の根拠として単独で使用すべきではありません。

5. FAQ:BigQueryに関するよくある質問

Q1. BigQueryの無料枠を超えて利用すると、どのくらい費用がかかりますか?

A1. 無料枠を超えた場合、従量課金制で料金が発生します。料金は、処理したデータ量やストレージ容量などによって異なります。詳しくは、BigQueryの料金ページをご確認ください。

Q2. BigQueryで使えるSQLは、他のデータベースと同じですか?

A2. BigQueryは標準SQLをサポートしており、他のデータベースで学んだSQLの知識を活かすことができます。ただし、BigQuery独自の関数や構文も存在するため、BigQueryのドキュメントで詳細を確認することをおすすめします。

Q3. SQLの学習には、どのような教材がありますか?

A3. SQLの学習には、オンライン学習サイト、書籍、動画教材など、様々な教材があります。初心者向けの教材から、上級者向けの教材まで、レベルに合わせて選ぶことができます。Googleが提供するBigQueryのチュートリアルもSQLの学習に役立ちます。

6. まとめ:BigQueryで地球環境問題を理解し、持続可能な社会を目指そう!

BigQueryは、地球観測衛星データ分析に最適なツールです。BigQueryの高速な処理性能、豊富な分析機能、そして無料公開データセットを活用することで、誰でも簡単に地球環境問題の現状を把握することができます。この記事で紹介した分析手順や分析例を参考に、BigQueryを使ったデータ分析に挑戦し、持続可能な社会の実現に貢献していきましょう。

BigQuery導入サポート、転職検討中の方はお問い合わせフォームからご相談くださいませ。

誠心誠意精一杯対応いたします。

【参考URL】

GoogleCloudPlatform:https://console.cloud.google.com/welcome/new

BigQuery:https://cloud.google.com/bigquery?hl=ja

BigQueryリリース情報:https://cloud.google.com/bigquery/docs/release-notes

BigQuery料金:https://cloud.google.com/bigquery/pricing

BigQuery料金無料枠:https://cloud.google.com/bigquery/pricing?hl=ja#free-tier

Google Cloud活用事例:https://cloud.google.com/customers/index.html?hl=ja#

Looker Studio:https://cloud.google.com/looker-studio?hl=ja

Looker Studioサンプル:https://cloud.google.com/bigquery/docs/visualize-looker-studio?hl=ja

気象衛星センター:https://www.data.jma.go.jp/mscweb/ja/prod/product.html

人気記事

  • BigQueryの無料枠を活用しよう!制限と注意点、活用方法を解説
  • BigQueryでエラー解決!よくあるエラーと対処法
  • BigQueryのレベル別学習リソースまとめ!初心者から上級者まで役立つ情報源
  • 【SUUMOスクレイピング】Struccleで物件データを全件収集
  • BigQuery入門!無料データでSQLの基本文字列関数をマスター
BigQuery BigQueryでデータ分析
BigQuery データ分析
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次
カテゴリー
  • AI_Agent (91)
    • Agent開発 (91)
  • BigQuery (100)
    • BigQueryTips (11)
    • BigQueryでデータ分析 (49)
    • BigQueryのFAQ (1)
    • BigQuery入門 (8)
    • BigQuery学習教材 (22)
    • BigQuery導入ガイド (3)
    • BigQuery最新情報 (3)
    • BigQuery活用事例 (4)
  • Struccle (145)
    • Struccleでスクレイピング (10)
      • suumoの物件データを収集&分析 (1)
      • アニマルジョブの電話番号、メールアドレスを全件収集 (1)
      • データ集計 (6)
      • ホットペッパービューティーのヘアサロンデータを収集&分析 (1)
      • 食べログの飲食店データを収集&分析 (1)
    • Struccleデータ料金事例 (134)
      • 商品分析 (15)
      • 営業リスト (80)
      • 競合分析&市場調査 (58)
      • 自動車 (11)
      • 自社活用 (7)
    • Struccle活用企業様の紹介 (1)
  • 当ブログのコーディング実行環境設定 (1)
目次