【BigQuery公開データ分析】消費者金融保護局の苦情データ分析！金融サービスの課題と改善点

2024年9月29日2024年11月9日

記事の対象者と解消できるお悩み

【対象者】

初中級データアナリスト

【興味関心】

金融サービスの現状
顧客満足度向上
苦情分析
サービス改善
リスク管理
コンプライアンス

【解消できるお悩み】

顧客の不満や要望を把握したいけど、どうすればいいかわからない…
金融サービスの品質を向上させたい
苦情分析で、サービスのどこに問題があるのか明らかにしたい
金融サービスのリスクを特定し、未然に防ぎたい
コンプライアンス違反のリスクを減らしたい

記事作成者

【人物】株式会社志庵　代表取締役　佐藤　光　起業6年目

【経歴】株式会社光通信➜光通信同期と起業➜データアナリスト転職➜SaaSで2度目起業

【会社実績】

SaaS 資金調達無しARR2億円

SaaS GMV200億円

【内容】自社AaaSであるStruccle、webスクレイピング、BigQueryに関する記事を作成

各種用語

ARR(Annual Recurring Revenue)
- サブスクリプションサービスの年間売上※当社はSaaS売上
Struccle(ストラクル)
- 株式会社志庵が独自開発しているAaaS
AaaS(アース)
- Data Analytics as a Serviceの意
SaaS(サース)
- Software as a Serviceの意
GoogleCloudPlatform
- Googleが提供するクラウドプラットフォーム。この中に様々なサービスが存在する。
GCP(ジーシーピー)
- GoogleCloudPlatformの略
BigQuery(ビッグクエリ)
- 上記GCPの中に含まれるデータ分析基盤サービス
SQL(エスキューエル)
- データベースを操作するプログラミング言語
クエリ
- SQLで記述した命令文
- クエリ例）
  - SQL構文のクエリ⬇
    - SELECT item_name, price FROM sales_table where price >= 1000;
    - 上記クエリ(命令文)の意味としては「売上テーブル(sales_table)から価格(price)が1000円以上の商品名(item_name)と価格(price)を抽出する」
ペタバイト
- データの単位　ペタバイト＝1000テラバイト＝約100兆行のデータ

概要

金融サービスは、私たちの生活に欠かせないインフラであり、その質の向上は、経済の安定と発展に大きく貢献します。金融サービスを提供する企業は、顧客のニーズを的確に捉え、質の高いサービスを提供することで、顧客満足度を高め、ビジネスを成長させることができます。顧客からの苦情や feedback は、サービスの改善点を発見するための貴重な情報源です。

今回は、Google Cloudのデータウェアハウス「BigQuery」と、アメリカ消費者金融保護局（CFPB）の苦情データベースを使って、金融サービスの課題と改善点を分析します。BigQueryの強力な分析機能を用いることで、大量の苦情データから、顧客が抱える問題点やその傾向を効率的に抽出することができます。この記事では、BigQueryを使って苦情データを分析する方法と、そこから得られたインサイトを金融サービスの改善に活かす方法を解説します。データ分析初心者の方でも、BigQueryを使えば、複雑なデータ分析に挑戦し、金融サービスの質向上に繋がるヒントを見つけることができるでしょう。

BigQueryで金融サービスの苦情データを分析するメリット
分析に使用するBigQueryのデータセット
BigQueryで苦情データを分析する手順
BigQueryを使った苦情データ分析例
FAQ：BigQueryに関するよくある質問
まとめ：BigQueryで顧客の声を分析し、金融サービスの改善を目指そう！

1. BigQueryで金融サービスの苦情データを分析するメリット

BigQueryは、金融サービスの苦情データ分析に最適なツールです。その理由は、以下の様なメリットがあるからです。

大規模データの高速処理： 膨大な苦情データを高速に分析できるため、顧客が抱える問題点やその傾向を効率的に把握できます。
様々なデータソースとの連携： 公開データ、金融機関の顧客データ、経済指標データなど、様々なデータソースと連携できるため、苦情データと他のデータを組み合わせて分析し、より深い洞察を得ることができます。
豊富な分析機能： SQL、機械学習、自然言語処理など、高度な分析機能を利用できるため、複雑なデータ分析にも対応できます。
コストパフォーマンスの高さ： 従量課金制なので、必要な時に必要なだけ利用でき、コストを抑えられます。
高いセキュリティ： Google Cloudの強固なセキュリティ基盤により、機密性の高い金融データを安心して管理できます。

2. 分析に使用するBigQueryのデータセット

今回の分析では、BigQueryの公開データセット「Consumer Financial Protection Bureau (CFPB) Complaints」を使用します。このデータセットには、アメリカの消費者金融保護局（CFPB）に寄せられた金融サービスに関する苦情データが格納されています。データの内容は、苦情の種類、発生日時、発生場所、金融機関名、苦情内容などです。2011年以降のデータが蓄積されており、データ分析を通して金融サービスの課題や改善点を発見することができます。

3. BigQueryで苦情データを分析する手順

BigQueryで苦情データを分析する手順は以下の通りです。

3.1 1. データ確認

まず、データセットの内容を確認します。BigQueryコンソールのUIでデータセットのスキーマを確認したり、サンプルデータをプレビューしたりすることで、データの構造や内容を理解することができます。`cfpb_complaints` データセットには、 `complaint_database` テーブルが含まれており、苦情に関する詳細情報が記録されています。具体的には、`product`、`sub_product`、`issue`、`sub_issue` などのカラムがあり、それぞれ金融商品、問題の種類などを表しています。

3.2 2. データ加工

必要に応じて、データを加工します。例えば、日付データを年、月、日、曜日などに分割したり、特定の金融商品や問題に関する苦情に絞り込んだり、集計を行ったりします。BigQueryは、SQLを使ってデータ加工を行うための様々な関数を提供しています。

3.3 3. データ分析

加工したデータに対して、SQLクエリやBigQuery MLなどを用いて分析を行います。例えば、苦情の種類別件数、金融機関別の苦情件数、地域別の苦情件数、苦情発生の傾向などを分析することができます。また、自然言語処理を用いて、苦情内容を分析し、顧客が抱える具体的な問題点を抽出することも可能です。

3.4 4. 考察と分析結果の活用

分析結果に基づいて、金融サービスの課題と改善点を考察します。例えば、特定の種類の苦情が多い場合は、その苦情の原因を調査し、サービス内容や顧客対応を改善する必要があるでしょう。また、特定の金融機関に苦情が集中している場合は、その金融機関のサービス品質に問題がある可能性があり、適切な対策を検討する必要があります。

4. BigQueryを使った苦情データ分析例

今回はBigQuery公開データセットbigquery-public-data.cfpb_complaints.complaint_databaseを使って、金融サービスの課題と改善点を分析します。

このデータセットには、消費者金融保護局（CFPB）に寄せられた金融商品やサービスに関する苦情が記録されています。

苦情内容、製品、発生した問題、企業などを分析することで、金融サービスの現状を把握し、改善点を導き出すことが可能です。

BigQuery分析例：金融商品別苦情件数ランキング

どの金融商品に多くの苦情が寄せられているのかを把握するため、金融商品(product)別に苦情件数(complaint_count)を集計し、ランキング形式で表示します。

SELECT
  product,
  COUNT(*) AS complaint_count
FROM `bigquery-public-data.cfpb_complaints.complaint_database`
GROUP BY product
ORDER BY complaint_count DESC

【BigQuery SQL解説】

COUNT(*) で、商品別の苦情件数をカウントします。
GROUP BY 句で、商品(product)別に集計します。
ORDER BY 句で、苦情件数(complaint_count)の降順に並べ替えます。

【BigQuery分析での活用例】

苦情件数の多い商品を特定することで、消費者が特に不満を感じている金融商品やサービスを把握し、優先的に改善に取り組むべき分野を明らかにできます。
商品別の苦情内容をさらに分析することで、具体的な問題点や消費者のニーズを理解し、より効果的な改善策を検討することができます。

実行結果　1位のクレジット関連が2位の4倍で圧倒的

BigQuery分析例：企業別・苦情処理状況

企業(company_name)の苦情対応状況を評価するため、企業別に、タイムリーな対応(timely_response)が行われた苦情の割合(timely_response_rate)と、消費者が異議を申し立てた苦情の割合(disputed_rate)を集計します。

WITH company_complaints AS (
  SELECT
    company_name,
    COUNTIF(timely_response) AS timely_responses,
    COUNTIF(consumer_disputed) AS disputed_complaints,
    COUNT(*) AS total_complaints
  FROM `bigquery-public-data.cfpb_complaints.complaint_database`
  GROUP BY 1
)
SELECT
  company_name,
  timely_responses,
  disputed_complaints,
  total_complaints,
  SAFE_DIVIDE(timely_responses, total_complaints) * 100 AS timely_response_rate,
  SAFE_DIVIDE(disputed_complaints, total_complaints) * 100 AS disputed_rate
FROM company_complaints
ORDER BY total_complaints DESC

【BigQuery SQL解説】

WITH句でcompany_complaintsという共通テーブル式を定義し、企業別に苦情処理状況に関する指標を集計します。
COUNTIF(timely_response)で、タイムリーな対応が行われた苦情の件数をカウントします。
COUNTIF(consumer_disputed)で、消費者が異議を申し立てた苦情の件数をカウントします。
COUNT(*)で、企業ごとの総苦情件数をカウントします。
SAFE_DIVIDE関数で、ゼロ除算エラーを回避しながら、タイムリーな対応の割合(timely_response_rate)と異議申し立ての割合(disputed_rate)を計算します。
GROUP BY句で、企業名(company)ごとに集計します。
ORDER BY句で、総苦情件数(total_complaints)の降順に並べ替えます。

【BigQuery分析での活用例】

企業別にタイムリーな対応の割合や異議申し立ての割合を比較することで、苦情対応に優れた企業や課題を抱える企業を特定し、企業の顧客対応の現状を把握できます。
タイムリーな対応の割合が低い企業は、対応プロセスの改善や、顧客対応担当者のトレーニングなどを検討する必要があると考えられます。
異議申し立ての割合が高い企業は、顧客とのコミュニケーション方法や、苦情解決の方法を見直す必要があると考えられます。

注意点

これらのクエリは、BigQuery公開データに基づいています。データの正確性や最新性については、実際のBigQuery公開データをご自身でご確認ください。
当該分析は、様々な要因を総合的に判断する必要があります。これらのクエリは分析の一例であり、意思決定の根拠として単独で使用すべきではありません。

5. FAQ：BigQueryに関するよくある質問

Q1. BigQueryの無料枠を超えて利用すると、どのくらい費用がかかりますか？

A1. 無料枠を超えた場合、従量課金制で料金が発生します。料金は、処理したデータ量やストレージ容量などによって異なります。詳しくは、BigQueryの料金ページをご確認ください。

Q2. BigQueryで使えるSQLは、他のデータベースと同じですか？

A2. BigQueryは標準SQLをサポートしており、他のデータベースで学んだSQLの知識を活かすことができます。ただし、BigQuery独自の関数や構文も存在するため、BigQueryのドキュメントで詳細を確認することをおすすめします。

Q3. SQLの学習には、どのような教材がありますか？

A3. SQLの学習には、オンライン学習サイト、書籍、動画教材など、様々な教材があります。初心者向けの教材から、上級者向けの教材まで、レベルに合わせて選ぶことができます。Googleが提供するBigQueryのチュートリアルもSQLの学習に役立ちます。

6. まとめ：BigQueryで顧客の声を分析し、金融サービスの改善を目指そう！

BigQueryは、金融サービスの苦情データ分析に最適なツールです。BigQueryの高速な処理性能、豊富な分析機能を活用することで、顧客が抱える問題点やその傾向を分析し、サービス改善に繋げることができます。ぜひ、BigQueryを活用して、顧客中心の金融サービスを目指しましょう。

BigQuery導入サポート、転職検討中の方はお問い合わせフォームからご相談くださいませ。

誠心誠意精一杯対応いたします。

【参考URL】

GoogleCloudPlatform：https://console.cloud.google.com/welcome/new

BigQuery：https://cloud.google.com/bigquery?hl=ja

BigQueryリリース情報：https://cloud.google.com/bigquery/docs/release-notes

BigQuery料金：https://cloud.google.com/bigquery/pricing

BigQuery料金無料枠：https://cloud.google.com/bigquery/pricing?hl=ja#free-tier

Google Cloud活用事例：https://cloud.google.com/customers/index.html?hl=ja#

Looker Studio：https://cloud.google.com/looker-studio?hl=ja

Looker Studioサンプル：https://cloud.google.com/bigquery/docs/visualize-looker-studio?hl=ja

よかったらシェアしてね！

URLをコピーしました！

URLをコピーしました！