BigQueryでテキスト分析！自然言語処理で顧客の声を分析

2024年9月22日2024年11月9日

記事の対象者と解消できるお悩み

【対象者】

初中級データアナリスト

【興味関心】

顧客の声分析
アンケート分析
レビュー分析
ソーシャルメディア分析
商品開発
サービス改善
マーケティング戦略

【解消できるお悩み】

顧客アンケートの自由回答欄を分析したいけど、どうすればいいか分からない…
レビューサイトやSNSでの評判を把握したい
顧客の声を分析して、商品開発やサービス改善に活かしたい
BigQueryを使って、顧客の声を効率的に分析できるの？
データ分析に基づいて、より効果的なマーケティング戦略を立案したい

記事作成者

【人物】株式会社志庵　代表取締役　佐藤　光　起業6年目

【経歴】株式会社光通信➜光通信同期と起業➜データアナリスト転職➜SaaSで2度目起業

【会社実績】

SaaS 資金調達無しARR2億円

SaaS GMV200億円

【内容】自社AaaSであるStruccle、webスクレイピング、BigQueryに関する記事を作成

各種用語

ARR(Annual Recurring Revenue)
- サブスクリプションサービスの年間売上※当社はSaaS売上
Struccle(ストラクル)
- 株式会社志庵が独自開発しているAaaS
AaaS(アース)
- Data Analytics as a Serviceの意
SaaS(サース)
- Software as a Serviceの意
GoogleCloudPlatform
- Googleが提供するクラウドプラットフォーム。この中に様々なサービスが存在する。
GCP(ジーシーピー)
- GoogleCloudPlatformの略
BigQuery(ビッグクエリ)
- 上記GCPの中に含まれるデータ分析基盤サービス
SQL(エスキューエル)
- データベースを操作するプログラミング言語
クエリ
- SQLで記述した命令文
- クエリ例）
  - SQL構文のクエリ⬇
    - SELECT item_name, price FROM sales_table where price >= 1000;
    - 上記クエリ(命令文)の意味としては「売上テーブル(sales_table)から価格(price)が1000円以上の商品名(item_name)と価格(price)を抽出する」
ペタバイト
- データの単位　ペタバイト＝1000テラバイト＝約100兆行のデータ

概要

顧客の声は、ビジネスの成功にとって非常に貴重な情報源です。顧客の声を分析することで、顧客のニーズや不満を把握し、製品やサービスの改善、マーケティング戦略の最適化などに役立てることができます。しかし、顧客の声は、アンケートの自由回答欄、レビューサイト、ソーシャルメディアなど、様々な場所に散在しており、しかも非構造化データであるため、分析が難しいという課題があります。

Google Cloudのデータウェアハウス「BigQuery」は、自然言語処理の技術を活用することで、テキストデータである顧客の声を分析するための強力なツールとなります。この記事では、BigQueryを使って顧客の声を分析し、ビジネスに役立つインサイトを得る方法を、具体的な例を交えながら解説します。データ分析初心者の方でも、BigQueryを使えば、顧客の声を分析し、データに基づいた意思決定を行うことができるでしょう。

BigQueryでテキスト分析を行うメリット
BigQueryで利用可能な自然言語処理
顧客の声分析に役立つBigQueryの無料公開データセット
BigQueryで顧客の声を分析する手順
BigQueryを使った顧客の声分析例
FAQ：BigQueryに関するよくある質問
まとめ：BigQueryで顧客の声を分析し、顧客中心のビジネスを実現しよう！

1. BigQueryでテキスト分析を行うメリット

BigQueryは、テキスト分析に最適なツールです。その理由は、以下の様なメリットがあるからです。

大規模データの高速処理： 膨大なテキストデータを高速に分析できるため、大量の顧客の声から迅速にインサイトを得ることができます。
様々なデータソースとの連携： 公開データ、自社データ、外部データなど、様々なデータソースと連携できるため、顧客の声分析に必要なデータを統合的に分析できます。
豊富な分析機能： SQL、機械学習、自然言語処理など、高度な分析機能を利用できるため、複雑なテキスト分析にも対応できます。
コストパフォーマンスの高さ： 従量課金制なので、必要な時に必要なだけ利用でき、コストを抑えられます。
高いセキュリティ： Google Cloudの強固なセキュリティ基盤により、安心してデータを管理できます。

2. BigQueryで利用可能な自然言語処理

BigQueryでは、Natural Language API と連携することで、以下の様な自然言語処理機能を利用することができます。

エンティティ分析： テキストから人、組織、場所、イベントなどのエンティティを抽出します。
感情分析： テキストに含まれる感情（肯定的、否定的、中立的）を分析します。
構文解析： テキストの文法構造を分析し、名詞、動詞、形容詞などの品詞を特定します。
コンテンツ分類： テキストをカテゴリに分類します。

3. 顧客の声分析に役立つBigQueryの無料公開データセット

BigQueryには、顧客の声分析に役立つ無料公開データセットは多くありません。しかし、他のデータと組み合わせることで分析可能なデータセットはいくつか存在します。以下は、その一例です。

Wikipedia： Wikipediaの記事データを分析できます。製品やサービスに関する記述を分析することで、顧客の意見や評判を推測することができます。
Reddit Comments： Redditのコメントデータを分析できます。製品やサービスに関するコメントを分析することで、顧客の意見や評判を把握することができます。

4. BigQueryで顧客の声を分析する手順

BigQueryで顧客の声を分析する手順は以下の通りです。

4.1 1. データ収集

まず、分析対象とする顧客の声を明確化し、必要なデータを収集します。アンケートの自由回答欄、レビューサイト、ソーシャルメディア、カスタマーサポートのログなどからデータを収集します。データ収集の際には、データの正確性、網羅性、最新性に注意する必要があります。

4.2 2. データ加工

収集したデータは、分析しやすいように加工する必要があります。例えば、データのクリーニング、変換、匿名化などを行います。BigQueryは、SQLを使ってデータ加工を行うための様々な関数を提供しています。

4.3 3. 感情分析

加工したデータに対して、Natural Language APIの感情分析機能を用いて、顧客の声に含まれる感情（肯定的、否定的、中立的）を分析します。感情分析の結果は、顧客満足度を把握したり、製品やサービスの改善点を見つけたりするのに役立ちます。

4.4 4. トピック抽出

顧客の声から、どのようなトピックについて言及されているのかを分析します。Natural Language APIのエンティティ分析やコンテンツ分類機能を利用することで、顧客の声から主要なトピックを抽出することができます。トピック抽出の結果は、顧客の関心事を把握したり、製品やサービスの改善点を見つけたりするのに役立ちます。

4.5 5. 考察と分析結果の活用

感情分析やトピック抽出の結果に基づいて、顧客の声を総合的に分析し、顧客のニーズや不満を把握します。分析結果を基に、製品やサービスの改善、マーケティング戦略の最適化、カスタマーサポートの強化など、具体的なアクションプランを立案しましょう。

5. BigQueryを使った顧客の声分析例

BigQuery分析例：苦情内容の単語数による集計

今回は、BigQueryの公開データセットbigquery-public-data.cfpb_complaints.complaint_databaseを使って、自然言語処理を用いた顧客の声分析について解説します。

このデータセットには、米国消費者金融保護局(CFPB)に寄せられた金融商品やサービスに関する苦情が記録されています。

金融機関のサービス改善や顧客満足度向上のため、顧客の声を分析することは非常に重要です。

SELECT
  CASE
    WHEN LENGTH(consumer_complaint_narrative) - LENGTH(REPLACE(consumer_complaint_narrative, ' ', '')) + 1 BETWEEN 1 AND 100 THEN '1-100 words'
    WHEN LENGTH(consumer_complaint_narrative) - LENGTH(REPLACE(consumer_complaint_narrative, ' ', '')) + 1 BETWEEN 101 AND 200 THEN '101-200 words'
    WHEN LENGTH(consumer_complaint_narrative) - LENGTH(REPLACE(consumer_complaint_narrative, ' ', '')) + 1 BETWEEN 201 AND 300 THEN '201-300 words'
    ELSE '301 words or more'
  END AS word_count_group,
  count(*) AS complaint_count
FROM bigquery-public-data.cfpb_complaints.complaint_database
WHERE consumer_complaint_narrative IS NOT NULL
GROUP BY 1
ORDER BY complaint_count DESC

【BigQuery SQL解説】

LENGTH(consumer_complaint_narrative) – LENGTH(REPLACE(consumer_complaint_narrative, ‘ ‘, ”)) + 1 で、苦情記述の単語数を計算します。
CASE文とWHEN句で、単語数に応じて苦情をグループ化します。
COUNT(*) で、各単語数グループの苦情件数をカウントします。
GROUP BY句で、単語数グループ(word_count_group)ごとに集計します。
ORDER BY句で、苦情件数(complaint_count)の降順に並べ替えます。

【BigQuery分析での活用例】

苦情内容の単語数の分布を把握することで、顧客が苦情を記述する際の傾向を理解できます。
単語数の多い苦情に注目することで、より深刻な問題や複雑な状況を抱えている顧客を特定できます。

BigQuery分析例：製品種別ごとの平均苦情内容単語数

製品種別(product)ごとに、苦情内容(consumer_complaint_narrative)の平均単語数を集計します。

WITH word_count_per_complaint AS (
  SELECT
    product,
    LENGTH(consumer_complaint_narrative) - LENGTH(REPLACE(consumer_complaint_narrative, ' ', '')) + 1 AS word_count
  FROM bigquery-public-data.cfpb_complaints.complaint_database
  WHERE consumer_complaint_narrative IS NOT NULL
)
SELECT
  product,
  AVG(word_count) AS average_word_count
FROM
  word_count_per_complaint
GROUP BY 1
ORDER BY average_word_count DESC

【BigQuery SQL解説】

WITH句で、word_count_per_complaintという名前の共通テーブル式を定義し、各苦情の単語数を計算します。
AVG(word_count)で、製品種別ごとの苦情内容の平均単語数を計算します。
GROUP BY句で、製品種別(product)ごとに集計します。
ORDER BY句で、平均単語数(average_word_count)の降順に並べ替えます。

【BigQuery分析での活用例】

製品種別ごとの平均単語数を比較することで、顧客がどの製品に関してより詳細な苦情を記述する傾向があるかを分析できます。
平均単語数の多い製品に注目することで、顧客体験の改善が必要な製品を特定できます。

上記SQLクエリ注意点

これらのクエリは、BigQuery公開データに基づいています。データの正確性や最新性については、実際のBigQuery公開データをご自身でご確認ください。
当該分析は、様々な要因を総合的に判断する必要があります。これらのクエリは分析の一例であり、意思決定の根拠として単独で使用すべきではありません。

6. FAQ：BigQueryに関するよくある質問

Q1. BigQueryの無料枠を超えて利用すると、どのくらい費用がかかりますか？

A1. 無料枠を超えた場合、従量課金制で料金が発生します。料金は、処理したデータ量やストレージ容量などによって異なります。詳しくは、BigQueryの料金ページをご確認ください。

Q2. BigQueryで使えるSQLは、他のデータベースと同じですか？

A2. BigQueryは標準SQLをサポートしており、他のデータベースで学んだSQLの知識を活かすことができます。ただし、BigQuery独自の関数や構文も存在するため、BigQueryのドキュメントで詳細を確認することをおすすめします。

Q3. SQLの学習には、どのような教材がありますか？

A3. SQLの学習には、オンライン学習サイト、書籍、動画教材など、様々な教材があります。初心者向けの教材から、上級者向けの教材まで、レベルに合わせて選ぶことができます。Googleが提供するBigQueryのチュートリアルもSQLの学習に役立ちます。

6. まとめ：BigQueryで顧客の声を分析し、顧客中心のビジネスを実現しよう！

BigQueryは、顧客の声分析に最適なツールです。BigQueryの高速な処理性能、豊富な分析機能、そして自然言語処理を活用することで、顧客のニーズや不満を深く理解し、顧客中心のビジネスを実現することができます。ぜひ、BigQueryを導入し、データ分析の力をビジネスに活かしましょう。

BigQuery導入サポート、転職検討中の方はお問い合わせフォームからご相談くださいませ。

誠心誠意精一杯対応いたします。

【参考URL】

GoogleCloudPlatform：https://console.cloud.google.com/welcome/new

BigQuery：https://cloud.google.com/bigquery?hl=ja

BigQueryリリース情報：https://cloud.google.com/bigquery/docs/release-notes

BigQuery料金：https://cloud.google.com/bigquery/pricing

BigQuery料金無料枠：https://cloud.google.com/bigquery/pricing?hl=ja#free-tier

Google Cloud活用事例：https://cloud.google.com/customers/index.html?hl=ja#

Looker Studio：https://cloud.google.com/looker-studio?hl=ja

Looker Studioサンプル：https://cloud.google.com/bigquery/docs/visualize-looker-studio?hl=ja

よかったらシェアしてね！

URLをコピーしました！

URLをコピーしました！