MENU
  • HOME
  • 取引実績
  • 会社概要
  • 資料DL
  • お問い合わせ
  • FAQ
  • BigQuery記事
  • Struccle記事
データ流通、検索エンジン開発のプロフェッショナル
DataStructor
  • HOME
  • 取引実績
  • 会社概要
  • 資料DL
  • お問い合わせ
  • FAQ
  • BigQuery記事
  • Struccle記事
DataStructor
  • HOME
  • 取引実績
  • 会社概要
  • 資料DL
  • お問い合わせ
  • FAQ
  • BigQuery記事
  • Struccle記事
  1. ホーム
  2. AI_Agent
  3. Agent開発
  4. AI Agent開発日記 2025/04/28

AI Agent開発日記 2025/04/28

2025 4/28
AI_Agent Agent開発
2025年4月28日
目次

この記事について

本記事は、Agent Builder を使用したデータストア参照型対話エージェントの作成に関する調査記録です。

やりたいこと

Agent Builder を用いたデータストア参照型対話エージェントの作成において、
既存のデータストア機能だとデータ数増加により回答率の低下が発生する為、elastic + dataflow + bigqueryで作成した検索が可能なデータストアを実装したい。

前回の調査日記

あわせて読みたい
AI Agent開発日記 2025/04/27 この記事について 本記事は、Agent Builder を使用したデータストア参照型対話エージェントの作成に関する調査記録です。 やりたいこと Agent Builder を用いたデータス...

dataflowでデータ同期ジョブを動かした際にエラーが発生、原因を突き止めたい。

    • やりたいこと
      • DataflowでBigQueryからElasticsearchへのデータ同期ジョブを動かした所、下記のジョブの起動時に指定されたパラメーターのいずれかが無効であったというエラーが発生したため、原因を突き止めたい。
    • 試したこと
      • 今のところ、以下の対処を試してみましたが、原因は解決できていません。
        • ジョブ名、リージョン、テンプレートでBigQuery to Elasticsearchを選択、Target、必須パラメータのapikeyとindexを入力しジョブを実行
          • ジョブの起動時に指定されたパラメーターのいずれかが無効であったというエラーが発生
        • 下記のオプション パラメータを入力し、エラーが発生したらbqのログに書き込まれるようにする。
          • BigQuery source table
          • The dead-letter table name to output failed messages to BigQuery
          • 結果
            • 同様のエラーが発生、エラーログも指定したテーブルに書き込まれていなかった
        • 不要なパラメーターを設定してる可能性があるので最低限のパラメータで試す
          • 特に変わらず
        • オプションパラメーターの設定項目が40行ほどあり、bq→elasticの同期だとオプションパラメーターの何かしらを設定しないと行けない可能性がある,
    • 次やること
      • 記事や設定項目を調査し、問題を解決する。

    ジョブ実行時発生したエラー

    人気記事

    • BigQueryの無料枠を活用しよう!制限と注意点、活用方法を解説
    • BigQueryでエラー解決!よくあるエラーと対処法
    • BigQueryのレベル別学習リソースまとめ!初心者から上級者まで役立つ情報源
    • 【SUUMOスクレイピング】Struccleで物件データを全件収集
    • BigQuery入門!無料データでSQLの基本文字列関数をマスター
    AI_Agent Agent開発
    よかったらシェアしてね!
    • URLをコピーしました!
    • URLをコピーしました!
    目次
    カテゴリー
    • AI_Agent (110)
      • Agent開発 (110)
    • BigQuery (100)
      • BigQueryTips (11)
      • BigQueryでデータ分析 (49)
      • BigQueryのFAQ (1)
      • BigQuery入門 (8)
      • BigQuery学習教材 (22)
      • BigQuery導入ガイド (3)
      • BigQuery最新情報 (3)
      • BigQuery活用事例 (4)
    • Struccle (153)
      • Struccleでスクレイピング (10)
        • suumoの物件データを収集&分析 (1)
        • アニマルジョブの電話番号、メールアドレスを全件収集 (1)
        • データ集計 (6)
        • ホットペッパービューティーのヘアサロンデータを収集&分析 (1)
        • 食べログの飲食店データを収集&分析 (1)
      • Struccleデータ料金事例 (142)
        • 商品分析 (15)
        • 営業リスト (88)
        • 競合分析&市場調査 (58)
        • 自動車 (11)
        • 自社活用 (7)
      • Struccle活用企業様の紹介 (1)
    • 当ブログのコーディング実行環境設定 (2)
    目次