AI Agent開発日記 2025/01/21

やりたいこと

AgentBuilderの対話型エージェントにおけるPlaybookを活用したデータストア検索の調査

データストアに入れるファイルの量を増やして動作を確認する

• やりたいこと
  • データストアに入れるファイルの量を増やしても、物件検索エージェントの回答に変化がないか確認する。
• 試したこと
  • 2MBの物件txtデータが入ったファイルを、以下の個数ずつ増やしてデータストアに追加し、動作を確認する。
    30個 50個 70個 100個
• 結果
  • 30個 50個
    • 全て期待通りに回答された
  • 70個
    • 10回中3回は、データストアに合致するデータが存在しているにもかかわらず、「見つかりませんでした」回答されてしまった。
  • 100個
    • データが存在するにもかかわらず、10回中7回も「見つかりませんでした」と回答されてしまった。
    • あとファイルの数が増えるにつれて、指定した回答形式とは異なる出力がされることがあった。

データストアに追加するファイルの量が増えると回答率が下がる問題を、
設定の調整によって改善できるか調査する。

• やりたいこと
  • データストアに追加するファイルの量が増えると回答率が下がる問題を解決したい。
• 試したこと
  • Playbook の Instructions 設定や、Tool datastore のプロンプト設定を調整して、回答率が下がる問題を改善できるかを調査。
• 結果
  • 両方の設定を調整しても、回答形式に手を加える事はできたが、回答率を増やすことはできなかった。

ファイル数と回答率にどんな関係があるのか？

• やりたいこと
  • 他の容量のファイルでも、データストアに入れる数を増やすと回答率が下がるのかを確かめる。
• 試したこと
  • 700KBや500KBのファイルでもデータストアに入れる量を増やすと回答率が下がるかどうかを検証。
• 結果
  • 700KBのファイルをデータストアに700個追加した時点で、10回中8回、回答が得られなかった。
    500KBのファイルは1100個ファイルを追加した時点で10回中6回、回答が得られなかった。
  • ファイルサイズが大きいと少ないファイル数でも回答率が低下しやすく、ファイル数が増えるほど回答率がさらに低下する傾向があることが分かった。

まとめ

• データストアに入れるファイルサイズが大きいと、少ないファイル数でも回答率が低下しやすく、
  ファイル数が増えると、回答率が低下する傾向がある事が分かった。
• Playbookや、toolの設定を調整しても、回答率の改善にはつながらなかった。
• 次回の検証では、現在の症状を解決するために様々なアプローチを試してみる。