AI Agent開発日記 2025/02/25

2025年2月25日

この記事について

本記事は、Agent Builder を使用したデータストア参照型対話エージェントの作成に関する調査記録です。

やりたいこと

Agent Builder を用いたデータストア参照型対話エージェントの作成において、
データストアのファイル数が増加することで回答率が低下する問題への対処を進める。

前回の調査日記

「チャットアプリケーション用のよくある質問の構造化データ（CSV）」
形式のデータストアで使用するcsvファイルのquestion列の条件を増やすと回答率が低下する問題を解消する方法がないか調査する。

やりたいこと
- 「チャットアプリケーション用のよくある質問の構造化データ（CSV）」
  形式のデータストアで使用する物件情報が入ったCSV ファイルの question 列に条件のみを入れた場合、質問文を組み込むよりも回答率が向上することを発見した。しかし、条件の数を増やすと回答率が低下する問題があるため、これを解決したい。
試したこと
- question列の条件の区切る様々な方法を試す。
- playbookのInstructions設定や、toolのデータストアプロンプト設定を変更し、改善できないか試す。
結果
- question列の条件を下記の文字で区切り変化があるか確認したがすべて変化せず、改善されなかった。
  - 空白、 , | / – _ []
- playbookのInstructions設定や、toolのデータストアのプロンプトに、「条件は区切られており、合致するものを提案してほしい」と記載してみたが、回答率が向上することはなかった。

基本となる使用したcsvファイルの内容

"answer","question"
"所在地: 東京都八王子市片倉町12, 間取り: 1K, 賃料: 45000円, 管理費: 3000円, 敷金: 45000円, 礼金: 45000円","東京都八王子市片倉町12 1K 賃料45000円 管理費3000円 敷金45000円 礼金45000円"
"所在地: 神奈川県川崎市中原区新丸子東3, 間取り: 3LDK, 賃料: 120000円, 管理費: 8000円, 敷金: 120000円, 礼金: 120000円","神奈川県川崎市中原区新丸子東3 3LDK 賃料120000円 管理費8000円 敷金120000円 礼金120000円"
"所在地: 埼玉県さいたま市大宮区桜木町4, 間取り: 2DK, 賃料: 68000円, 管理費: 5000円, 敷金: 68000円, 礼金: 68000円","埼玉県さいたま市大宮区桜木町4 2DK 賃料68000円 管理費5000円 敷金68000円 礼金68000円"
"所在地: 千葉県船橋市本町5, 間取り: 1LDK, 賃料: 89000円, 管理費: 7000円, 敷金: 89000円, 礼金: 89000円","千葉県船橋市本町5 1LDK 賃料89000円 管理費7000円 敷金89000円 礼金89000円"
"所在地: 東京都杉並区高円寺南2, 間取り: 4LDK, 賃料: 175000円, 管理費: 10000円, 敷金: 175000円, 礼金: 175000円","東京都杉並区高円寺南2 4LDK 賃料175000円 管理費10000円 敷金175000円 礼金175000円"