AI Agent開発日記 2025/02/26

2025年2月26日

この記事について

本記事は、Agent Builder を使用したデータストア参照型対話エージェントの作成に関する調査記録です。

やりたいこと

Agent Builder を用いたデータストア参照型対話エージェントの作成において、
データストアのファイル数が増加することで回答率が低下する問題への対処を進める。

前回の調査日記

物件検索エージェントが「1LDK」や「1K」などの違いを正しく認識できておらず、時々間違えるため修正する。

試したこと
- PlaybookのInstructionsとToolのデータストアのプロンプトに意味を認識させる文を追加してみる。
結果
- 意味を認識させる文を追加したところ、解決した。

高確率で正確な回答を維持できるファイル形式や、方法がないか調査する。

試したこと
- CSVファイルのQuestion列の条件を分かりやすいフォーマットでまとめて試してみる。
- Answer列を同じ物件に固定し、Question列をさまざまな質問文にして当てはまった文脈の物で回答することが可能か調べる。
結果
- CSVファイルのQuestion列の条件を分かりやすい下記フォーマットでまとめてみた結果、動作は特に変化せず回答率は低下したままだった。
- Answer列を同じ物件に固定し、Question列をさまざまな質問文にして、該当する文脈のもので回答することが可能か調べた。その結果、可能だったが、ファイル数が増えるためこの方法は一旦保留とする。

Question列の条件を分かりやすくまとめたCSVファイルのフォーマット。

"answer","question"
"所在地: 東京都八王子市片倉町12, 間取り: 1K, 賃料: 45000円, 管理費: 3000円, 敷金: 45000円, 礼金: 45000円","【エリア】: 東京都八王子市片倉町12 【間取り】: 1K 【家賃】: 45000円 【管理費】: 3000円 【敷金・礼金】: 45000円 / 45000円"
"所在地: 神奈川県川崎市中原区新丸子東3, 間取り: 3LDK, 賃料: 120000円, 管理費: 8000円, 敷金: 120000円, 礼金: 120000円","【エリア】: 神奈川県川崎市中原区新丸子東3 【間取り】: 3LDK 【家賃】: 120000円 【管理費】: 8000円 【敷金・礼金】: 120000円 / 120000円"
"所在地: 埼玉県さいたま市大宮区桜木町4, 間取り: 2DK, 賃料: 68000円, 管理費: 5000円, 敷金: 68000円, 礼金: 68000円","【エリア】: 埼玉県さいたま市大宮区桜木町4 【間取り】: 2DK 【家賃】: 68000円 【管理費】: 5000円 【敷金・礼金】: 68000円 / 68000円"
"所在地: 千葉県船橋市本町5, 間取り: 1LDK, 賃料: 89000円, 管理費: 7000円, 敷金: 89000円, 礼金: 89000円","【エリア】: 千葉県船橋市本町5 【間取り】: 1LDK 【家賃】: 89000円 【管理費】: 7000円 【敷金・礼金】: 89000円 / 89000円"
"所在地: 東京都杉並区高円寺南2, 間取り: 4LDK, 賃料: 175000円, 管理費: 10000円, 敷金: 175000円, 礼金: 175000円","【エリア】: 東京都杉並区高円寺南2 【間取り】: 4LDK 【家賃】: 175000円 【管理費】: 10000円 【敷金・礼金】: 175000円 / 175000円"

PlaybookのInstructionsとToolのデータストアのプロンプトで検索時に家賃などの金額の ±20% の範囲を許容するみたいな指示は与えられるのかを調査する

試したこと
- 通常、家賃などの条件は設定した値と完全に一致しないと同じと認識されないため、検索時に家賃などの金額に±20%の許容範囲を設ける指示を、PlaybookのInstructionsやToolのデータストアのプロンプトで与えられるか調査する。
結果
- PlaybookのInstructionsやToolのデータストアのプロンプトに、検索時に家賃などの金額に±20%の許容範囲を設ける指示を追加して試してみた。しかし、検索結果に顕著な変化は見られず、依然として設定した条件と完全に一致する場合のみ同じものとして認識される挙動が続いた。