AI Agent開発日記 2025/02/19

2025年2月19日

この記事について

本記事は、Agent Builder を使用したデータストア参照型対話エージェントの作成に関する調査記録です。

やりたいこと

Agent Builder を用いたデータストア参照型対話エージェントの作成において、
データストアのファイル数が増加することで回答率が低下する問題への対処を進める。

前回の調査日記

チャットアプリケーション用のよくある質問の構造化データ（CSV）形式のデータストアに登録しているcsvファイルのquestion列に複数の質問を組み込む場合、どのくらい複雑に設定できるのかを調査する。

試したこと
- 下記のようなcsvファイルをデータストアに追加し、回答に影響が出るのかを調査する
  - question内の質問を3つに増やす
  - 質問の接続詞をさらに増やす
  - 短い文の質問を試す
  - 長文の質問を試す
結果
- question内の質問を3つに増やした場合
  - 3つほどの質問であれば正確に回答されるが、question の内容を answer からかけ離れたものにすると、回答率が落ちることがわかった。
- 質問の接続詞をさらに増やした場合
  - questionに設定した文脈通りなら正確に回答された。
- 短い文の質問の場合
  - 文脈通りなら正確に回答された。
- 長文の質問の場合
  - 文脈通りなら正確に回答された。

使用したcsvファイルの例

# question内の質問を3つに増やした場合
answer,question
"所在地: 大阪府泉南郡熊取町朝代西３, 間取り: ワンルーム, 賃料: 23000円, 管理費: 0円, 敷金: 0円, 礼金: 0円","大阪府泉南郡熊取町朝代西３でワンルームの物件はありますか？ 熊取町で23000円くらいの物件も探しているのですが、何かありますか？ 敷金・礼金ゼロの物件はありますか？"
"所在地: 群馬県前橋市粕川町込皆戸, 間取り: 1K, 賃料: 29000円, 管理費: 2000円, 敷金: 0円, 礼金: 0円","群馬県前橋市粕川町込皆戸で1Kの物件はありますか？ 群馬県内で3万円以内の1Kの賃貸は他にもありますか？ 敷金・礼金ゼロの物件はありますか？ 管理費込みで3万円以下の部屋も探しています。"

# 質問の接続詞をさらに増やした場合
answer,question
"所在地: 大阪府泉南郡熊取町朝代西３, 間取り: ワンルーム, 賃料: 23000円, 管理費: 0円, 敷金: 0円, 礼金: 0円","大阪府泉南郡熊取町朝代西３でワンルームの物件を探していますが、何かありますか？ それとも別のエリアで似たような条件の物件はありますか？"
"所在地: 群馬県前橋市粕川町込皆戸, 間取り: 1K, 賃料: 29000円, 管理費: 2000円, 敷金: 0円, 礼金: 0円","群馬県前橋市粕川町込皆戸に1Kの空室はありますか？ もしなければ、近隣で条件の近い物件があれば教えてください。"

# 短い文の質問の場合
answer,question
"所在地: 大阪府泉南郡熊取町朝代西３, 間取り: ワンルーム, 賃料: 23000円, 管理費: 0円, 敷金: 0円, 礼金: 0円","熊取町朝代西３ ワンルームある？"
"所在地: 群馬県前橋市粕川町込皆戸, 間取り: 1K, 賃料: 29000円, 管理費: 2000円, 敷金: 0円, 礼金: 0円","粕川町込皆戸の1の空き部屋教えて"

# 長文の質問の場合
answer,question
"所在地: 大阪府泉南郡熊取町朝代西３, 間取り: ワンルーム, 賃料: 23000円, 管理費: 0円, 敷金: 0円, 礼金: 0円","私は現在、大阪府泉南郡熊取町朝代西３でワンルームの物件を探しています。なるべく家賃が安く、敷金や礼金がかからない物件が希望なのですが、そのような条件に合う賃貸物件はありますでしょうか？ また、駅に近い物件があればそちらも知りたいです。"
"所在地: 群馬県前橋市粕川町込皆戸, 間取り: 1K, 賃料: 29000円, 管理費: 2000円, 敷金: 0円, 礼金: 0円","群馬県前橋市粕川町込皆戸に引っ越しを考えており、1Kの賃貸を探しています。なるべく安価で管理費がかからない物件があれば、教えていただけませんか？ さらに、更新料の有無も知りたいです。"