当前大模型在处理数量相关请求时存在明显的幻觉问题,特别是在列举时经常出现数量不符的情况。
示例:cn-xxx地域存在100个实例。
- User Query:我在cn-xxx地域有多少个实例?
- LLM Answer: 您在cn-xxx地域有53个实例。
可能的改进方式:
- 无需模型计数:
describe_db_instances工具添加filter并直接返回Total Count,filter包括storage type、db type...
- 添加常用计数工具
其他思路
- 参考Claude think tool ,引导模型思考后再回答。