Tau-knowledge: benchmarking agents on real-world knowledge

𝜏-knowledge는 실제 금융 고객 지원 시나리오를 반영한 대규모 지식 기반에서 AI 에이전트의 검색, 추론, 다단계 도구 호출 능력을 평가하는 벤치마크입니다. GPT-5.5 모델이 초기 대비 성능을 크게 개선했으나, 여전히 60% 이상의 과제가 실패하는 등 해결 과제가 많습니다. 강력한 에이전트는 지속적이고 정밀한 검색 전략을 사용하며, 적절한 시점에만 행동을 취하는 특징을 보입니다. 이 벤치마크는 실제 지식 중심 업무에 투입될 AI 에이전트의 성능 평가 및 개선 방향 제시에 유용합니다.

https://sierra.ai/blog/tau-knowledge

#agentbenchmark #knowledgebase #fintech #llm #evaluation