How do agents see your website?
이 도구는 AI 에이전트가 웹사이트를 방문할 때 실제로 받는 HTTP 응답과 사람이 보는 렌더링된 페이지를 나란히 비교해 보여준다. Claude Code, GPTBot, PerplexityBot 등 다양한 AI 에이전트의 User-Agent를 시뮬레이션해 사이트가 에이전트에 대해 어떻게 다르게 응답하는지 분석할 수 있다. 이를 통해 AI 에이전트가 받는 마크다운 페이로드 크기, HTML 차이, 차단 여부 등을 확인하고, AI 친화적 웹사이트 개선을 위한 빠른 인사이트를 제공한다. 현재 대부분 사이트는 에이전트 전용 신호를 제공하지 않아, 마크다운 제공 등 간단한 최적화가 큰 효과를 낼 수 있다.
80% of your Web Fetch returns Junk
웹 에이전트가 웹 페이지를 가져올 때 80% 이상이 내비게이션 바, 광고, 위젯 등 불필요한 잡음 콘텐츠를 포함해 LLM 처리에 비효율적이라는 문제를 TinyFish Fetch가 해결한다. TinyFish Fetch는 브라우저 기반 렌더링과 도메인별 맞춤 대기 전략, 불필요한 사이트 크롬 제거, 오류 반환 등으로 깨끗한 기사 본문만 추출해 토큰 낭비와 비용 증가를 크게 줄인다. 경쟁 서비스 대비 최대 35배 적은 토큰으로 더 정확한 콘텐츠를 제공하며, 뉴스 모니터링, 금융 조사, 브랜드 인텔리전스 등 웹 데이터 활용 AI 에이전트에 즉시 적용 가능한 솔루션이다.
https://www.tinyfish.ai/blog/80-of-your-web-fetch-returns-junk
sayzard
N-gated Hacker News