Robôs da web
Quem lê o seu site quando ninguém está olhando
Uma página por robô de IA e de busca: quem é o dono, qual token vai no robots.txt, o que ele coleta e o que se perde ao bloquear. Cada campo conferido na documentação oficial da empresa, com a data da conferência na página. A newsletter Citado pela IA está em preparação.
ClaudeBot
Anthropic · treino de modelo
Claude-SearchBot
Anthropic · índice de busca
Claude-User
Anthropic · pedido do usuário
GPTBot
OpenAI · treino de modelo
ChatGPT-User
OpenAI · pedido do usuário
OAI-AdsBot
OpenAI · verificação de anúncio
OAI-SearchBot
OpenAI · índice de busca
Googlebot
Google · índice de busca
AdsBot-Google
Google · verificação de anúncio
AdsBot-Google-Mobile
Google · verificação de anúncio
APIs-Google
Google · serviço da plataforma
FeedFetcher-Google
Google · pedido do usuário
Google-CloudVertexBot
Google · índice de busca
Google-Extended
Google · treino de modelo
Google-GeminiNotebook
Google · pedido do usuário
Google-InspectionTool
Google · pedido do usuário
Google-Read-Aloud
Google · pedido do usuário
Google-Safety
Google · varredura de abuso
Googlebot-Image
Google · índice de busca
Googlebot-News
Google · índice de busca
GoogleOther
Google · treino de modelo
Mediapartners-Google
Google · verificação de anúncio
Storebot-Google
Google · índice de busca
Bingbot
Microsoft · índice de busca
AdIdxBot
Microsoft · verificação de anúncio
MicrosoftPreview
Microsoft · índice de busca
Applebot
Apple · índice de busca
Applebot-Extended
Apple · treino de modelo
Meta-ExternalAgent
Meta · treino de modelo
FacebookExternalHit
Meta · pedido do usuário
Meta-ExternalFetcher
Meta · pedido do usuário
Meta-WebIndexer
Meta · índice de busca
PerplexityBot
Perplexity · índice de busca
Perplexity-User
Perplexity · pedido do usuário
MistralAI-User
Mistral AI · pedido do usuário
Amazonbot
Amazon · treino de modelo
CCBot
Common Crawl · treino de modelo
DuckDuckBot
DuckDuckGo · índice de busca
DuckAssistBot
DuckDuckGo · pedido do usuário
YouBot
You.com · índice de busca
Diffbot
Diffbot · índice de busca
YandexBot
Yandex · índice de busca
Baiduspider
Baidu · índice de busca
PetalBot
Huawei · índice de busca
SeznamBot
Seznam.cz · índice de busca
Yeti
Naver · índice de busca
AhrefsBot
Ahrefs · índice de busca
SemrushBot
Semrush · índice de busca
Dotbot
Moz · índice de busca
MJ12bot
Majestic · índice de busca
Screaming Frog SEO Spider
Screaming Frog · pedido do usuário
ImagesiftBot
Hive · índice de busca
Omgilibot
Webz.io · índice de busca
Ver o índice completo dos robôs
Citado pela IA está chegando
Deixe seu email e receba o aviso quando o primeiro envio sair.
Entre antes do primeiro envio.
Você só recebe o aviso de lançamento. Cancele quando quiser.