Google atualiza documentação de crawlers e fetchers no robots.txt

Em setembro de 2024, o Google realizou atualizações importantes na documentação sobre seus crawlers e fetchers acionados pelo usuário. Essas mudanças reorganizaram a apresentação das informações, expandindo detalhes sobre como cada produto é afetado e incluindo exemplos de como utilizar os comandos do arquivo robots.txt para controlar a atuação de cada crawler.

O que mudou?

O Google explicou que a principal alteração foi a reorganização das informações. A documentação anterior era extensa e dificultava a adição de novos conteúdos relacionados aos crawlers e fetchers. Com isso, a página única foi transformada em diversas páginas mais específicas.

Além disso, agora cada crawler tem uma seção dedicada que mostra quais produtos do Google ele afeta diretamente, além de exemplos práticos de como configurar o arquivo robots.txt.

Produtos afetados e novos exemplos de robots.txt

Uma das principais novidades dessa atualização foi a inclusão de uma seção chamada “Produtos afetados”, que lista em detalhes como cada crawler impacta os diferentes serviços do Google. Além disso, foram adicionados trechos exemplares de configuração do robots.txt para cada agente de usuário.

Abaixo, listamos alguns dos crawlers e os produtos afetados:

• Googlebot: Afeta o Google Search (incluindo Discover e todos os recursos de pesquisa), além de outros produtos como Google Imagens, Google Vídeos, Google Notícias e Discover.
• Googlebot-Image: Afeta o Google Imagens, Discover, Google Vídeos e todos os recursos no Google Search que exibem imagens, logotipos e favicons.
• Googlebot-Video: Afeta os recursos de vídeo no Google Search e outros produtos dependentes de vídeos.
• Googlebot-News: Afeta todas as superfícies do Google Notícias (por exemplo, a aba Notícias no Google Search e o aplicativo Google News).
• Storebot-Google: Afeta todas as superfícies do Google Shopping (como a aba Shopping no Google Search e o Google Shopping).
• Google-InspectionTool: Afeta ferramentas de teste de busca, como o Teste de Resultados Ricos e a inspeção de URLs no Search Console. Não tem impacto no Google Search ou em outros produtos.
• GoogleOther: Não afeta nenhum produto específico. É um crawler genérico usado por várias equipes de produtos do Google para buscar conteúdo acessível publicamente. Não afeta o Google Search ou outros produtos.
• GoogleOther-Image: Semelhante ao GoogleOther, mas otimizado para buscar URLs de imagens públicas. Não afeta nenhum produto específico.
• GoogleOther-Video: Versão do GoogleOther otimizada para buscar URLs de vídeos públicos. Também não afeta nenhum produto específico.
• Google-CloudVertexBot: Afeta crawls solicitados por proprietários de sites para construir Agentes Vertex AI. Não tem efeito no Google Search ou em outros produtos.
• Google-Extended: Um token de produto independente que os editores podem usar para gerenciar se seus sites ajudam a melhorar o Gemini Apps e as APIs generativas Vertex AI, incluindo futuras gerações de modelos que alimentam esses produtos. O Google-Extended não impacta a inclusão ou o ranqueamento de um site no Google Search.
• APIs-Google: Afeta a entrega de mensagens de notificação push por APIs do Google.
• AdsBot Mobile Web: Afeta a capacidade do Google Ads de verificar a qualidade das páginas de anúncios na web móvel.
• AdsBot: Afeta a capacidade do Google Ads de verificar a qualidade das páginas de anúncios na web.
• AdSense: Afeta o Google AdSense. O crawler do AdSense visita sites participantes para fornecer anúncios relevantes.
• Google-Safety: Responsável por rastreamentos específicos de abuso, como descoberta de malware para links postados publicamente em propriedades do Google. Não é afetado pelas preferências de crawling.
• Feedfetcher: Usado para rastrear feeds RSS ou Atom para Google News e PubSubHubbub.
• Google Publisher Center: Busca e processa feeds fornecidos explicitamente por editores para uso nas páginas de destino do Google News.
• Google Read Aloud: Quando solicitado por um usuário, o Google Read Aloud busca e lê páginas da web em voz alta usando tecnologia de síntese de fala (TTS).
• Google Site Verifier: Busca tokens de verificação do Search Console.

Por que essa informação é importante para quem trabalha com SEO?

Entender como cada crawler afeta os diversos produtos do Google é essencial para ajustar corretamente as configurações do seu site e otimizar a forma como ele é indexado. As novas seções sobre produtos afetados, juntamente com os exemplos práticos de robots.txt, oferecem uma maneira clara para desenvolvedores e equipes de SEO controlarem melhor a interação do Google com seus sites.

Para as empresas e sites que trabalham com equipe de SEO Técnico, essas atualizações trazem maior clareza e precisão no controle de como o Google acessa e exibe o conteúdo. No laboratório da Pink and Brain, essas informações são essenciais para garantir que cada site tenha o máximo de visibilidade, ao mesmo tempo que segue as diretrizes específicas de cada serviço do Google.

Agora que o Google disponibilizou essas mudanças, é importante revisar a configuração de robots.txt do seu site e garantir que os crawlers certos estão interagindo adequadamente com suas páginas, otimizando os resultados de SEO e a presença digital.

Somos 🐀🐀 ratos quando assunto é SEO e visibilidade no Google. Entre em contato e marque um ☕ café digital conosco.