Por que é o Google remove sites do seu índice?

Venho-vos falar de um problema que tem assolado mais e mais webmasters e bloggers em todo o Mundo: a remoção de sites do Google. Já são várias as histórias de montanhas de pessoas que gritam desesperadamente: “o meu site saiu do Google”, “não encontro o meu site no Google”, “que fiz eu para o meu site desaparecer do Google?”. A resposta, meus amigos, encontra-se aqui. Assim espero, assim se deseja.

Confesso que a primeira vez que ouvi falar da remoção de sites da lista de resultados das pesquisas do Google (conhecida como Google Index) foi a partir de um tópico no nosso fórum Meu Site Caiu no Google.

Na altura, não tinha conhecimento de nenhuma mudança estrutural no Google que implicasse uma repentina reordenação de resultados, nem tão pouco de penalização de sites e também já nem me lembrava das Webmaster Guidelines do conhecido motor de pesquisa (traduzido para português como Guias de Qualidade para Webmasters).

Considerei que o site no tópico tivesse perdido posições para outros sites devido a nova reordenação do Page Rank do Google. Por outras palavras, tinha sido ultrapassado por sites com maior importância. Todavia, isso dificilmente aconteceria da noite para o dia.

Antes de conseguir encontrar uma resposta conclusiva, o autor do tópico disse-nos que eram muitas as queixas de outros webmasters na mesma situação nos fóruns do Google.
Julgando ser um problema próprio do Google, pensei que a solução viria do próprio motor de pesquisa.

Não vemos o nosso site no Google ou perdemos posições

O índice do Google está em permanente evolução, sempre que novo conteúdo é adicionado ou modificado na web. Essas alterações, em conjunto com as actualizações nos algoritmos de classificação, podem provocar mudanças de posições dos sites na lista de resultados da pesquisa. O Google ainda informa que, embora menos provável, alguns sites podem ser mesmo removidos como resultado dessa permanente evolução e constantes alterações do Google. (Mas pode, também, ter sido removido por outras razões mais graves, como uma penalização – continuar a ler.)

A flutuação nos resultados de pesquisa pode ser causada por diferenças nos datacenter do Google. Quando pesquisamos no Gogole, a nossa consulta é enviada para um dos datacenters para retornar os resultados da pesquisa. Existem muitos datacenters e muitos factores (localização geográfica, tráfego de pesquisa) que determinam para onde uma consulta é enviada. Como nem todos datacenters são actualizados ao mesmo tempo, podem ser retornados resultados um pouco diferentes, consoante o datacenter que recebe a consulta.

O Google diz que isto tudo pode ser um pouco confuso, mas que se o nosso site estiver bem linkado é provável que ele seja incluído, de novo, na próxima passagem do Googlebot.

Mais informações sobre este assunto, aqui: Eu não vejo o meu site nos resultados de pesquisa ou o meu site aparece na parte inferior dos resultados.

Verificar se o nosso site foi mesmo removido

Quando um webmaster informa o Google que o site saiu dos resultados de pesquisa, geralmente acaba por não ser verdade e o site continua indexado.

Na mesma página do centro de ajuda do Google para webmasters (Eu não vejo o meu site nos resultados de pesquisa ou o meu site aparece na parte inferior dos resultados) existem uma série de ferramentas fundamentais para sabermos se, de facto, o nosso site foi removido do Google Index, ou para verificar a razão do nosso site estar a apresentar um resultado inferior ao desejado.

Sendo assim, antes de requermos reconsideração ao Google para que reindexe o nosso site, é de fulcral importância que verifiquemos se, de facto, foi ou não removido do Índice do Google.

O Assistente de Status do site é a ferramenta que procuramos! Permite-nos verificar o estado de índice do nosso site e informa-nos da última vez que o Google acedeu à página inicial do mesmo.

Se o nosso site for exibido então ainda estamos incluídos no Índice do Google e, aquilo que temos de fazer é seguir os seguintes passos para optimizar o nosso site para que ele apareça melhor posicionado nos resultados de pesquisa. (Certifique-se de que o Google possa localizar e percorrer o seu site; Certifique-se de que o Google possa indexar o seu site; Certifique-se de que o seu conteúdo seja útil e relevante – todos esses passos estão na página referida: Eu não vejo o meu site nos resultados de pesquisa ou o meu site aparece na parte inferior dos resultados).

Se o nosso site não for exibido, então fomos removidos do Índice do Google. E temos de verificar se cumprimos as Guias de Qualidade do Google, e requerer reconsideração. (Continuem a ler este artigo para saber o que fazer).

O Google penaliza sites que infrinjam as Guias de Qualidade

Foi preciso viver na pele a remoção de um dos meus sites para ter de encontrar, com urgência, uma resposta capaz de me satisfazer a curiosidade e de me ajudar a resolver o problema.

Encontrei a resposta que procurava nesta página: Why does Google remove sites from the Google index? (Por que é o Google remove sites do seu índice). Aí são explicadas as razões do Google remover sites do seu índice e aquilo que podemos fazer para voltarmos a ter o nosso site no famoso motor de pesquisa.

A resposta à questão “Por que é o Google remove sites do seu índice” é simples e objectiva: o Google penalizou esses sites porque infrigiram as suas Webmaster Guidelines.

Essas infracções podem passar pelo seguinte:

• Texto ou links escondidos.
• Técnicas de cloaking (conteúdo real da página camuflado) ou redireccionamentos não-autorizados.
• Pesquisas automáticas no Google.
• Uso de páginas com palavras-chave (keywords) irrelevantes.
• Conteúdo repetido em múltiplas páginas, subdomínios, ou domínios.
• Criação de páginas que instalem vírus, cavalos de tróia ou outro software nocivo.
• Uso de páginas de “entrada” criadas apenas para os mecanismos de pesquisa ou outras técnicas “pré-fabricadas”, como programas de filiação, que têm pouco ou nenhum conteúdo original.
• Caso o nosso site participe num programa de filiação, ter a certeza que ele adiciona valor. Repetir o mesmo conteúdo do site “mãe” do programa de filiação é que não.

No meu caso o problema estava nos links

Chamo especial atenção para um dos pontos: o dos links. Mesmo que não estejam escondidos.

Até meados de Abril de 2008, o meu site registava, em média 10 a 12 mil visitas por dia. Fui penalizado nessa altura. A partir de então, o site queda-se numa média de 1000 a 2000 visitas diárias. E essas 1000 a 2000 visitas nem sequer provêm do Google.

Não entendia o que de mal teria feito para ter sido penalizado. Li e reli as Guias de Qualidade e não encontrava nada de mal.

Até que cheguei a esta conclusão: o meu site tinha montes de links e eu nem dava por eles.
O conteúdo do site é essencialmente composto por fotos. Essas fotos estão alojadas em alojamentos gratuitos do tipo ImageHack, ImageVenue, etc.
Por forma a disponibilizar essas fotos aos meus visitantes, sou obrigado a colocar miniaturas das fotos (os denominados thumbnails) que têm links para uma página exterior ao site (pertencente aos mencionados alojamentos gratuitos de foto). Na prática, cada foto equivale a um link exterior ao meu site.

Recordando o funcionamento do Page Rank, sabemos que este funciona assim:

O Google interpetra um link da Página A para a Página B como um “voto” da Página A à Página B. O Google acede à importância de uma página web pelo número de “votos” que esta recebe
(ler mais em Como funciona o Google).

Desta forma o Google “pensou” que cada link do meu site para mostrar uma fotografia, era um link para outro site. Como havia demasiados links para o mesmo site (neste caso para ImageVenue.com), consideram que eu andava a tentar influenciar ilicitamente o Page Rank do ImageVenue. Logo, fui penalizado.

Como evitar que os links influenciem o Page Rank

Um dos grandes problemas dos bloggers que já foram penalizados é o SPAM nos comentários aos seus posts. Muitos spammers aproveitam-se da possibilidade de deixar comentários nos blogs para poderem deixar a sua “sementinha venenosa”. Quer dizer, para deixar um link para o seu site, forçando assim o blog a votar positivamente nesse site (rever definição de Page Rank).

Os principais softwares de blog como o WordPress e outros já resolveram esse problema. Alteraram o software para impedir que os comentários possibilitassem “votos” nos sites dos spammers.

A minha solução

Para resolver o meu caso – centenas de links para fotos – e uma vez que tenho de ter lá esses links (senão não há fotos para ninguém) tive de colocar em cada link o atributo rel=”nofollow” que impede o Googlebot (spider ou crawler do Google que indexa os sites na Internet) de seguir o link, deixando assim de influenciar o Page Rank.

O atributo rel=”nofollow” dos links

De facto, o atributo rel=”nofollow” do elemento < a > serve para impedir que o Google conte como voto para o PageRank o link com esse atributo. Ao usá-lo o nosso site simplesmente deixa de votar no site apontado no link, não sendo considerado um voto nem positivo nem negativo. É mais tipo… uma abstenção, que para nós acaba por ser uma salvaguarda de sermos considerados infractores.

Na realidade, foi o próprio Google que em Janeiro de 2005 introduziu esta prática para evitar o SPAM nos comentários aos artigos em blogs: Prevenção de SPAM nos comentários.

Mais informações sobre este atributo do link podem ser encontradas nesta página: The Components of a Link [HTML Element: A].

Requerer reconsideração ao Google

Após ter colocado o atributo rel=”nofollow” em todos os links, o meu site apresentava-se “limpo” aos olhos do Google e seguia as suas regras de qualidade.

Era altura do passo seguinte: requerer reconsideração. Para o fazer tive de abrir uma conta nas Ferramentas para Webmasters do Google, adicionar o meu site, assegurar ao Google que era eu o dono dele (verify ownership). E pedir que reconsiderassem a re-indexação do meu site no Google (no link Request reconsideration), onde devemos dizer as acções que tomámos para corrigir a infracção.

As infracções pagam-se caro

Agora resta-me esperar… e muito…
Fiz o pedido de reconsideração no dia 22 de Abril de 2008, até hoje ainda… nada. Segundo o Google, terei de esperar várias semanas.

O meu comentário

Foi, de facto, uma penalização violentíssima. Especialmente porque apanhei por tabela, não foi analizado o meu caso pessoalmente (é compreensível, mas injusto). Fui penalizado por usar o elemento fulcral da Internet: o link.

Se o Google usa a tecnologia Page Rank em seu benefício, e se se abusar dos links pode causar represálias, aconselho ao próprio Google que repense seriamente a sua tecnologia (mas quem sou eu para aconselhar o que quer que seja ao Google? 😀 ).

Entre os sites penalizados estão aqueles que abusam enormemente dos links (entre outras infracções – ver acima) para um único site (no meu caso ImageVenue), mas aqui nem tenho bem a certeza disto. Pode até nem ser por causa de um único site! Quantos milhares de bloggers e webmasters terão sido penalizados sem o saberem por terem feito coisas tão inocentes como colocarem um links para sites que consideraram importantes? Só por terem muitos artigos ou páginas com muitos links? E o que dizer dos fóruns, onde cada tópico costuma ter uma enormidade de links válidos e carregados de interesse para o debate? Vão também ser prejudicados?

Eu fiquei seriamente “escaldado”. Não quero arriscar de novo, por isso, a partir de agora, os meus sites vão deixar de “votar” e todos os meus links vão usar o atributo rel=”nofollow”.

Um cenário dantesco para o Google, seria se todos seguissem o meu exemplo, o Page Rank do Google quase deixaria de ter razão de existir.

Links relacionados

Alguns links de interesse:
O que diz a Wikipédia do atributo nofollow.
NoFollow All Links v1.0. Pode dar jeito aos utilizadores do software de fóruns SMF usar este MOD para que todos os links dos posts colocados pelos utilizadores do fórum tenham o atributo rel=”nofollow” para evitar penalizações do Google.