Eu sempre vi um Sitemap como uma ajuda para o usuário encontrar o que está buscando, tipo: “Ah, eu vi alguma coisa sobre compilar o Apache nesse site mas, não acho, deixa eu ver o mapa do site a.k.a Sitemap, opa achei!” Você pode estar pensando: “é, mas o google faz isso muito melhor e mais fácil hoje em dia basta usar na busca site:http://www.lornlab.org”. Sim, mas eu sou da época que passava reportagem sobre o Aonde na televisão, dizendo que o criador, que só tinha 16 anos, tinha tido uma brilhante idéia, e agora ganhava muito dinheiro e empregava a família inteira, nessa época mapa do site ajudava muito :)
Mas agora, - século XXI, mundo moderno - Sitemap agora é um protocolo feito em xml, que pode ,e deve, ser especificado no robots.txt da sua página. Com isso o Google indexa muito mais facilmente todas a urls do seu site. Porque não ajudar o Google criando você também um sitemap.xml? pow, ele é responsável por 75% das visitas do meu site porque eu não ajudaria ele se ele me ajuda tanto.
Ah, com o Sitemap ele pode indexar coisas do seu site que não tem link apontando para elas (??) e que você queira indexar, eu sei que isso é difícil de entender mas, é o que diz aqui.
Eu criei o meu nesse site: http://www.xml-sitemaps.com/
Achei muito fácil, 5min e pronto o Google disponibiliza um script em python pra você criar o seu, baseado na sua árvore de diretório, mas eu achei muito complicado e acabei adotando a solução “Web 2.0″ :)
Achei também um plugin para Wordpress mas nem usei, quem se interessar: http://www.arnebrachhold.de/2005/06/05/google-sitemaps-generator-v2-final Eu vou ver ele futuramente, porque se ele atualiza o sitemap automagicamente a cada post, vale a pena.
Aproveitando o trabalho também criei um sitemap “das antiga” seguindo a dica do Aurélio usando MyMind, vai estar disponível, logo mais, ali do lado ——>