Sitemap: http://www.boxbaster.com/sitemap.xml

#Dejamos al robot de publicidad de google que entre hasta la cocina para evitar problemas con la publicidad en paginaciones, búsquedas, etc…

User-agent: Mediapartners-Google
Allow: /

#Desindexamos todo lo que empiece por wp- a excepción de la carpeta uploads

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-

#Desindexamos cualquier tipo de búsqueda y cualquier ruta que pueda llevar el parámetro ? en la url

Disallow: /*?
Disallow: /search/

#Desindexamos cualquier archivo que termine con la extensión .php .js .inc .css

Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

#Desindexamos carpetas de logs, estadísticas y scripts

Disallow: /cgi-bin/
Disallow: /stats/
Disallow: /logs/

#Desindexamos todas las paginaciones

Disallow: /page*/

#Desindexamos posibles páginas con contenido duplicado o que no nos interesan, entre ellas los archivos, los comentarios, las páginas de autor y las tags

Disallow: /comments/
Disallow: /archives/
Disallow: /author/
Disallow: /tag/

#Desindexamos los feeds, trackbacks y attachments

Disallow: /feed*/
Disallow: /trackback*/
Disallow: /attachment*/

Disallow: /2009/
Disallow: /2010/09/
Disallow: /2010/08/
Disallow: /2010/07/
Disallow: /2010/06/
Disallow: /2010/05/
Disallow: /2010/04/
Disallow: /2010/03/

Disallow: /2010/02/
Disallow: /2010/01/