El archivo robots.txt es un pequeño fichero de texto situado en la carpeta raíz de tu sitio web Joomla. Este archivo contiene las instrucciones para que los buscadores como Google, Yahoo, Bing y otros sepan que pueden buscar y que no pueden. Los robots de estos buscadores que analizan la información y los contenidos de tu web pueden sobrecargar el servidor analizando cosas innecesarias, como por ejemplo, partes de foros, comentarios, etc.. y es mejor cerrarles el paso.

Alguna gente suele confundir el archivo robots.txt con el archivo .htaccess pero hay grandes diferencias entre ambos. El primero solamente le da las instrucciones a los motores de búsqueda y no tiene ninguna función de seguridad, pero si bastante valor en el posicionamiento SEO de la web. En cambio, el segundo archivo .htaccess se usa para configurar las opciones del servidor Apache, redirigir URLs y otras tareas relacionadas con el servidor donde está alojada tu web.

A continuación tienes dos pequeños trucos para mejorar la configuración de tu archivo robots.txt en tu Joomla

1. Eliminar la exclusión de imágenes:

Por algún motivo que no entendemos, la configuración inicial de Joomla viene de tal manera que no permite que los robots de los buscadores indexen las imágenes de nuestra web. Esto es algo no deseable, ya que nos interesa que Google visite nuestras imágenes y las indexe en su lista de resultados.

Para cambiar esto, tienes que editar tu archivo robots.txt y elimiar la línea de código que dice:

Disallow: /images/

Eliminando esto, Google empezará a indexar las imágenes de tu web.

2. Añadir una referencia a tu archivo sitemap.xml:

si tienes un Mapa Web (y deberías tenerlo), es muy recomendable insertar una línea nueva de código en el archivo robots.txt para que los buscadores puedan encontrarlo fácilmente y de esta manera indexar toda tu web corrrectamente. Naturalmente, esto necesita ser ajustado para cada dominio y para sitio web. En nuestro caso que usamos el componente Xmap para crear el mapa web de nuestra web, sería el siguiente:

sitemap:http://www.joomlaempresa.es/component/option,com_xmap/lang,en/sitemap,1/view,xml/

Esta es una buena manera y rápida de mejorar el posicionamiento de tu web.

Debajo tenéis un par de video tutoriales de EducaJoomla sobre la implementación del fichero Robots.txt

Parte 1

Parte 2