Optimizar tu sitio web de WordPress para el SEO es una de las cosas más importantes que puedes hacer. Un sitio web optimizado va a atraer mucho más tráfico que un sitio web en el que no se ha hecho ningún trabajo SEO. Existen varias técnicas SEO diferentes que puedes usar para atraer más tráfico: añadir palabras clave, usar etiquetas alt y añadir metadatos son algunas de las más comunes. Sin embargo, existen algunas otras técnicas que no son tan comunes. Una de ellas es crear un archivo robots.txt para tu sitio web de WordPress y optimizarlo. Si no tienes uno de estos archivos o no estás seguro de si está optimizado, has dado con el tutorial de WordPress adecuado para abordar este asunto.
¿Qué es el archivo robots.txt?
Este archivo es creado por los dueños de los sitios web (no sólo de aquellos que usan WordPress) para hablar directamente con los motores de búsqueda de los sitios web. El nombre completo de esto es protocolo de la exclusión de robots. Puede usarse para decirle a los motores de búsqueda que nunca visiten un sitio web, por ejemplo, aunque es posible que esto sea ignorado. También es posible decirle que sólo se salte ciertos directorios o darle a los robots acceso completo a todo. La mayoría de las veces, este archivo está en la carpeta raíz de tu sitio web. Puedes usar un cliente de FTP para verlo y descargarlo.
Usar robots.txt23
El formato de tu archivo robots.txt es muy básico. Puede abrirse con el Bloc de notas o cualquier otro programa editor de textos. En la primera línea aparece el User-Agent (con frecuencia un asterisco para indicar “todos los usarios”) y, después, los directorios que están permitidos o no permitidos. Una vez más, se puede usar un asterisco para permitirlo o denegarlo todo.
He aquí un ejemplo de archivo robots.txt:
User-Agent: *
Disallow: /temporary/
Disallow: /junk/
Allow: wp-content/uploads/
Esto le indica a todos los motores de búsqueda que excluyan los directorios temporary y junk. No indexarán ninguna página en estos dos directorios. Sin embargo, indexarán todo lo que haya en el directorio wp-content/uploads (que suelen ser tus imágenes).
Algunas personas deniegan el acceso a su directorio de plugins porque suele ser objetivo de hackers que buscan ciertos plugins que tienen vulnerabilidades de seguridad. Si usas plugins que pueden suponer un riesgo de seguridad, considera excluir el directorio. Muchos webmasters también excluyen el archivo readme.html para que los hackers no puedan ver qué versión de WordPress está siendo usada y, por tanto, no puedan explotar ningún agujero de seguridad que pueda tener esa versión.
Optimizar el archivo
Como puedes ver, esto no va a ayudarte realmente mucho con el SEO. No hay palabras clave ni nada parecido aquí. Una manera de usar este archivo para fines SEO es seguir las directrices de Google. Google ha manifestado que desaprueba que los webmasters usen el archivo robots.txt para ocultar contenido. No deberías usarlo para excluir cosas como páginas de categorías o archivos, ya que Google puede ver esto como un intento de ocultar contenido antiguo o de baja calidad.
Una manera de optimizar el archivo robots.txt es añadirle un mapa del sitio. Hay un plugin llamado All in One SEO que añadirá un mapa completo de tu sitio web al archivo robots.txt, de manera que aparecerán todas las páginas en el archivo robots.txt. Esto es útil porque se asegura de que los motores de búsqueda conozcan todas las páginas de tu sitio web. Se les indicará que indexen todo tu contenido excepto lo que hayas excluido específicamente.
