Las arañas web son bots que tienen como finalidad rastrear las páginas de Internet por medio de enlaces.
Estos bots pueden ser segmentados en dos tipos, todo dependerá de tu objetivo:
- Indexar o indexación: Google y el resto de buscadores lo emplean para poder indexar todos los contenidos y exhibirlos en los resultados de las búsquedas que un usuario hace normalmente. El objetivo no es otro que dar la mejor información.
- Scraping: Diversas empresas lo utilizan con la misión de juntar información de otras páginas y hacer ventaja de esto. Se puede emplear para la planificación de estrategias, hacer diversas comparativas, investigar maneras de contacto masivo, etcétera. Asimismo, se puede usar para mejorar la web en cuanto a SEO on-page.
¿Cómo trabajan los WebCrawlers o Arañas Web?
Las arañas siguen ciertos pasos al momento de reunir la información, cuando llega a una página, lo primero que hará es realizar una solicitud al fichero robots.txt.
Cuando se hace dicha solicitud, reconocerá el camino correcto en cuanto a URLs y pasará por los que considere más aptos. Asimismo, hay atributos en los diversos enlaces y directrices que pueden aplicarse en las cabeceras de cualquier página para dar las pautas a los robots; estos podrían ser el seguimiento de enlaces o la indexación en páginas concretas.
Esto no pasa seguido ya que varias arañas web pueden omitir las pautas y no obedecerlas. Inclusive, pasa con el mismo Google. Si el bot de ellos siente que por una razón no debe seguir las indicaciones, no lo hará.
De darse un caso parecido, siempre podrás presionar en la configuración del archivo o fichero .htaccess. De esa forma, no permitirás accesos o lograrás restringirlos. Los ajustes del fichero es lo que mejor funciona si tienes inconvenientes en el proceso.
Recomendaciones para mejorar el rastreo con arañas web
- Actualiza el contenido de tu sitio regularmente
- Servidor con buen tiempo de actividad
- Crear Sitemaps
- Evita contenido duplicado
- Reduce el tiempo de carga de tu sitio web
- Bloquea el acceso a la página no deseada a través de Robots.txt
- Controla y optimiza la frecuencia de rastreo de Google
- Haz un Interlinking en las páginas de tu blog como un profesional
- No te olvides de optimizar las imágenes
- Agregar el enlace de tu sitemap en el pie de página de tu sitio web
- Crear una cuenta de Webmaster Tools, Yahoo site explorer y Webmaster Central de Bing para facilitar la indexación y recopilar datos de las arañas en los distintos buscadores. Por que no solo de Google vive un sitio web.
- Crear cuentas distintas para cada uno de los idiomas si están en subdominios disitnos. Esto nos ayudará a establecer las preferencias de buscadores según la localización e idioma.
- Crear archivos sitemap.xml con Gcrawler para cada uno de los idiomas, si están en distintos subdominios o dominios. Si la jerarquíaa de idiomas se hace vía /carpetas/ será un poco más complicado.
- Generar archivos robots.txt indicando a Google qué no debe de indexar y sobre todo… la ruta de los archivos sitemap.xml
- Canonizar las urls del sitio, cosa evidente pero que muchos olvidan. Redireccionar de artefactosdenegocioweb.site a www.artefactosdenegocioweb.site
- Ver los errores 404 de rastreo de los bots de Google e intentar solucionar los enlaces rotos del sitio. Si la página ya no existe, ni esa ni otra alternativa, deberemos de solicitar la exclusión a Google de las SERPS. Si la página existe pero con otro nombre se redireccionará la que da error a la actual.
- Descargar en un Excel los títulos duplicados y las meta descripciones duplicadas y sustituirlas por otras más desciptivas y únicas. A los buscadores no les gusta nada las descripciones y títulos duplicados.
- Instalar Page Speed y empezar a probar las sugerencias para mejorar el rendimiento del sitio y disminuir los tiempos de carga. Para Google un tiempo de carga elevado es una mala experiencia para el usuario.
- Añadir un mapa web del sitio visible por los usuarios y lo más cerca posible del </head> y el H1. Que sea de lo primero que visitan los bots.
- No encapsular enlaces en etiquetas <javascript> ni en flash, ya que los buscadores no interpretan estos lenguajes y no seguirán los enlaces. Si no hay más remedio… intentar que se enlace a dichas páginas desde otros sitios.
0 comentarios