Cómo funciona un rastreador web: una guía básica
La red está llena de información. Si quieres saber algo, probablemente puedas encontrar la información en línea. Pero, ¿cómo puedes encontrar la respuesta que deseas, cuando la web contiene miles de millones de páginas? ¿Cómo sabes dónde mirar?
Afortunadamente, tenemos motores de búsqueda que buscan las cosas por nosotros. Pero, ¿cómo saben los motores de búsqueda dónde buscar? ¿Cómo pueden los motores de búsqueda recomendar algunas páginas de las trillones que existen? La respuesta está en los rastreadores web.
Los rastreadores web son programas informáticos que escanean la web y "leen" todo lo que encuentran. Los rastreadores también son conocidos como arañas, bots e indexadores automáticos. Estos rastreadores escanean páginas web para ver qué palabras contienen y dónde se usan esas palabras. El rastreador convierte sus hallazgos en un índice gigante. El índice es básicamente una gran lista de palabras y las páginas web que las presentan. Entonces, cuando le pides a un motor de búsqueda páginas sobre hipopótamos, el motor de búsqueda revisa su índice y te brinda una lista de páginas que mencionan hipopótamos. Los rastreadores exploran la web regularmente para que siempre tengan un índice actualizado de la web.
Las implicaciones en SEO de los rastreadores web
Ahora que sabes cómo funciona un rastreador web, puedes ver que su comportamiento tiene implicaciones en cómo optimizas tu sitio web.
Por ejemplo, puedes ver que, si vendes paracaídas, es importante que escribas sobre paracaídas en tu sitio web. Si no escribes sobre paracaídas, los motores de búsqueda nunca sugerirán tu sitio web a las personas que buscan paracaídas.
También es importante tener en cuenta que los rastreadores web no solo prestan atención a lo que palabras que encuentran: también registran dónde se encuentran las palabras. Por lo tanto, el rastreador sabe que una palabra contenida en encabezados, metadatos y las primeras oraciones probablemente sea más importante en el contexto de la página, y que las palabras clave en ubicaciones principales sugieren que la página es realmente 'sobre' esas palabras clave.
Entonces, si deseas que los motores de búsqueda sepan que los paracaídas son algo importante en tu sitio web, menciónalos en tus encabezados, metadatos y oraciones iniciales.
El hecho de que los rastreadores web rastreen regularmente la web para asegurarse de que su índice esté actualizado también sugiere que tener contenido nuevo en tu sitio web también es algo bueno.
Los rastreadores no pueden encontrar todo el contenido
Los rastreadores son programas muy simples. Comienzan con una lista de enlaces para escanear y luego siguen los enlaces que encuentran. Suena simple, ¿verdad? Bueno, sí, lo es, hasta que llegan a páginas complejas con contenido dinámico. Piensa en los resultados de búsqueda dentro del sitio, contenido Flash, formularios, animaciones y otros recursos dinámicos. Hay muchas razones por las que un rastreador no vería tu sitio web de la misma manera que lo hacen tus visitantes humanos.
De hecho, muchas empresas toman medidas para garantizar que los rastreadores web "vean" todo el contenido disponible. Esto es particularmente un problema para sitios web con mucho contenido dinámico que solo puede ser visible después de hacer una búsqueda.
Aquí puedes ver cómo se puede utilizar Google Search Console para comprender cuántas de tus páginas están indexadas, qué páginas se excluyeron y por qué, junto con los errores o advertencias que se encontraron al rastrear tu sitio web.
El rol de robots.txt
Puedes dar instrucciones a los rastreadores web colocándolos en un archivo llamado robots.txt. Es posible que desees solicitar a los robots web que ignoren tu sitio web o que omitan ciertas secciones. También es posible que desees ayudar al robot a acceder a todas las partes de tu sitio web, especialmente si tienes un sitio web complejo o dinámico.
Índices del motor de búsqueda
Una vez que el rastreador haya encontrado información al rastrear la web, el programa crea el índice. El índice es esencialmente una gran lista de todas las palabras que el rastreador ha encontrado, así como su ubicación.
Por qué la indexación es solo el comienzo ...
Para dar respuestas relevantes a tus consultas de búsqueda, los motores de búsqueda deben interpretar los enlaces en su índice. Los motores de búsqueda utilizan algoritmos, que son esencialmente ecuaciones complejas, para "calificar" el valor o la calidad de los enlaces en su índice.
Entonces, cuando vayas a buscar 'paracaídas', el motor de búsqueda considerará cientos de factores al elegir qué sitios web ofrecerte.
Los factores que los motores de búsqueda consideran incluyen:
- Cuándo se publicó la página
- Si la página incluye texto, imágenes y video
- La calidad del contenido
- Qué tanto coincide el contenido con las consultas de los usuarios
- Qué tan rápido carga el sitio web
- Cuántos enlaces de otros los sitios web apuntan al contenido
- Cuántas personas han compartido el contenido en línea...
"¦y muchos más. Hay más de 200 factores que Google considera al entregar resultados de búsqueda.
Desindexado por Google
Google no quiere recomendar sitios web de mala reputación, por lo que si participas en una serie de prácticas de spam, puedes ser penalizado con la desindexación de tu sitio web. ¿Qué significa eso? Significa que tu sitio web ya no aparecerá en el índice de Google y, por lo tanto, tu sitio web ya no aparecerá en los resultados de búsqueda de Google. Como puedes imaginar, este es un escenario catastrófico para cualquier negocio que tenga presencia en línea.
Puedes leer más sobre el rastreador en nuestra Guía para rastreadores de motores de búsqueda.
