¿Qué es el web scraping y para qué sirve?
Web scraping · Datos e IA
El web scraping es usar un programa para leer páginas web y copiar de ellas datos específicos, como precios o listados, y guardarlos en una tabla. Antes de hacerlo hay que revisar los términos de uso del sitio y si existe una API oficial.
¿Qué es el web scraping y es legal hacerlo?
El web scraping (raspado web) es usar un programa para leer páginas de internet y extraer de ellas datos concretos, como el precio de un producto, el nombre de un competidor o los resultados de un listado. Es lo mismo que haría una persona copiando y pegando, pero a escala y sin cansarse. El programa abre la página, localiza la información en su estructura y la guarda en una tabla, lista para analizar.
Antes de hacerlo hay que hacer varias preguntas. Primero, si la página ofrece una API o un archivo descargable, esa es la vía correcta. Segundo, qué dicen sus términos de uso y su archivo robots.txt, que indica qué partes se pueden visitar. Tercero, si hay datos personales de por medio, porque ahí aplican las leyes de protección de datos personales. Y cuarto, que no se debe saturar un sitio con miles de visitas seguidas. Además, si la página cambia de diseño, el programa se rompe y hay que ajustarlo.
Es una forma de alimentar tus análisis con datos públicos del mercado, como precios de la competencia, sin pasar días copiando a mano. Pero hacerlo sin cuidado puede traer problemas legales o bloqueos, así que conviene conocer las reglas antes de empezar.
Lo mismo, en pequeño y en grande
Una tienda que compara precios
Cada mañana un programa revisa los precios públicos de tres competidores y los pone en una tabla. La dueña ya no pasa una hora abriendo páginas para decidir su precio del día.
Una marca que vigila sus productos en varias tiendas
Un proceso recorre las páginas de los vendedores para ver si su producto está disponible y a qué precio. Respeta las reglas de cada sitio y alimenta el ETL que arma el reporte.
Pon a prueba lo que leíste
Elige A, B o C. Si fallas, lees el porqué y pruebas otra vez.
Antes de hacer scraping a una página, ¿qué conviene revisar primero?
Aprende jugando
¿Dónde se perdió?
¿Dónde se perdió?
Otros temas que te pueden interesar