De Wikipedia, la enciclopedia libre
Saltar a navegación Saltar a búsqueda

El raspado web , la recolección web o la extracción de datos web es un raspado de datos que se utiliza para extraer datos de sitios web . El software de raspado web puede acceder directamente a la World Wide Web utilizando el Protocolo de transferencia de hipertexto o un navegador web. Si bien un usuario de software puede realizar el raspado web manualmente, el término generalmente se refiere a procesos automatizados implementados mediante un bot o un rastreador web . Es una forma de copia en la que se recopilan y copian datos específicos de la web, generalmente en una base de datos local central o en una hoja de cálculo, para su posterior recuperación oanálisis .

Web scraping de una página web implica buscarla y extraerla. Obtener es la descarga de una página (lo que hace un navegador cuando un usuario ve una página). Por lo tanto, el rastreo web es un componente principal del web scraping, para recuperar páginas para su posterior procesamiento. Una vez recogido, puede llevarse a cabo la extracción. El contenido de una página se puede analizar , buscar, reformatear, copiar sus datos en una hoja de cálculo o cargar en una base de datos. Los raspadores web suelen sacar algo de una página para utilizarlo con otro propósito en otro lugar. Un ejemplo sería buscar y copiar nombres y números de teléfono, o empresas y sus URL, o direcciones de correo electrónico en una lista (raspado de contactos).

El raspado web se utiliza para raspar contactos y como un componente de las aplicaciones que se utilizan para la indexación web , la minería web y la minería de datos , el monitoreo de cambios de precios en línea y la comparación de precios , raspado de reseñas de productos (para observar la competencia), recopilación de listados de bienes raíces, datos meteorológicos monitoreo, detección de cambios en el sitio web , investigación, seguimiento de la presencia y reputación en línea, mashup web e integración de datos web .

Las páginas web se crean utilizando lenguajes de marcado basados ​​en texto ( HTML y XHTML ) y, con frecuencia, contienen una gran cantidad de datos útiles en forma de texto. Sin embargo, la mayoría de las páginas web están diseñadas para usuarios finales humanos y no para facilitar el uso automatizado. Como resultado, se han desarrollado herramientas y software especializados para facilitar el raspado de páginas web.

Las formas más nuevas de raspado web implican monitorear las fuentes de datos de los servidores web. Por ejemplo, JSON se usa comúnmente como un mecanismo de almacenamiento de transporte entre el cliente y el servidor web.

Hay métodos que algunos sitios web utilizan para evitar el web scraping, como detectar y no permitir que los bots rastreen (vean) sus páginas. En respuesta, existen sistemas de raspado web que se basan en el uso de técnicas de análisis de DOM , visión por computadora y procesamiento de lenguaje natural para simular la navegación humana y permitir la recopilación de contenido de la página web para el análisis sin conexión.

Historia [ editar ]

La historia del web scraping se remonta casi a la época en que nació la World Wide Web.

  • Después del nacimiento de World Wide Web en 1989, el primer robot web, [1] World Wide Web Wanderer , fue creado en junio de 1993, que estaba destinado únicamente a medir el tamaño de la web.
  • En diciembre de 1993 , se lanzó el primer motor de búsqueda web basado en rastreadores , JumpStation . Como no había tantos sitios web disponibles en la web, los motores de búsqueda en ese momento solían confiar en sus administradores de sitios web humanos para recopilar y editar los enlaces en un formato particular. En comparación, JumpStation trajo un nuevo salto, siendo el primer motor de búsqueda WWW que se basó en un robot web.
  • En 2000, apareció la primera API web y el rastreador de API . API son las siglas de Application Programming Interface ( Interfaz de programación de aplicaciones) . Es una interfaz que facilita mucho el desarrollo de un programa al proporcionar los componentes básicos. En 2000, Salesforce y eBay lanzaron su propia API, con la que los programadores pudieron acceder y descargar algunos de los datos disponibles para el público. Desde entonces, muchos sitios web ofrecen API web para que las personas accedan a su base de datos pública.

Técnicas [ editar ]

El web scraping es el proceso de extraer datos automáticamente o recopilar información de la World Wide Web. Es un campo con desarrollos activos que comparten un objetivo común con la visión de la web semántica , una iniciativa ambiciosa que aún requiere avances en el procesamiento de textos, la comprensión semántica, la inteligencia artificial y las interacciones entre humanos y computadoras . Las soluciones actuales de web scraping van desde ad-hoc, que requieren esfuerzo humano, hasta sistemas totalmente automatizados que pueden convertir sitios web completos en información estructurada, con limitaciones.

Copiar y pegar humanos [ editar ]

La forma más simple de raspado web es copiar y pegar manualmente datos de una página web en un archivo de texto o una hoja de cálculo. A veces, incluso la mejor tecnología de raspado web no puede reemplazar el examen manual y copiar y pegar de un humano, y algunas veces esta puede ser la única solución viable cuando los sitios web para raspar establecen barreras para prevenir la automatización de máquinas.

Coincidencia de patrones de texto [ editar ]

Un enfoque simple pero poderoso para extraer información de las páginas web se puede basar en el comando grep de UNIX o en las instalaciones de los lenguajes de programación que combinan expresiones regulares (por ejemplo, Perl o Python ).

Programación HTTP [ editar ]

Las páginas web estáticas y dinámicas se pueden recuperar publicando solicitudes HTTP en el servidor web remoto mediante la programación de sockets .

Análisis de HTML [ editar ]

Muchos sitios web tienen grandes colecciones de páginas generadas dinámicamente a partir de una fuente estructurada subyacente como una base de datos. Los datos de la misma categoría generalmente se codifican en páginas similares mediante un script o plantilla común. En la minería de datos, un programa que detecta dichas plantillas en una fuente de información en particular, extrae su contenido y lo traduce a una forma relacional, se llama envoltorio . Los algoritmos de generación de envoltorios asumen que las páginas de entrada de un sistema de inducción de envoltorios se ajustan a una plantilla común y que pueden identificarse fácilmente en términos de un esquema común de URL. [2] Además, algunos lenguajes de consulta de datos semiestructurados , como XQuery y HTQL, se pueden utilizar para analizar páginas HTML y recuperar y transformar el contenido de la página.

Análisis de DOM [ editar ]

Al incorporar un navegador web completo, como Internet Explorer o el control del navegador de Mozilla , los programas pueden recuperar el contenido dinámico generado por los scripts del lado del cliente. Estos controles del navegador también analizan las páginas web en un árbol DOM, según los programas que pueden recuperar partes de las páginas. Se pueden usar lenguajes como Xpath para analizar el árbol DOM resultante.

Agregación vertical [ editar ]

Hay varias empresas que han desarrollado plataformas de recolección verticales específicas. Estas plataformas crean y monitorean una multitud de "bots" para verticales específicas sin "hombre en el circuito" (sin participación humana directa), y sin trabajo relacionado con un sitio objetivo específico. La preparación implica establecer la base de conocimientos para toda la vertical y luego la plataforma crea los bots automáticamente. La solidez de la plataforma se mide por la calidad de la información que recupera (generalmente el número de campos) y su escalabilidad (qué tan rápido puede escalar hasta cientos o miles de sitios). Esta escalabilidad se usa principalmente para apuntar a la Long Tail de sitios que los agregadores comunes encuentran complicados o demasiado laboriosos para recolectar contenido.

Reconocimiento de anotaciones semánticas [ editar ]

Las páginas que se raspan pueden incluir metadatos o marcas y anotaciones semánticas, que se pueden utilizar para localizar fragmentos de datos específicos. Si las anotaciones están incrustadas en las páginas, como lo hace Microformat , esta técnica puede verse como un caso especial de análisis DOM. En otro caso, las anotaciones, organizadas en una capa semántica, [3] se almacenan y administran por separado de las páginas web, por lo que los raspadores pueden recuperar el esquema de datos y las instrucciones de esta capa antes de raspar las páginas.

Análisis de páginas web por visión artificial [ editar ]

Hay esfuerzos que utilizan el aprendizaje automático y la visión por computadora que intentan identificar y extraer información de las páginas web interpretando las páginas visualmente como lo haría un ser humano. [4]

Software [ editar ]

Hay muchas herramientas de software disponibles que se pueden utilizar para personalizar las soluciones de raspado web. Este software puede intentar reconocer automáticamente la estructura de datos de una página o proporcionar una interfaz de grabación que elimina la necesidad de escribir manualmente el código de web-scraping, o algunas funciones de scripting que pueden usarse para extraer y transformar contenido, e interfaces de base de datos que pueden almacenar los datos extraídos en bases de datos locales. También se puede utilizar algún software de raspado web para extraer datos de una API directamente.

Problemas legales [ editar ]

La legalidad del web scraping varía en todo el mundo. En general, el web scraping puede estar en contra de los términos de uso de algunos sitios web, pero la aplicabilidad de estos términos no está clara. [5]

Estados Unidos [ editar ]

En los Estados Unidos, los propietarios de sitios web pueden utilizar tres reclamos legales importantes para evitar el raspado web no deseado: (1) infracción de derechos de autor (compilación), (2) infracción de la Ley de abuso y fraude informático ("CFAA") y (3) traspaso a chatear . [6] Sin embargo, la efectividad de estos reclamos se basa en el cumplimiento de varios criterios, y la jurisprudencia aún está evolucionando. Por ejemplo, con respecto a los derechos de autor, si bien la duplicación absoluta de la expresión original en muchos casos será ilegal, en los Estados Unidos los tribunales dictaminaron en Feist Publications v. Rural Telephone Service que la duplicación de hechos es permisible.

Los tribunales estadounidenses han reconocido que los usuarios de "raspadores" o "robots" pueden ser considerados responsables por cometer allanamiento de bienes muebles , [7] [8] lo que implica que un sistema informático en sí mismo se considere propiedad personal en la que el usuario de un raspador está invadiendo. El más conocido de estos casos, eBay v. Bidder's Edge , resultó en una orden judicial que ordenaba a Bidder's Edge que dejara de acceder, recopilar e indexar subastas desde el sitio web de eBay. Este caso involucró la colocación automática de ofertas, lo que se conoce como francotiradores de subastas . Sin embargo, para tener éxito en un reclamo de violación de bienes muebles , el demandante debe demostrar que el demandadointencionalmente y sin autorización interfirió con el interés posesorio del demandante en el sistema informático y que el uso no autorizado del demandado causó daño al demandante. No todos los casos de telarañas llevados ante los tribunales se han considerado traspaso de bienes muebles. [9]

Una de las primeras pruebas importantes de screen scraping involucró a American Airlines (AA) y una empresa llamada FareChase. [10] AA obtuvo con éxito una orden judicial de un tribunal de primera instancia de Texas, lo que impidió que FareChase vendiera software que permite a los usuarios comparar tarifas en línea si el software también busca en el sitio web de AA. La aerolínea argumentó que el software de búsqueda web de FareChase invadió los servidores de AA cuando recopiló los datos disponibles públicamente. FareChase presentó una apelación en marzo de 2003. En junio, FareChase y AA acordaron llegar a un acuerdo y la apelación fue retirada. [11]

Southwest Airlines también ha desafiado las prácticas de eliminación de pantallas y ha involucrado tanto a FareChase como a otra empresa, Outtask, en un reclamo legal. Southwest Airlines denunció que el raspado de pantalla es ilegal ya que es un ejemplo de "fraude y abuso informático" y ha provocado "daños y pérdidas" y "acceso no autorizado" al sitio de Southwest. También constituye "Interferencia con las relaciones comerciales", "Invasión ilegal" y "Acceso perjudicial por computadora". También afirmaron que el screen-scraping constituye lo que se conoce legalmente como "Apropiación indebida y enriquecimiento injusto", además de ser un incumplimiento del acuerdo de usuario del sitio web. Outtask negó todas estas afirmaciones, alegando que la ley vigente, en este caso, debería ser la ley de derechos de autor de EE. UU.y que, según los derechos de autor, los fragmentos de información que se extraigan no estarán sujetos a la protección de los derechos de autor. Aunque los casos nunca se resolvieron en la Corte Suprema de los Estados Unidos , FareChase finalmente fue clausurada por la empresa matriz Yahoo! y Outtask fue comprado por la compañía de gastos de viaje Concur. [12] En 2012, una startup llamada 3Taps eliminó los anuncios clasificados de viviendas de Craigslist. Craigslist envió a 3Taps una carta de cese y desistimiento y bloqueó sus direcciones IP y luego demandó, en Craigslist v. 3Taps . El tribunal sostuvo que la carta de cese y desistimiento y el bloqueo de IP eran suficientes para que Craigslist afirmara correctamente que 3Taps había violado la Ley de Abuso y Fraude Informático .

Aunque se trata de decisiones preliminares y las teorías de responsabilidad no son uniformes, es difícil ignorar un patrón emergente de que los tribunales están preparados para proteger el contenido patentado en sitios comerciales de usos que son indeseables para los propietarios de dichos sitios. Sin embargo, el grado de protección para dicho contenido no se establece y dependerá del tipo de acceso realizado por el raspador, la cantidad de información a la que se accede y se copia, el grado en que el acceso afecta negativamente al sistema del propietario del sitio y los tipos y formas de prohibiciones de tal conducta. [13]

Si bien la ley en esta área se vuelve más establecida, las entidades que contemplan el uso de programas de raspado para acceder a un sitio web público también deben considerar si dicha acción está autorizada mediante la revisión de los términos de uso y otros términos o avisos publicados o disponibles a través del sitio. En un fallo de 2010 en Cvent, Inc. v. Eventbrite, Inc. En el tribunal de distrito de los Estados Unidos para el distrito este de Virginia, el tribunal dictaminó que los términos de uso deben comunicarse a los usuarios para poder navegar envolver contrato o licencia para ser ejecutado. [14] En un caso de 2014, presentado en el Tribunal de Distrito de los Estados Unidos para el Distrito Este de Pensilvania , [15] sitio de comercio electrónicoQVC se opuso al agregador de compras similar a Pinterest, Resultly, que raspó el sitio de QVC para obtener datos de precios en tiempo real. QVC alega que Resultly "rastreó excesivamente" el sitio minorista de QVC (supuestamente enviaba de 200 a 300 solicitudes de búsqueda al sitio web de QVC por minuto, a veces hasta 36 000 solicitudes por minuto), lo que provocó que el sitio de QVC se bloqueara durante dos días, lo que provocó la pérdida de ventas para QVC. . [16] La demanda de QVC alega que el demandado disfrazó su rastreador web para enmascarar su dirección IP de origen y así impidió que QVC reparara rápidamente el problema. Este es un caso de raspado particularmente interesante porque QVC está buscando daños y perjuicios por la falta de disponibilidad de su sitio web, que según QVC fue causado por Resultly.

En el sitio web del demandante durante el período de esta prueba, el enlace de los términos de uso se muestra entre todos los enlaces del sitio, en la parte inferior de la página como la mayoría de los sitios de Internet. Esta sentencia contradice la sentencia irlandesa que se describe a continuación. El tribunal también rechazó el argumento del demandante de que las restricciones de navegación se podían hacer cumplir en vista de la adopción de Virginia de la Ley Uniforme de Transacciones de Información Computarizada (UCITA), una ley uniforme que muchos creían que estaba a favor sobre las prácticas de contratación comunes de navegación. [17]

En Facebook, Inc. v. Power Ventures, Inc. , un tribunal de distrito dictaminó en 2012 que Power Ventures no podía raspar páginas de Facebook en nombre de un usuario de Facebook. El caso está en apelación y la Electronic Frontier Foundation presentó un escrito en 2015 solicitando su anulación. [18] [19] En Associated Press v. Meltwater US Holdings, Inc. , un tribunal de EE . UU. Responsabilizó a Meltwater por recopilar y volver a publicar información de noticias de Associated Press, pero un tribunal del Reino Unido falló a favor de Meltwater.

Internet Archive recopila y distribuye una cantidad significativa de páginas web disponibles públicamente sin que se considere que infringen las leyes de derechos de autor.

La UE [ editar ]

En febrero de 2006, el Tribunal Marítimo y Comercial de Dinamarca (Copenhague) dictaminó que el rastreo, la indexación y los enlaces profundos sistemáticos por el sitio del portal ofir.dk del sitio inmobiliario Home.dk no entran en conflicto con la ley danesa o la directiva de bases de datos de la Unión Europea. [20]

En un caso de febrero de 2010 complicado por cuestiones de jurisdicción, el Tribunal Superior de Irlanda emitió un veredicto que ilustra el estado incipiente de la jurisprudencia en desarrollo. En el caso de Ryanair Ltd contra Billigfluege.de GmbH , el Tribunal Superior de Irlanda dictaminó que el acuerdo de " clic-wrap " de Ryanair era legalmente vinculante. En contraste con las conclusiones del Tribunal de Distrito de los Estados Unidos del Distrito Este de Virginia y las del Tribunal Marítimo y Comercial de Dinamarca, el juez Michael Hanna dictaminó que el hipervínculo a los términos y condiciones de Ryanair era claramente visible y que la responsabilidad de recaer en el usuario era Aceptar los términos y condiciones para obtener acceso a los servicios en línea es suficiente para comprender una relación contractual.[21] La decisión está siendo apelada en el Tribunal Supremo de Irlanda. [22]

El 30 de abril de 2020, la Autoridad de Protección de Datos de Francia (CNIL) publicó nuevas directrices sobre raspado web. [23] Las directrices de la CNIL dejaron en claro que los datos disponibles públicamente siguen siendo datos personales y no pueden reutilizarse sin el conocimiento de la persona a la que pertenecen esos datos. [24]

Australia [ editar ]

En Australia, la Ley de correo no deseado de 2003 prohíbe algunas formas de recolección web, aunque esto solo se aplica a las direcciones de correo electrónico. [25] [26]

India [ editar ]

Dejando unos pocos casos relacionados con la infracción de los derechos de propiedad intelectual, los tribunales indios no se han pronunciado expresamente sobre la legalidad del web scraping. Sin embargo, dado que todas las formas comunes de contratos electrónicos se pueden hacer cumplir en la India, violar los términos de uso que prohíben el raspado de datos será una violación de la ley de contratos. También violará la Ley de Tecnología de la Información de 2000 , que penaliza el acceso no autorizado a un recurso informático o la extracción de datos de un recurso informático.

Métodos para evitar el web scraping [ editar ]

El administrador de un sitio web puede utilizar varias medidas para detener o ralentizar un bot. Algunas técnicas incluyen:

  • Bloquear una dirección IP ya sea de forma manual o en función de criterios como la geolocalización y DNSRBL . Esto también bloqueará toda la navegación desde esa dirección.
  • Deshabilitar cualquier API de servicio web que pueda exponer el sistema del sitio web.
  • Los bots a veces declaran quiénes son (usando cadenas de agentes de usuario ) y pueden bloquearse sobre esa base usando robots.txt ; ' googlebot ' es un ejemplo. Otros bots no hacen distinción entre ellos y un humano que usa un navegador.
  • Los bots se pueden bloquear monitoreando el exceso de tráfico
  • A veces, los bots pueden bloquearse con herramientas para verificar que es una persona real que accede al sitio, como un CAPTCHA . Los bots a veces se codifican para romper explícitamente patrones CAPTCHA específicos o pueden emplear servicios de terceros que utilizan mano de obra humana para leer y responder en tiempo real a los desafíos de CAPTCHA.
  • Servicios comerciales anti-bot: las empresas ofrecen servicios anti-bot y anti-scraping para sitios web. Algunos firewalls de aplicaciones web también tienen capacidades limitadas de detección de bots. Sin embargo, muchas de estas soluciones no son muy eficaces. [27]
  • Localizar bots con un honeypot u otro método para identificar las direcciones IP de rastreadores automatizados.
  • Ofuscación mediante el uso de sprites CSS para mostrar datos como números de teléfono o direcciones de correo electrónico, a costa de la accesibilidad para los usuarios de lectores de pantalla .
  • Debido a que los bots dependen de la coherencia en el código de front-end de un sitio web de destino, agregar pequeñas variaciones al HTML / CSS que rodean los datos importantes y los elementos de navegación requeriría una mayor participación humana en la configuración inicial de un bot y, si se hace de manera efectiva, puede representar el El sitio web de destino es demasiado difícil de raspar debido a la menor capacidad para automatizar el proceso de raspado.
  • Los sitios web pueden declarar si el rastreo está permitido o no en el archivo robots.txt y permitir el acceso parcial, limitar la frecuencia de rastreo, especificar el tiempo óptimo para rastrear y más.

Ver también [ editar ]

  • Archive.today
  • Comparación de agregadores de piensos
  • Raspado de datos
  • Arreglo de datos
  • Importador
  • Cierre de trabajo
  • Extracción de conocimiento
  • OpenSocial
  • Sitio del raspador
  • Sitio web de noticias falsas
  • Blog raspado
  • Spamdexing
  • Lista desplegable de nombres de dominio
  • Corpus de texto
  • Archivo web
  • Rastreador web
  • Lector sin conexión
  • Granja de enlaces (red de blogs)
  • Raspado del motor de búsqueda
  • Rastreadores web

Referencias [ editar ]

  1. ^ "Search Engine History.com" . Historia del motor de búsqueda . Consultado el 26 de noviembre de 2019 .
  2. ^ Song, Ruihua; Microsoft Research (14 de septiembre de 2007). "Optimización conjunta de generación de envoltorios y detección de plantillas" (PDF) . La 13ª Conferencia Internacional sobre Descubrimiento de Conocimiento y Minería de Datos : 894. doi : 10.1145 / 1281192.1281287 . ISBN  9781595936097. S2CID  833565 . Archivado desde el original (PDF) el 11 de octubre de 2016.
  3. ^ Raspado web basado en anotaciones semánticas
  4. Roush, Wade (25 de julio de 2012). "Diffbot está utilizando la visión por computadora para reinventar la web semántica" . www.xconomy.com . Consultado el 15 de marzo de 2013 .
  5. ^ "Preguntas frecuentes sobre la vinculación - ¿Son los términos de uso del sitio web contratos vinculantes?" . www.chillingeffects.org. 2007-08-20. Archivado desde el original el 8 de marzo de 2002 . Consultado el 20 de agosto de 2007 .
  6. Kenneth, Hirschey, Jeffrey (1 de enero de 2014). "Relaciones simbióticas: aceptación pragmática de raspado de datos" . Revista de Derecho Tecnológico de Berkeley . 29 (4). doi : 10.15779 / Z38B39B . ISSN 1086-3818 . 
  7. ^ "Derecho de Internet, cap. 06: Allanamiento de morada" . www.tomwbell.com. 2007-08-20 . Consultado el 20 de agosto de 2007 .
  8. ^ "¿Cuáles son las reclamaciones de" traspaso de bienes muebles "que han presentado algunas empresas o propietarios de sitios web?" . www.chillingeffects.org. 2007-08-20. Archivado desde el original el 8 de marzo de 2002 . Consultado el 20 de agosto de 2007 .
  9. ^ "Ticketmaster Corp. v. Tickets.com, Inc" . 2007-08-20 . Consultado el 20 de agosto de 2007 .
  10. ^ "American Airlines v. FareChase" (PDF) . 2007-08-20. Archivado desde el original (PDF) el 23 de julio de 2011 . Consultado el 20 de agosto de 2007 .
  11. ^ "American Airlines, traje de liquidación de FareChase" . La biblioteca gratuita. 2003-06-13 . Consultado el 26 de febrero de 2012 .
  12. ^ Imperva (2011). Detección y bloqueo de ataques de raspado de sitios . Libro blanco de Imperva.
  13. Adler, Kenneth A. (29 de julio de 2003). "La controversia rodea a los 'Screen Scrapers': el software ayuda a los usuarios a acceder a los sitios web, pero la actividad de los competidores está bajo escrutinio" . Consultado el 27 de octubre de 2010 .
  14. ^ "QVC Inc. v. Resultly LLC, No. 14-06714 (ED Pa. Presentado el 24 de noviembre de 2014)" (PDF) . 2014-11-24 . Consultado el 5 de noviembre de 2015 .
  15. ^ "QVC Inc. v. Resultly LLC, No. 14-06714 (ED Pa. Presentado el 24 de noviembre de 2014)" . Tribunal de Distrito de los Estados Unidos para el Distrito Este de Pensilvania . Consultado el 5 de noviembre de 2015 .
  16. ^ Neuburger, Jeffrey D (5 de diciembre de 2014). "QVC demanda a la aplicación de compras por raspado web que supuestamente provocó la interrupción del sitio" . The National Law Review . Proskauer Rose LLP . Consultado el 5 de noviembre de 2015 .
  17. ^ "¿Iqbal / Twombly elevó el listón de las reclamaciones de Browsewrap?" (PDF) . 2010-09-17 . Consultado el 27 de octubre de 2010 .
  18. ^ "¿El raspado de contenido no infractor puede convertirse en una infracción de derechos de autor ... debido a cómo funcionan los raspadores? | Techdirt" . Techdirt . 2009-06-10 . Consultado el 24 de mayo de 2016 .
  19. ^ "Facebook v. Power Ventures" . Fundación Frontera Electrónica . Consultado el 24 de mayo de 2016 .
  20. ^ "UDSKRIFT AF SØ- & HANDELSRETTENS DOMBOG" (PDF) (en danés). bvhd.dk. 2006-02-24. Archivado desde el original (PDF) el 12 de octubre de 2007 . Consultado el 30 de mayo de 2007 .
  21. ^ "Decisiones del Tribunal Superior de Irlanda >> Ryanair Ltd -v- Billigfluege.de GMBH 2010 IEHC 47 (26 de febrero de 2010)" . Instituto de Información Legal Británico e Irlandés. 2010-02-26 . Consultado el 19 de abril de 2012 .
  22. ^ Matthews, Áine (junio de 2010). "Propiedad intelectual: Condiciones de uso del sitio web" . Número 26: junio de 2010 . Actualización de los abogados de LK Shields. pag. 03 . Consultado el 19 de abril de 2012 .
  23. ^ "La réutilisation des données publiquement accessibles en ligne à des fins de démarchage commercial | CNIL" . www.cnil.fr (en francés) . Consultado el 5 de julio de 2020 .
  24. FindDataLab.com (9 de junio de 2020). "¿Todavía puede realizar Web Scraping con las nuevas pautas de la CNIL?" . Medio . Consultado el 5 de julio de 2020 .
  25. ^ Oficina Nacional para la Economía de la Información (febrero de 2004). "Spam Act 2003: una visión general para las empresas" . Autoridad Australiana de Comunicaciones. pag. 6 . Consultado el 7 de diciembre de 2017 .
  26. ^ Oficina Nacional para la Economía de la Información (febrero de 2004). "Ley de correo no deseado de 2003: una guía práctica para las empresas" (PDF) . Autoridad Australiana de Comunicaciones. pag. 20 . Consultado el 7 de diciembre de 2017 .
  27. ^ Mayank Dhiman Breaking Fraud & Bot Detection Solutions OWASP AppSec Cali '2018 Consultado el 10 de febrero de 2018.