De Wikipedia, la enciclopedia libre
Saltar a navegación Saltar a búsqueda

El Australian Web Archive ( AWA ) es una base de datos en línea disponible públicamente de sitios web australianos archivados, alojada por la Biblioteca Nacional de Australia (NLA) en su plataforma Trove , un agregador de bases de datos de bibliotecas en línea. Comprende el archivo PANDORA de la NLA , el Archivo Web del Gobierno de Australia (AGWA) y las colecciones de dominios ".au" de la Biblioteca Nacional de Australia . El acceso se realiza a través de una única interfaz en Trove, que está disponible públicamente. [1] [2] [3] El archivo web australiano se creó en marzo de 2019, [4]y es uno de los archivos web más grandes del mundo. [5] Su propósito es proporcionar un recurso para historiadores e investigadores, ahora y en el futuro. [5]

Historia de los tres componentes [ editar ]

El servicio PANDORA comenzó a archivar sitios web en octubre de 1996. [6]

En 2005, la NLA comenzó a archivar instantáneas anuales de todo el dominio web australiano ( URL con el sufijo ".au" [4] ), [7] recopiladas a través de grandes cosechas de rastreo . [8] Más tarde, los primeros sitios web del dominio web .au, que datan de 1996, se obtuvieron del Archivo de Internet . En 2019, este contenido se hizo público por primera vez a través de Trove. [9]

La infraestructura de PANDORA, que funciona bien para un archivo selectivo a pequeña escala, no se adapta a la "recolección masiva" de contenido web a gran escala, por lo que se tuvo que desarrollar un nuevo sistema técnico mediante el cual un servicio de archivo web integraría la entrega de sitios web archivados. dentro de una interfaz de sitio web en vivo que entrega los sitios web archivados sin problemas al usuario, lo cual es difícil de lograr técnicamente. [10]

AGWA [ editar ]

Los sitios web del gobierno australiano son registros de la Commonwealth y, por lo tanto, son publicaciones que deben administrarse de conformidad con la Ley de Archivos de 1983 . [11]

El Archivo Web del Gobierno de Australia (AGWA) consiste en un archivo masivo de los sitios web del Gobierno del Commonwealth . La NLA comenzó la recolección regular de sitios web en junio de 2011, [12] después de que se superó un obstáculo significativo con un acuerdo administrativo realizado en mayo de 2010 que permite a la NLA recopilar, preservar y hacer accesibles los sitios web del gobierno sin tener que solicitar permiso previo para cada uno. sitio web o documento, como era el caso antes. El servicio utiliza el rastreador web Heritrix para recolectar archivos WARC.para almacenamiento y Open Wayback para entrega del servicio. Hay una enorme cantidad de publicaciones por parte del gobierno, pero muchos desafíos que superar tratando de preservar el contenido, como su repentina desaparición. En marzo de 2014, la AGWA se puso a disposición del público. [10]

La AGWA cumple con los requisitos de preservación y retención para sitios web como material de "conservar como archivos nacionales" (ARN) según la Ley de Archivos ; sin embargo, los videos y los archivos de documentos (como PDF o documentos de Word ) no siempre se capturan, por lo que deben administrarse por separado. [11]

A principios de 2015, el contenido de AGWA incluye, a partir de 2005, ascendía a unos 144 millones de archivos, ocupando 15 terabytes . Solo incluía sitios web del Gobierno de la Commonwealth que se recopilan a través de cosechas masivas de casi 1000 URL de semillas. La programación de las cosechas aún no está establecida de forma rutinaria, pero actualmente las cosechas se realizan aproximadamente tres veces al año. [10]

Fusión [ editar ]

En 2017, el archivo AGWA y PANDORA se fusionaron con las otras colecciones de archivos web para formar la colección de archivos web Trove. [9] Después de un mayor desarrollo y la creación del Archivo Web de Australia, los sitios web gubernamentales archivados a través de AGWA y ahora incluidos en AWA todavía se pueden buscar por separado utilizando la opción "Búsqueda avanzada". [9]

Descripción de AWA [ editar ]

La NLA describe un archivo web como una "colección de instantáneas de sitios web capturados mientras son accesibles en la web, y luego conservados en una copia estática". La colección archivada en la AWA es "relevante para la vida y las actividades culturales, sociales, políticas, de investigación y comerciales de Australia y los australianos". Recopila material web a través del archivo programado de sitios web y publicaciones seleccionados, así como una recolección ad hoc relacionada con eventos importantes. [9]

En marzo de 2019, cuando comenzó, AWA ya contenía alrededor de 600 terabytes de datos, con 9 mil millones de registros. [5] [13] Contiene más funciones que Wayback Machine , alojada en Internet Archive , lo que permite la búsqueda de texto completo mediante un motor de búsqueda integrado en la empresa. Los desarrolladores también idearon técnicas para filtrar el "ruido" no deseado. Los datos permanecen en los servidores de la biblioteca, aunque se prevé un cambio a la nube en el futuro, a medida que crezca el contenido. [5] La usabilidad por parte de una amplia gama de usuarios, y en particular la funcionalidad de búsqueda, fueron los principales enfoques durante el desarrollo. [9]

El archivo se puede buscar completamente, basado en una combinación de técnicas utilizadas por los desarrolladores. Cada equipo creó un algoritmo de búsqueda único y complejo , mediante la adaptación de una versión del algoritmo de clasificación de páginas de Google (basado en la frecuencia de clics en una página), modificado para generar mejores recursos de alta calidad. Otras tecnologías incluyen un filtro bayesiano (efectivamente un filtro de spam ), un clasificador No seguro para el trabajo de Yahoo y aprendizaje automático . [14]

Hay una opción "Limitar el dominio web gov.au" antes de realizar la búsqueda, [15] y los sitios web gubernamentales archivados a través de AGWA aún se pueden buscar por separado usando la opción "Búsqueda avanzada". [9] Otras opciones de la búsqueda avanzada son limitar el intervalo de tiempo de las instantáneas, el dominio y el tipo de archivo. [dieciséis]

Con muchos de los sitios web anteriores de la década de 1990 ahora perdidos, principalmente debido al cambio frecuente de plataformas web, el Archivo Web de Australia es una iniciativa importante que ayudará a salvar las páginas web actuales y futuras, especialmente el contenido australiano. [4] Se continuará agregando material al Archivo y otro material en línea recopilado de acuerdo con la Ley de Bibliotecas Nacionales de 1960 , las disposiciones de depósito legal de la Ley de Derechos de Autor de 1968 y la política de selección de colecciones digitales de la NLA . [9]

Sitios web de Asia / Pacífico [ editar ]

Los sitios web de la región de Asia Pacífico no están incluidos en la AWA, pero NLA se asocia con Internet Archive para recopilar y preservar "sitios web seleccionados de Asia / Pacífico relacionados con eventos específicos o grupos sociopolíticos". [17]

Ver también [ editar ]

  • Edepósito nacional

Referencias [ editar ]

  1. ^ "Conservación y acceso a recursos documentales en red de Australia" . Archivo de Pandora . Consultado el 30 de abril de 2020 .
  2. ^ "Sitios web archivados" . Biblioteca Nacional de Australia . 23 de marzo de 2020 . Consultado el 30 de abril de 2020 .
  3. ^ Koerbin, Paul (11 de febrero de 2015). "El archivo web del gobierno australiano" . Biblioteca Nacional de Australia . Consultado el 30 de abril de 2020 .
  4. ↑ a b c Bruns, Axel (14 de marzo de 2019). "El Archivo Web de Australia es un logro trascendental, pero las cosas se pondrán más difíciles a partir de aquí" . La conversación . Consultado el 30 de abril de 2020 .
  5. ↑ a b c d Nott, George (11 de marzo de 2019). "La Biblioteca Nacional lanza un archivo 'enorme' de Internet de Australia" . Computerworld . Consultado el 6 de mayo de 2020 .
  6. ^ "Historia y logros" . PANDORA. 18 de febrero de 2009 . Consultado el 6 de mayo de 2020 .
  7. ^ McKenzie, Amelia (12 de marzo de 2019). "Preservar la historia web de Australia: el comienzo del archivo web australiano" . Biblioteca Nacional de Australia . Consultado el 6 de mayo de 2020 .
  8. ^ "Sitios web archivados (1996 - ahora)" . Trove . Consultado el 6 de mayo de 2020 .
  9. ^ a b c d e f g "Acerca del archivo web australiano" . Centro de ayuda de Trove . Consultado el 8 de mayo de 2020 .
  10. ↑ a b c Koerbin, Paul (11 de febrero de 2015). "Archivo web del gobierno australiano: la recopilación del patrimonio documental en línea del gobierno se hace a gran escala" . Biblioteca Nacional de Australia . Consultado el 6 de mayo de 2020 .
  11. ^ a b "Archivado de sitios web del gobierno australiano" . Archivos Nacionales de Australia . Consultado el 8 de mayo de 2020 .
  12. ^ "Sitios web archivados" . Biblioteca Nacional de Australia . 7 de diciembre de 2018 . Consultado el 6 de mayo de 2020 .
  13. ^ NOTA: la página de ayuda de AWA dice 400 tb, 8 mil millones de registros
  14. ^ "Consulte el archivo web de Australia" . Teléfono del sur . 11 de abril de 2019 . Consultado el 8 de mayo de 2020 .
  15. ^ "Archivo web australiano" . Trove . Consultado el 8 de mayo de 2020 .
  16. ^ "Archivo Web australiano - Búsqueda avanzada" . Trove . Consultado el 8 de mayo de 2020 .
  17. ^ "Sitios web archivados" . Biblioteca Nacional de Australia . 23 de marzo de 2020 . Consultado el 8 de mayo de 2020 .

Enlaces externos [ editar ]

  • Página web oficial