El valor noindex de una metaetiqueta de robots HTML solicita que los robots de Internet automatizados eviten indexar una página web. [1] [2] Las razones por las que uno podría querer usar esta metaetiqueta incluyen aconsejar a los robots que no indexen una base de datos muy grande, páginas web que son muy transitorias, páginas web que están en desarrollo, páginas web que uno desea conservar un poco más. privado, o las versiones de las páginas para impresoras y dispositivos móviles. Dado que la responsabilidad de respetar la etiqueta noindex de un sitio web recae en el autor del robot de búsqueda, a veces estas etiquetas se ignoran. Además, la interpretación de la etiqueta noindex a veces es ligeramente diferente de una empresa de motor de búsqueda a otra.
No indexar páginas enteras
< html >< cabeza >< meta name = "robots" content = "noindex" >< título > No indexe esta página título >cabeza >
Los valores posibles para el contenido de la metaetiqueta son: "none", "all", "index", "noindex", "nofollow" y "follow". También es posible una combinación de los valores, [1] por ejemplo:
< meta name = "robots" content = "noindex, follow" >
Directivas específicas de bot
La directiva noindex se puede restringir solo a ciertos bots especificando un valor de "nombre" diferente en la metaetiqueta.
Por ejemplo, para bloquear específicamente el bot de Google, [3] especifique:
< meta name = "googlebot" content = "noindex" >
O, para bloquear el bot de Bing, especifique:
< meta name = "bingbot" content = "noindex" >
O, para bloquear el bot de BaidUu, especifique:
< meta name = "baiduspider" content = "noindex" >
archivo robots.txt
Se puede utilizar un archivo robots.txt para bloquear el rastreo.
No indexar parte de una página
También es posible excluir parte de una página web, por ejemplo, el texto de navegación, para que no se indexe en lugar de la página completa. Hay varias técnicas para hacer esto; es posible utilizar varios en combinación. La principal araña de indexación de Google, Googlebot , no reconoce ninguna de estas técnicas.
etiqueta
El motor de búsqueda ruso Yandex introdujo una nueva etiqueta que evita la indexación del contenido entre las etiquetas. Para permitir que el código fuente se valide, se puede utilizar alternativamente: [4]
< p >Indexe este texto.< noindex > No indexe este texto. noindex > No indexe este texto. p >
Existe un borrador de especificación de microformatos de 2005 con la misma funcionalidad. El perfil de exclusión de robots busca el atributo y el valor class = "robots-noindex" en las etiquetas HTML: [6]
< p > Indexe este texto. p > < div class = "robots-noindex" > No indexe este texto. div > < span class = "robots-noindex" > No indexe este texto. span > < p class = "robots-noindex" > No indexe este texto. p >
También es posible una combinación de valores, [6] por ejemplo:
< div class = "robots-noindex robots-follow" > Texto. div >
Yahoo!
En 2007, Yahoo! introdujo una funcionalidad similar al microformato en su araña. Sin embargo, la araña de Yahoo! Es incompatible porque busca el valor class = "robots-nocontent" y solo este valor: [7]
< p > Indexe este texto. p > < div class = "robots-nocontent" > No indexe este texto. div > < span class = "robots-nocontent" > No indexe este texto. span > < p class = "robots-nocontent" > No indexe este texto. p >
SharePoint
IFilter de SharePoint 2010 excluye el contenido dentro de una etiqueta
con el atributo y el valor
class = "noindex" . Los
internos no se excluyeron inicialmente, pero esto puede haber cambiado.
También se desconoce si el atributo se puede aplicar a etiquetas distintas de
^"Preguntas frecuentes sobre búsquedas generales" . Ayuda . Atomz . 2013. Sección: ¿Cómo excluyo partes de mi sitio de la búsqueda? . Consultado el 23 de marzo de 2013 . ¿Necesita evitar que se busquen partes de páginas individuales? Si desea excluir partes de una página de la indexación, rodee el texto con etiquetas y . Esto es útil, por ejemplo, si desea excluir el texto de navegación de las búsquedas.( se requiere registro )
^ a bJanes, Peter (18 de junio de 2005). "Perfil de exclusión de robots" . Microformatos . Consultado el 24 de marzo de 2013 .
^"Administración del rastreo: preparación para un rastreo" . Google Search Appliance . Google Inc . 23 de agosto de 2012. Sección: Exclusión de texto no deseado del índice. Archivado desde el original el 23 de noviembre de 2012 . Consultado el 23 de marzo de 2013 .