Robots.txt está pasado a años 90
Casi todos los webmasters saben, o debieran saber, lo que es el protocolo robots.txt, que básicamente permite restringir para uno o más robots indexadores ciertos contenidos.
En CHW lo usamos, por ejemplo, para que el robot de google no se ponga a intentar usar el buscador, para que no indexe posts aislados sino threads, para que no indexe los perfiles de usuario para que no intente meterse al panel de administración digo, no va a poder, pero mientras lo intenta usa ancho de banda y poder de procesamiento inútilmente.
Actualmente, tres asociaciones de publicistas y prensa, como son la World Association of Newspapers, la European Publishers Council y la International Publishers Association, están promoviendo un protocolo que reemplace al viejo robots.txt introduciendo una manera mucho más detallada de establecer qué cosas deseas que aparezcan en los buscadores y cómo quieres que aparezcan: en efecto, el protocolo ACAP (Automated Content Access Protocol) permite definir como quien dice las condiciones en que estás publicando el material.
Según los que apoyan este protocolo, la implantación de éste permitiría a los generadores de contenido como diarios, revistas o canales de TV compartir más material, visto que ya no tendrían temor de que lo que salga en google ya es de cualquiera que se anime a copiarlo. A mí no me parece que esta explicación tenga mucho sentido, pero como sea, al final estas iniciativas depende en gran parte de que los mismos buscadores decidan enseñarle a sus robots a entender el protocolo.
Fuente: Ars Technica
