Google, Microsoft, OpenAI y Anthropic respaldaron una señal común en robots.txt para que los sitios indiquen que su contenido no debe usarse en el entrenamiento de modelos generativos. El cambio permitirá expresar una sola preferencia a los proveedores participantes, en lugar de mantener reglas separadas para cada empresa.
Los archivos denominados robots.txt son archivos públicos con instrucciones para los programas que recorren las páginas de un sitio. La propuesta incorpora el identificador __usage_ai-training, que comunica una preferencia sobre el uso de contenido para modificar los parámetros de modelos generativos. La preferencia se aplica al destino del contenido, mientras que las reglas de acceso siguen regulando qué páginas pueden visitar esos programas.
Las empresas anunciaron calendarios distintos para adoptar la señal. OpenAI prevé implementarla en los próximos meses y mantendrá sus controles actuales. Google apunta a 2027. Microsoft comenzará a reconocerla el 1 de febrero de 2027, a medida que vuelva a rastrear las páginas. Kevin Kelley, de Anthropic, presentó el mecanismo como una propuesta individual ante el IETF (Internet Engineering Task Force, Grupo de Trabajo de Ingeniería de Internet), organismo que desarrolla estándares técnicos para la red. La propuesta todavía no cuenta con aprobación como estándar.
Cómo funcionará la señal común en robots.txt
El propietario de un sitio podrá añadir el token como agente de usuario y usar las instrucciones Allow o Disallow. Una regla con Disallow: / expresará que el contenido de todo el sitio no debe destinarse al entrenamiento generativo. También será posible limitar la preferencia a una ruta, como una sección de noticias o un directorio específico.
Las reglas más específicas podrán prevalecer sobre la señal general. Un editor podrá rechazar el entrenamiento para la mayor parte del sitio y permitir una zona concreta, o conservar instrucciones particulares para un proveedor. El mecanismo utiliza la estructura ya conocida de robots.txt y mantiene independientes las preferencias de uso y las instrucciones de rastreo.
OpenAI explicó en su anuncio que “este esfuerzo voluntario facilita que editores y operadores de sitios comuniquen la misma preferencia a varios proveedores participantes a la vez”. La empresa conservará las reglas asociadas a sus rastreadores, por lo que los administradores podrán combinar el control común con ajustes propios de OpenAI.
Google aplicará un criterio equivalente cuando adopte la señal. Si un sitio rechaza el entrenamiento mediante el token común y no especifica una regla para Google-Extended, la compañía lo interpretará como una prohibición para ese servicio. Una instrucción explícita de Google-Extended seguirá teniendo prioridad para definir el tratamiento del contenido por parte de Google.
Microsoft separará entrenamiento y uso en respuestas
Microsoft añadirá una preferencia distinta para el uso de páginas al generar respuestas, proceso que la empresa denomina grounding. Esa opción se configurará página por página y permitirá autorizar el uso, restringirlo a experiencias operadas por Microsoft o impedirlo. La decisión sobre entrenamiento será independiente y podrá aplicarse desde robots.txt a un sitio o una ruta.
Los sitios que excluyan contenido del entrenamiento podrán seguir siendo elegibles para aparecer en los resultados tradicionales de Bing. Restringir el uso al generar respuestas sí reducirá la presencia en experiencias de IA. La diferencia también forma parte de la agenda de medios de América que buscan distinguir entre entrenamiento, búsqueda, citas y generación de respuestas.
Microsoft abrirá el 15 de diciembre de 2026 una transición temporal en Bing Webmaster Tools para sitios que usen NoArchive o NoCache. Las nuevas preferencias empezarán a regir con el rastreo desde el 1 de febrero. Quienes necesiten conservar restricciones deberán publicar los ajustes correspondientes antes del 1 de marzo, fecha en que esas etiquetas antiguas dejarán de leerse como preferencias de IA.
Fuentes
Google Search Central, control compartido para el entrenamiento de IA
Microsoft Bing, preferencias para entrenamiento y generación de respuestas
OpenAI, señal común para sitios web
