Google, OpenAI y Anthropic acuerdan controles para evitar el scraping de contenido
Redactado con inteligencia artificial.

Google, OpenAI, Anthropic y Microsoft han acordado implementar una nueva directiva de robots.txt que permitirá a los editores bloquear el scraping de contenido para el entrenamiento de IA generativa. Esta iniciativa busca simplificar el proceso de control sobre qué contenido puede ser utilizado por las empresas para sus modelos de inteligencia artificial.
Nueva directiva de robots.txt
Las empresas Google, OpenAI, Anthropic y Microsoft han firmado un compromiso para respetar una nueva directiva de robots.txt. Esta norma permitirá a los editores especificar sus preferencias sobre el scraping de su contenido para el entrenamiento de inteligencia artificial generativa. La propuesta, redactada por Kevin Kelley, líder técnico de estándares en Anthropic, está bajo consideración en el IETF, la organización de estándares abiertos para internet.
Cómo funciona la nueva directiva
Actualmente, los propietarios de sitios web deben identificar los rastreadores individuales y establecer reglas separadas para cada proveedor. La propuesta de Kelley simplificará esto al hacer que varias empresas de IA reconozcan y respeten una señal común. Para implementar esta nueva directiva, los editores deberán añadir un nuevo agente de usuario en su archivo robots.txt, que se verá así:
``` User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ ```
Esta configuración permitirá bloquear a los rastreadores destinados a recopilar datos para el entrenamiento de IA, aunque los editores pueden permitir el scraping para partes específicas del sitio, como un kit de prensa.
Limitaciones de la directiva
Es importante destacar que esta nueva directiva no revertirá el scraping que ya se haya realizado anteriormente. Si las empresas ya han rastreado una página, su contenido se encuentra en sus bases de datos. Esta medida solo evitará que se realice scraping en el futuro. Anthropic ya ha comenzado a apoyar la nueva directiva, mientras que Microsoft planea implementarla el 1 de febrero de 2027, y Google también se unirá en 2027. OpenAI, por su parte, se comprometió a implementar esta señal en los próximos meses.
