OkTecno
OkTecno

La tecnología que importa, sin jerga

viernes, 20 de noviembre de 2026
Portada>Internet>Google, OpenAI y Anthropic acuerdan controles para…
Internet

Google, OpenAI y Anthropic acuerdan controles para evitar el scraping de contenido

·1 min de lectura

Redactado con inteligencia artificial.

Google, OpenAI y Anthropic acuerdan controles para evitar el scraping de contenido

Google, OpenAI, Anthropic y Microsoft han acordado implementar una nueva directiva de robots.txt que permitirá a los editores bloquear el scraping de contenido para el entrenamiento de IA generativa. Esta iniciativa busca simplificar el proceso de control sobre qué contenido puede ser utilizado por las empresas para sus modelos de inteligencia artificial.

Nueva directiva de robots.txt

Las empresas Google, OpenAI, Anthropic y Microsoft han firmado un compromiso para respetar una nueva directiva de robots.txt. Esta norma permitirá a los editores especificar sus preferencias sobre el scraping de su contenido para el entrenamiento de inteligencia artificial generativa. La propuesta, redactada por Kevin Kelley, líder técnico de estándares en Anthropic, está bajo consideración en el IETF, la organización de estándares abiertos para internet.

Cómo funciona la nueva directiva

Actualmente, los propietarios de sitios web deben identificar los rastreadores individuales y establecer reglas separadas para cada proveedor. La propuesta de Kelley simplificará esto al hacer que varias empresas de IA reconozcan y respeten una señal común. Para implementar esta nueva directiva, los editores deberán añadir un nuevo agente de usuario en su archivo robots.txt, que se verá así:

``` User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ ```

Google, OpenAI y Anthropic acuerdan controles para evitar el scraping de contenido
Imagen generada con IA

Esta configuración permitirá bloquear a los rastreadores destinados a recopilar datos para el entrenamiento de IA, aunque los editores pueden permitir el scraping para partes específicas del sitio, como un kit de prensa.

Limitaciones de la directiva

Es importante destacar que esta nueva directiva no revertirá el scraping que ya se haya realizado anteriormente. Si las empresas ya han rastreado una página, su contenido se encuentra en sus bases de datos. Esta medida solo evitará que se realice scraping en el futuro. Anthropic ya ha comenzado a apoyar la nueva directiva, mientras que Microsoft planea implementarla el 1 de febrero de 2027, y Google también se unirá en 2027. OpenAI, por su parte, se comprometió a implementar esta señal en los próximos meses.

InternetGoogleOpenaiAnthropicIaScraping
← Volver a la portada