Blog
Tu web y la IA: qué bots dejar entrar y cuáles bloquear en robots.txt
2 de noviembre de 2026
Google y OpenAI apoyarán una señal común en robots.txt para no entrenar IA con tu web. Aprende qué bots bloquear sin perder visibilidad en buscadores.
Hasta hace poco, el archivo robots.txt era una de esas piezas técnicas de la web que nadie en la empresa miraba. Servía para decirle a Google qué carpetas no hacía falta rastrear y poco más. Hoy ese pequeño archivo de texto decide algo bastante más delicado: si tu contenido puede usarse para entrenar modelos de inteligencia artificial y, sobre todo, si tu negocio aparece o no cuando alguien pregunta a un buscador o a un asistente con IA.
El 30 de octubre de 2026 Google y OpenAI anunciaron que darán soporte a una señal común en robots.txt para expresar, con una sola regla, que no quieres que tu web se use para entrenar IA. Es una buena noticia para quien quiere proteger su contenido, pero también abre la puerta a un error que vemos a menudo: bloquear a todos los bots de IA sin distinguir y, de paso, desaparecer de las respuestas donde hoy se decide a quién llama un cliente.
En este artículo te explicamos qué se ha anunciado exactamente, la diferencia entre entrenar y buscar, qué rastreadores conviene conocer y cómo decidir qué permitir. Usaremos como ejemplo un despacho profesional, una asesoría fiscal y laboral, porque es el tipo de negocio que publica mucho contenido valioso y que más se juega en esta decisión.
1. Qué se ha anunciado: una señal común para decir no al entrenamiento
Hasta ahora, si no querías que tu contenido sirviera para entrenar modelos de IA, tenías que escribir una regla distinta para cada empresa: una para Google, otra para OpenAI, otra para cada nuevo actor. La propuesta nueva unifica esto en un único grupo de robots.txt con el nombre __usage_ai-training. Las líneas «User-agent: __usage_ai-training» y «Disallow: /» expresarían que no quieres que ninguna parte de tu web se use para entrenar IA, y podrías dejar carpetas concretas permitidas, como una sala de prensa.
Google ha incorporado la novedad a su documentación oficial de rastreadores, actualizada el 30 de octubre de 2026, donde indica que tiene intención de dar soporte a esta señal a principios de 2027. OpenAI anunció ese mismo día que la respetará en los próximos meses, sin retirar los controles que ya tiene. Según la cobertura de medios especializados, Google ha explicado además que si usas la señal común y no dices nada específico sobre su control propio, Google-Extended, lo interpretará como si hubieras bloqueado Google-Extended.
Conviene tener claros los matices. La señal se describe en un borrador individual del IETF, el organismo que elabora estándares de internet, y ese tipo de documento no tiene todavía estatus oficial de estándar. Además, es una preferencia, no un muro: cada empresa decide si la respeta. Y Google habla de principios de 2027, así que hoy es un anuncio, no algo que ya funcione.
2. Entrenar no es lo mismo que buscar: los tres usos de tu contenido
Para decidir bien hay que separar tres cosas que solemos meter en el mismo saco. La primera es el entrenamiento: tu contenido se usa para que un modelo de IA aprenda, y luego ese modelo responde sin necesidad de visitar tu web ni citarte. Aquí es donde tiene sentido plantearse un no.
La segunda es la búsqueda y la indexación clásica: Google rastrea tu web, la incluye en su índice y la muestra en resultados, en Maps y en sus funciones de búsqueda. Si cortas esto, sencillamente dejas de existir para quien te busca en Google, también en sus resúmenes con IA, que se alimentan de páginas indexadas.
La tercera es la recuperación en tiempo real: un buscador o asistente con IA lee tu página en el momento en que alguien hace una pregunta y la cita como fuente con un enlace. Para una pyme, esta es la parte que trae clientes. Bloquearla suele ser mala idea, porque es justo el canal por el que un usuario que pregunta «asesoría laboral en Elche que lleve autónomos» puede acabar en tu web.
3. Los rastreadores que conviene conocer
No hace falta memorizar una lista interminable, pero sí distinguir los nombres principales de Google y OpenAI, porque cada uno controla una cosa distinta y, como recuerda OpenAI en su documentación, cada regla funciona de forma independiente.
Googlebot es el rastreador de la Búsqueda de Google. Es el que no debes bloquear nunca si quieres aparecer en Google. Google-Extended no es un robot aparte, sino una etiqueta de control: sirve para decidir si tu contenido se usa para entrenar los modelos Gemini y para fundamentar respuestas en las aplicaciones de Gemini y en Vertex AI. Google afirma en su documentación que Google-Extended no afecta a la inclusión de tu web en la Búsqueda ni se usa como señal de posicionamiento.
En el lado de OpenAI, GPTBot es el rastreador cuyo contenido puede usarse para entrenar modelos; bloquearlo indica que no quieres que tu web sirva para ese fin. OAI-SearchBot es el que permite que tu web aparezca en las respuestas de búsqueda de ChatGPT: si lo bloqueas, OpenAI indica que no se te mostrará en esas respuestas, aunque podrías seguir saliendo como enlace de navegación. ChatGPT-User es el que visita una página cuando un usuario se lo pide a ChatGPT, y OpenAI advierte que, al ser una acción iniciada por una persona, las reglas de robots.txt pueden no aplicarse.
La conclusión práctica es sencilla. Los nombres que tienen que ver con entrenamiento, como GPTBot, Google-Extended y la futura señal común, se pueden bloquear sin perder visibilidad en buscadores. Los que tienen que ver con buscar y citar, como Googlebot u OAI-SearchBot, conviene dejarlos entrar.
4. El error caro: bloquear la IA en bloque y desaparecer
El fallo más frecuente no es de mala fe, sino de prisa. Alguien lee que la IA usa el contenido de las webs sin permiso, instala un plugin de seguridad o activa una opción de bloqueo de bots en su proveedor de hosting, y marca la casilla de bloquear todos los bots de IA. Algunas de estas herramientas no distinguen entre entrenamiento y búsqueda, y el resultado es que la web deja de aparecer en buscadores con IA sin que nadie lo note durante meses.
El segundo fallo es copiar un robots.txt de internet con una regla genérica para todos los robots, del tipo «User-agent: *» y «Disallow: /», pensando que solo afecta a la IA. Esa combinación pide a todos los rastreadores, Googlebot incluido, que no entren en ninguna página. Es una de las formas más rápidas de hundir el tráfico de una web, y la vemos a menudo en webs que salieron de una fase de pruebas y nadie quitó la regla.
El tercero es pensar que robots.txt protege información privada. No lo hace: es un archivo público que cualquiera puede leer y que solo los robots que quieren cumplirlo respetan. Si tienes documentos de clientes o áreas privadas, eso se protege con contraseña y un área de cliente bien configurada, no con una línea en robots.txt.
5. Cómo decidirlo en un despacho profesional
Imagina una asesoría con diez personas que lleva años publicando guías sobre la renta, el alta de autónomos o los contratos laborales. Ese contenido le cuesta horas de trabajo y es justo lo que los asistentes de IA usan para responder dudas fiscales. ¿Qué le conviene?
Lo razonable en la mayoría de casos es separar. Por un lado, dejar entrar a los rastreadores de búsqueda, porque una persona que pregunta a un asistente por una asesoría en su ciudad debe poder llegar a la web y pedir cita. Por otro, decidir con calma sobre el entrenamiento. Si las guías son su gran activo y no quiere que alimenten modelos que luego responden sin citarla, puede bloquear GPTBot y Google-Extended hoy y añadir la señal común cuando esté operativa. Si prefiere priorizar la máxima presencia de marca en todo ecosistema de IA, puede no bloquear nada.
No hay una respuesta única. Una clínica con fichas de tratamientos, una inmobiliaria con descripciones de zonas o un taller con guías de mantenimiento pueden llegar a conclusiones distintas. Lo importante es que la decisión la tome el negocio sabiendo qué hace cada regla, y no un plugin con una configuración por defecto.
6. Revisa tu robots.txt en veinte minutos
Primer paso: abre en el navegador tu dominio seguido de /robots.txt y lee lo que hay. Si no existe, no pasa nada grave; si existe, busca reglas que afecten a todos los robots o a Googlebot y comprueba que no bloquean páginas que quieres posicionar.
Segundo paso: entra en Google Search Console y revisa el informe de robots.txt dentro de la configuración, que te indica qué archivo ha leído Google y si ha encontrado errores. Comprueba también en el informe de páginas que tus servicios principales están indexados.
Tercer paso: revisa los plugins de seguridad y el panel de tu hosting o CDN en busca de opciones de bloqueo de bots de IA. Mira exactamente qué bloquean y, si mezclan entrenamiento y búsqueda, configúralos a mano.
Cuarto paso: decide tu política y escríbela. Una línea en un documento interno basta, por ejemplo «permitimos buscadores y asistentes que citan, bloqueamos entrenamiento». Después aplica las reglas en robots.txt, apunta la fecha y vuelve a revisarlo cuando la señal común entre en funcionamiento, previsiblemente a principios de 2027. OpenAI indica que sus cambios pueden tardar unas 24 horas en reflejarse en la búsqueda de ChatGPT.
Si tu web está hecha con un gestor de contenidos, muchas veces el robots.txt lo genera un plugin de SEO y se edita desde su panel, sin tocar archivos. Si no sabes dónde está, pregunta a quien te mantiene la web antes de subir uno nuevo, porque dos sistemas generando el mismo archivo es otra fuente habitual de errores.
Conclusión
La señal común para el entrenamiento de IA es un paso hacia un control más sencillo de tu contenido, pero todavía es un anuncio con fecha prevista para 2027 y basado en un borrador. Mientras tanto, lo que de verdad protege tu negocio es entender la diferencia entre dejar que la IA aprenda de tu web y dejar que te encuentre y te cite. Lo primero es opcional; lo segundo, para casi cualquier pyme, es imprescindible.
Si quieres que revisemos la configuración técnica de tu web, el robots.txt incluido, y que tu negocio siga apareciendo en Google y en los buscadores con IA, en Navegatel lo hacemos dentro de nuestros proyectos de diseño y SEO. Tienes más información en /servicios/crea-tu-web.
Fuentes
Información actualizada a 2 de noviembre de 2026. Este artículo tiene carácter divulgativo y no sustituye el asesoramiento técnico sobre tu web concreta. La señal común es una propuesta y su aplicación dependerá de cada proveedor.
Google Search Central. Supporting a shared AI training control for websites. Octubre de 2026. https://developers.google.com/search/blog/2026/10/ai-training-control
Google for Developers. List of Google's common crawlers (sección Google-Extended). Última actualización 30 de octubre de 2026. https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
OpenAI. Overview of OpenAI Crawlers. Consultado el 2 de noviembre de 2026. https://developers.openai.com/docs/bots
DiarioBitcoin. OpenAI respaldará una señal común para limitar el uso de contenidos en el entrenamiento de IA. 30 de octubre de 2026. https://www.diariobitcoin.com/regulacion/openai-respaldara-una-senal-comun-para-limitar-el-uso-de-contenidos-en-el-entrenamiento-de-ia/
Relevant Audience. Google plans to honour shared AI training opt-out in 2027. Octubre de 2026. https://www.relevantaudience.com/geo/google-shared-ai-training-robots-txt-signal-2027/
IETF. AI Preferences (aipref) Working Group. https://datatracker.ietf.org/wg/aipref/about/
¿Quieres aplicarlo a tu marca?
Cuéntanos tu proyecto y te proponemos un plan a medida: web, identidad, redes o automatización.
Ir a contacto