Automatizar no significa entregar el control. Un sistema bien diseñado combina la velocidad de la IA con límites, permisos, verificación y responsabilidad humana. Esa diferencia separa una automatización útil de una automatización potencialmente peligrosa.
1. ¿Qué cambia cuando pasamos de un chatbot a un agente?
Un chatbot tradicional normalmente recibe una consulta y genera una respuesta. Un agente puede ir más allá: interpretar un objetivo, seleccionar herramientas, obtener información, ejecutar pasos y continuar trabajando hasta completar una tarea. OpenAI describe a los agentes como sistemas que pueden ejecutar flujos de trabajo en nombre de una persona con un grado elevado de independencia. [1]
Anthropic plantea una distinción útil entre workflows y agentes. En un workflow, las rutas de trabajo están predeterminadas por código; un agente, en cambio, puede decidir dinámicamente cómo avanzar, utilizar herramientas y detenerse en puntos donde necesita nueva información o juicio humano. [2]
Esa capacidad amplía enormemente las posibilidades de automatización. También amplía el impacto de un error. Si un modelo solamente redacta un borrador equivocado, una persona puede corregirlo. Si el mismo sistema tiene permiso para enviar el borrador a diez mil clientes, el problema cambia de escala.
La autonomía de un agente debería aumentar solamente cuando el impacto potencial de sus errores sea suficientemente bajo y controlable.
2. Control humano no significa aprobar absolutamente todo
Existen dos extremos poco útiles. El primero consiste en permitir que el agente ejecute cualquier acción sin supervisión. El segundo consiste en exigir a una persona que apruebe cada pequeño paso, eliminando buena parte de la eficiencia que buscábamos obtener.
OpenAI recomienda planificar intervención humana, especialmente cuando un agente supera determinados límites de fallos o cuando debe ejecutar acciones sensibles, irreversibles o de alto impacto. [1]
OWASP adopta una lógica semejante desde la perspectiva de seguridad: clasificar acciones por riesgo, exigir aprobación explícita para operaciones de alto impacto o irreversibles, mantener registros y permitir interrupción o reversión cuando sea posible. [4]
El objetivo, por tanto, no debería ser eliminar al ser humano del proceso. El objetivo es determinar dónde aporta realmente valor la supervisión humana.
3. Una forma sencilla de decidir cuánta autonomía permitir
Para llevar estos principios a la práctica, Vallenoval propone una clasificación simple de tres niveles. No es una taxonomía oficial de las fuentes citadas; es una síntesis práctica basada en sus recomendaciones sobre riesgo, reversibilidad, permisos y supervisión humana.
| Nivel | Ejemplos | Autonomía recomendada |
|---|---|---|
| Verde | Buscar información, resumir documentos, clasificar datos y preparar borradores. | Puede ejecutarse automáticamente si existen límites y fuentes adecuadas. |
| Amarillo | Preparar emails externos, modificar información, actualizar un CRM o crear propuestas comerciales. | El agente prepara la acción; una persona revisa antes de ejecutarla. |
| Rojo | Pagos, eliminación de datos, cambios de permisos, comunicaciones sensibles o compromisos legales. | Autorización humana explícita antes de ejecutar. |
La pregunta útil no es “¿puede técnicamente hacerlo la IA?”. La pregunta es: “¿qué consecuencia tendría que se equivocara?”
4. Paso a paso: cómo implementar un agente sin perder el control
Define un resultado específico
Evita objetivos como “quiero automatizar mi marketing”. Define una función observable: “quiero que el agente investigue temas, prepare tres borradores y entregue las fuentes para revisión”.
Separa analizar, proponer y ejecutar
Estas son capacidades diferentes. Un agente puede tener permiso para analizar datos y recomendar una acción sin tener permiso para ejecutarla.
Entrega solamente los permisos necesarios
OWASP recomienda aplicar el principio de mínimo privilegio a herramientas y permisos. Si el agente necesita consultar un calendario, no debería recibir automáticamente permiso para borrarlo. [4]
Clasifica las acciones por riesgo
Evalúa lectura frente a escritura, reversibilidad, información afectada, impacto financiero, reputacional y sobre terceros. OpenAI propone utilizar factores de riesgo para decidir qué herramientas requieren controles adicionales o escalamiento humano. [1]
Coloca aprobación humana antes de acciones sensibles
Pagos, eliminaciones, comunicaciones externas sensibles y otras decisiones de alto impacto deberían detenerse antes de ejecución y presentar claramente a una persona qué está a punto de ocurrir.
No confíes automáticamente en contenido externo
Un agente puede leer páginas, documentos, emails y otros datos que contengan instrucciones maliciosas. OWASP identifica la inyección de prompts directa e indirecta como un riesgo relevante para sistemas con agentes. [4]
Registra qué hizo y con qué herramientas
Mantén trazabilidad de las acciones relevantes: herramienta utilizada, resultado, decisión, aprobación, error y escalamiento. La documentación y la gestión continua forman parte del enfoque de gestión de riesgos promovido por NIST. [3]
Comienza pequeño y mide antes de ampliar autonomía
Prueba primero un proceso delimitado, define qué significa un resultado correcto, registra errores y amplía capacidades únicamente después de comprobar que el sistema funciona de manera suficientemente confiable.
5. Ejemplo: un agente para marketing de contenidos
Supongamos que una pequeña empresa quiere publicar tres contenidos semanales en LinkedIn.
Una automatización mal diseñada podría darle al agente acceso completo a la cuenta y una instrucción: “busca temas interesantes y publica tres veces por semana”.
El problema no está en que la IA escriba. El problema es que también estaría asumiendo, sin revisión, la decisión editorial y reputacional.
Automatizar el trabajo, no necesariamente la decisión final
El agente consulta el calendario editorial, investiga fuentes aprobadas, prepara un borrador, propone un CTA y registra las fuentes utilizadas.
Después entrega: borrador + fuentes + propuesta de publicación.
Una persona revisa solamente el punto de mayor impacto: la publicación externa.
Con esta arquitectura, la IA elimina buena parte del trabajo operativo pero el criterio reputacional sigue perteneciendo a una persona.
Esta idea coincide con el enfoque de Anthropic: los agentes son particularmente útiles cuando existen criterios claros de éxito, feedback del entorno y supervisión humana significativa. [2]
6. Tres preguntas antes de delegar cualquier acción
NIST enfatiza que la decisión de desplegar y utilizar sistemas de IA debe evaluarse en su contexto, considerando riesgos, impactos, costos y beneficios. [3]
7. Automatizar con criterio
La discusión sobre agentes de IA no debería reducirse a una competencia por determinar quién logra la mayor autonomía.
En muchos contextos profesionales, el mejor diseño será híbrido: la inteligencia artificial aporta velocidad, procesamiento, consistencia y ejecución repetitiva; las personas aportan contexto, responsabilidad, valores y juicio.
Un buen agente no es simplemente el que puede trabajar durante más tiempo sin preguntar.
Es aquel que tiene límites claros, sabe qué herramientas puede utilizar, registra lo que hace y se detiene cuando una decisión requiere criterio humano.
Delegar trabajo a la IA no debería significar delegar indiscriminadamente el control.
Fuentes y referencias
-
OpenAI.
A practical guide to building agents.
Guía sobre diseño de agentes, herramientas,
guardrails, clasificación del riesgo
e intervención humana.
Consultar fuente oficial de OpenAI -
Anthropic.
Building Effective AI Agents.
Explica diferencias entre workflows y agentes,
ciclos de feedback, checkpoints y criterios
para utilizar agentes de forma efectiva.
Consultar fuente oficial de Anthropic -
National Institute of Standards and Technology (NIST).
Artificial Intelligence Risk Management Framework (AI RMF 1.0).
Marco para gobernar, identificar, medir
y gestionar riesgos asociados con sistemas de IA.
Consultar fuente oficial de NIST -
OWASP Cheat Sheet Series.
AI Agent Security Cheat Sheet.
Recomendaciones sobre mínimo privilegio,
prompt injection, uso de herramientas,
aprobación humana, límites de autonomía
y trazabilidad.
Consultar fuente oficial de OWASP