Un agente de voz empresarial no es solo un chatbot que habla. Combina telefonía, detección de voz, transcripción, razonamiento, herramientas y síntesis. Cada capa añade latencia, errores y tratamiento de datos. Está listo para producción cuando entiende en condiciones reales, informa con transparencia, actúa dentro de permisos, transfiere a una persona cuando corresponde y permite reconstruir lo ocurrido.
Arquitectura de una conversación de voz
El flujo habitual de un agente de voz con IA incluye varias etapas encadenadas:
- entrada telefónica o web;
- detección de actividad de voz;
- reconocimiento automático del habla;
- gestión del diálogo y modelo de lenguaje;
- consulta de datos o herramientas;
- síntesis de voz;
- registro, métricas y escalado.
Un fallo temprano se propaga por todo el flujo. Si la transcripción confunde un importe, el modelo puede razonar correctamente sobre un dato incorrecto y entregar una respuesta errónea con total seguridad. Por eso deben conservarse, con los controles adecuados, el audio, la transcripción, las llamadas a herramientas y la decisión final como capas diferenciadas y auditables.
Seleccionar casos de uso seguros
Los mejores primeros casos para un agente de voz con IA son frecuentes, acotados y reversibles: información general, estado de una solicitud, reserva con confirmación o clasificación inicial de la llamada. No conviene empezar por decisiones sanitarias, financieras, contractuales o de emergencia.
Una matriz de impacto y reversibilidad ayuda a decidir dónde automatizar y dónde exigir intervención humana:
| Caso | Impacto | Reversibilidad | Automatización |
|---|---|---|---|
| Horarios y ubicación | Bajo | Alta | Alta |
| Cita estándar | Medio | Alta | Con confirmación |
| Cambio contractual | Alto | Parcial | Revisión humana |
| Pago o dato sensible | Alto | Baja | Autenticación y aprobación |
| Emergencia | Crítico | Baja | Derivación inmediata |
Privacidad desde el inicio
La voz, su contenido, los números marcados, los metadatos y las transcripciones pueden ser datos personales. También pueden revelar salud, creencias, emociones o identidad. La AEPD ha destacado en 2026 que la transcripción con IA exige finalidad, base jurídica, transparencia, seguridad, gestión de errores y respeto de los derechos de las personas.
Antes de iniciar la conversación conviene informar, de forma breve, de que interviene IA, cuál es la finalidad, si existe posible grabación y dónde acceder a información adicional. Si la grabación no es necesaria, no debe activarse por defecto. Transcribir el audio no elimina el tratamiento sobre el audio original.
El análisis de privacidad debe cubrir:
- finalidad y base jurídica;
- grabación frente a procesamiento efímero;
- categorías especiales de datos e inferencias;
- proveedor, subencargados y transferencias internacionales;
- uso de las conversaciones para entrenamiento o mejora del sistema;
- plazos de conservación de audio, transcripción y logs;
- derechos de acceso, rectificación y oposición;
- evaluación de impacto (EIPD) cuando sea probable un alto riesgo.
Errores de transcripción y derechos
Una transcripción probabilística puede atribuir palabras que la persona nunca pronunció. No debe tratarse como un acta exacta sin validación.
La interfaz debe permitir escuchar el fragmento original, corregir los datos críticos y conservar trazabilidad de cada corrección. Si una persona ejerce su derecho de acceso, la organización debe poder determinar qué datos existen sobre ella en audio, texto, metadatos y decisiones derivadas.
La presencia de terceros en la grabación no justifica negar el derecho de forma general: existen técnicas para proteger a esos terceros sin dejar de atender la solicitud.
Latencia: medir el turno completo
La experiencia de la persona que llama depende del tiempo que transcurre desde que termina de hablar hasta que oye una respuesta útil. Ese tiempo debe medirse por componentes y por percentiles:
- detección de fin de turno;
- transcripción final;
- recuperación de datos o llamada a herramienta;
- primera señal del modelo;
- primer audio sintetizado;
- respuesta completa.
El promedio oculta las llamadas lentas. Deben observarse el p50, el p95 y el p99: una respuesta rápida pero incorrecta no es calidad.
Para reducir la latencia percibida ayuda:
- transmitir el audio de forma incremental;
- usar modelos adecuados a la dificultad de cada turno;
- cachear información estable;
- poner timeout a las herramientas;
- mantener prompts y contexto compactos;
- dar una respuesta inicial breve seguida de detalle;
- precargar datos tras la autenticación.
Turnos, interrupciones y ruido
El agente debe gestionar el barge-in —que la persona lo interrumpa—, silencios, ruido de fondo, acentos, eco y llamadas desde móvil. Una interrupción tiene que detener la síntesis en curso y actualizar el estado de la conversación; de lo contrario, se ejecutan acciones basadas en una respuesta que la persona ya intentaba corregir.
Conviene probar de forma específica nombres, matrículas, direcciones, importes y códigos. Para los campos críticos se usa lectura de vuelta: «He entendido 150 euros, ¿es correcto?».
Seguridad y fraude
La voz no convierte a una persona en autenticada. La clonación de voz y las grabaciones impiden confiar solo en el timbre o la fluidez del habla. La autenticación debe apoyarse en factores y controles apropiados al riesgo de cada operación.
Entre las amenazas a vigilar en un agente de voz con IA, conviene incorporar prácticas de evaluación adversarial frente a:
- prompt injection verbal;
- instrucciones ocultas en ruido o audio reproducido;
- ingeniería social;
- acceso a herramientas sin autenticación previa;
- extracción de datos mediante preguntas sucesivas;
- abuso de llamadas y del coste asociado;
- clonación de voz;
- envenenamiento de memoria.
Los permisos se validan fuera del modelo. El agente no debe revelar datos ni ejecutar acciones solo porque una persona lo ordene con autoridad aparente.
Herramientas y confirmaciones
Cada herramienta debe tener esquema, permiso, límite e idempotencia. Leer una cita y cancelarla son operaciones distintas y deben tratarse como tales.
Antes de ejecutar una acción relevante, el agente debe resumir:
- qué se va a hacer;
- sobre qué registro;
- el importe o la fecha implicados;
- las consecuencias de la acción;
- cómo se puede corregir si hay un error.
La confirmación debe referirse siempre a la acción concreta. Un «sí» ambiguo no autoriza varias operaciones a la vez.
Escalado humano
El escalado a una persona es una función principal del sistema, no un fallo. Debe activarse por petición expresa, baja confianza del modelo, repetición, enfado, riesgo detectado, necesidad de accesibilidad, emergencia o herramienta no disponible.
La persona que recibe la llamada debe contar con contexto mínimo: identidad verificada, motivo de la escalada, resumen de la conversación, datos ya confirmados y pasos ya realizados. No debe obligarse a quien llama a repetir todo desde el principio.
Métricas de calidad
| Capa | Métrica |
|---|---|
| Voz | tasa de error por tipo de dato y entorno |
| Diálogo | resolución, repetición y abandono |
| Acción | exactitud, duplicados y reversión |
| Privacidad | grabaciones innecesarias y derechos ejercidos |
| Seguridad | intentos bloqueados e incidentes |
| Experiencia | tiempo, escalado y satisfacción |
| Coste | coste por tarea válida |
La tasa global debe segmentarse por idioma, acento, ruido de fondo, dispositivo y caso de uso. Un sistema que funciona peor para determinados grupos de personas requiere corrección antes de ampliar su despliegue.
Conjunto de evaluación
El conjunto de evaluación debe incluir audio realista, autorizado o sintético, representativo de la operativa real:
- ruido y eco;
- habla rápida y pausas;
- interrupciones;
- nombres y códigos;
- preguntas ambiguas;
- personas mayores o con dificultades de habla;
- intentos de manipulación;
- caída de herramientas;
- solicitudes fuera de alcance.
Cada caso del conjunto debe definir la transcripción esperada, la acción permitida, la respuesta correcta y si procede escalado.
Plan de 90 días
Días 1-30
- Elegir un caso de uso acotado.
- Mapear datos, permisos y consecuencias.
- Definir transparencia y plazos de conservación.
- Crear los primeros casos de evaluación.
Días 31-60
- Integrar telefonía, ASR, herramientas y TTS.
- Implantar autenticación, límites y trazas.
- Probar ruido, latencia, seguridad y privacidad.
- Diseñar el escalado humano.
Días 61-90
- Lanzar un piloto limitado y monitorizarlo.
- Revisar llamadas y corregir causas raíz.
- Ajustar umbrales de confianza y escalado.
- Ampliar el alcance solo tras superar las puertas de calidad.
Checklist
- Caso de uso y límites documentados.
- Información a las personas y base jurídica revisadas.
- Audio, texto y logs con plazos de conservación distintos.
- Proveedor y uso para entrenamiento controlados contractualmente.
- Campos críticos confirmados con lectura de vuelta.
- Autenticación resuelta fuera de la propia voz.
- Herramientas con permisos e idempotencia.
- Latencia medida por percentiles.
- Escalado con transferencia de contexto a la persona agente.
- Pruebas por ruido, idioma y grupo de usuarios.
Preguntas frecuentes
¿Hay que grabar todas las llamadas?
No. Debe existir una finalidad y una necesidad concretas. Puede procesarse la voz sin conservar el audio cuando el diseño del sistema lo permita.
¿La voz es un dato biométrico?
Es un dato personal si identifica a la persona o puede vincularse con ella. Se convierte en categoría biométrica especial cuando se trata técnicamente con el fin de identificar a la persona de forma unívoca.
¿Qué latencia es aceptable?
Depende del caso de uso y del canal. Debe medirse el turno completo y evitar silencios que rompan la conversación, sin sacrificar la exactitud por ganar velocidad.
¿Puede sustituir al equipo humano?
Debe diseñarse siempre con escalado. Existen casos ambiguos, sensibles o excepcionales que requieren intervención humana.
En Summum IA acompañamos la arquitectura, las pruebas, la privacidad y la operación continua de agentes de voz con IA. El objetivo es resolver llamadas con seguridad, no maximizar la autonomía a cualquier precio.