Tecnología del asistente telefónico con IA: latencia, reconocimiento de voz e interrupciones

Por teléfono, el silencio es una señal. Quien hace una pregunta y tras un momento sigue sin oír nada, dice «¿Hola?» o repite la frase. Justo ahí empieza el patrón de error típico de los asistentes de voz: el llamante se pone a hablar mientras la respuesta del sistema acaba de arrancar, ambos callan, ambos vuelven a empezar. Tras dos o tres momentos así, la conversación ha perdido su ritmo.

Supongamos que una empresa prueba primero un asistente en la oficina, con voz clara, por wifi y en una sala tranquila. La demostración convence porque nada de eso se parece a una llamada real. Fuera, la gente llama desde la obra, desde el coche, con auriculares, con un niño de fondo. Hablan deprisa, interrumpen las frases y dicen nombres que ningún diccionario conoce.

Este estudio sitúa la tecnología que hay detrás de un asistente de voz de modo que pueda leer con espíritu crítico ofertas y demostraciones. Es un análisis técnico, no documentación de un proyecto, y por eso no ofrece a propósito valores de medición procedentes de implantaciones. Trata de los mecanismos: dónde se pierde tiempo, dónde fracasa la comprensión y qué contramedidas han dado buen resultado.

En el diseño clásico, un asistente de voz consta de tres etapas. El reconocimiento de voz convierte el audio en texto, un modelo de lenguaje decide qué responder y la síntesis de voz lo convierte de nuevo en sonido. Cada etapa necesita tiempo, y los tiempos se suman en la pausa que oye el llamante. A ello se añaden los trayectos de transmisión entre la red telefónica, el proveedor y los servidores.

Es importante que la pausa total no consiste solo en tiempo de cálculo. Primero el sistema debe reconocer que el llamante ha terminado. Esta detección del final del habla decide si se responde ya tras una breve pausa para respirar o solo tras un silencio más largo. Si es demasiado sensible, el sistema interrumpe al interlocutor. Si es demasiado lenta, surge una pausa que nadie atribuye al modelo, sino a la empresa.

Un segundo reto es la comprensión en malas condiciones. Las llamadas se transmiten con ancho de banda limitado, la telefonía móvil comprime aún más y los ruidos de fondo, como el viento o las máquinas, tapan las consonantes. Precisamente las consonantes portan la información en nombres y cifras. De «fünf» y «elf» o de «Meier» y «Maier» se pasa entonces a una conjetura.

El tercer reto está en el propio diálogo. Las personas interrumpen, asienten con un «mhm» y se corrigen en mitad de la frase. Un asistente que solo puede hablar y escuchar por turnos parece un contestador con función de lectura en voz alta. Una buena tecnología debe poder escuchar y hablar al mismo tiempo y decidir qué es una interferencia y qué es una intención.

Además de la cascada hay modelos que reciben audio directamente y emiten audio, sin el paso intermedio por el texto. Prometen una entonación más natural y pausas más cortas, porque no hace falta traspaso entre etapas. También las interjecciones y las interrupciones pueden tratarse con más fluidez. El precio es un menor control: lo que se dice exactamente es más difícil de comprobar de antemano.

La cascada es técnicamente menos elegante, pero más controlable. El texto entre las etapas puede registrarse, filtrarse y contrastarse con reglas antes de pronunciarse. Eso es importante allí donde un asistente no debe inventar precios ni hacer promesas. Además, pueden sustituirse componentes individuales, por ejemplo cambiar la voz sin tocar el modelo.

Qué arquitectura encaja depende del uso. Para conversaciones con un desarrollo claro, como la toma de citas o la petición de devolución de llamada, la cascada con un buen streaming suele ser manejable y trazable. Para conversaciones libres y más largas, un modelo de voz a voz puede resultar notablemente más natural. La decisión debería basarse en el patrón de conversación y no en la afirmación de marketing sobre la arquitectura.

También son posibles las formas mixtas. Algunas arquitecturas utilizan para la escucha un modelo de reconocimiento rápido y dejan que un modelo mayor revise solo los pasajes difíciles. Otras anteponen, para locuciones fijas como el saludo y el aviso de protección de datos, grabaciones generadas de antemano que arrancan sin espera y liberan tiempo de cálculo para la primera respuesta real.

Una salvedad sobria: el panorama de los modelos cambia rápido. Las afirmaciones sobre qué proveedor ofrece en este momento la menor latencia caducan en cuestión de meses. Lo que perdura es el método: pasar las mismas conversaciones de prueba grabadas por ambas arquitecturas y comparar pausas, errores de comprensión y capacidad de control.

La palanca más eficaz contra las pausas es el streaming. En lugar de esperar a que cada etapa termine, cada una pasa su resultado parcial de inmediato. El reconocimiento de voz entrega texto parcial de forma continua, el modelo de lenguaje empieza a responder en cuanto sabe lo suficiente y la síntesis de voz pronuncia la primera frase mientras la segunda aún se está generando. Los tiempos se solapan en lugar de sumarse.

Además ayuda un truco que las personas usamos de forma natural: un breve sonido de confirmación o una frase de transición mientras el sistema trabaja. «Un momento, lo miro» salva una consulta de citas en la que hay que preguntar a un calendario. Lo importante es usar estos recursos con moderación y con honestidad. Quien dice «Un momento» tras cada pregunta suena a línea de espera, y el truco pierde efecto.

Otra medida consiste en acortar los recorridos de cálculo. Cuanto más cerca funcionen la conexión telefónica, el reconocimiento y el modelo, menos trayecto de red habrá. También influyen en la pausa la longitud del prompt del sistema y el número de llamadas a herramientas por respuesta. Un asistente que consulta tres sistemas para cada dato será más lento que uno que tiene a mano los pocos datos necesarios.

El objetivo no es una cifra concreta, sino un ritmo coherente. Que una pausa se perciba como natural o como molesta depende también del tipo de pregunta: tras una simple pregunta de sí o no, la gente espera una respuesta inmediata; tras una pregunta de cálculo, tolera que se piense un momento.

El término técnico para las interrupciones es barge-in. Mientras el asistente habla, el reconocimiento sigue activo. Si la persona que llama empieza a hablar, la salida se detiene y el sistema procesa lo que se ha dicho. Suena sencillo, pero es delicado, porque no todo ruido es una interrupción. Una tos, un camión que pasa o un «mhm» no deben cortar el mensaje.

En la práctica, los sistemas lo resuelven con umbrales. Solo cuando hay voz reconocible durante un breve lapso se considera una interrupción. Una simple palabra de asentimiento como «sí» o «exacto» puede ignorarse a propósito o interpretarse como conformidad. Este ajuste fino es distinto para cada ámbito: en una obra hacen falta filtros más robustos que en una oficina tranquila.

El eco es un obstáculo aparte. Si quien llama usa el altavoz, el sistema oye su propia voz en el canal de retorno y puede interrumpirse a sí mismo. Por eso la cancelación de eco forma parte del equipamiento básico de la conexión telefónica. Conviene provocarla a propósito en las pruebas, por ejemplo con el manos libres de un coche.

A ello se suma la cuestión de cuánto espera el sistema tras la última palabra. Quien dicta un número de teléfono hace entre los grupos de cifras pausas más largas que en una frase normal. Un asistente con un tiempo de espera fijo le corta a mitad del número. Es mejor una detección de fin de turno que tenga en cuenta el estado de la conversación: si se acaba de pedir un número, el sistema espera más; ante una pregunta de sí o no, responde con rapidez.

Tras una interrupción, el sistema debe saber qué llegó a oír la persona. Si la frase con el precio se cortó por la mitad, el modelo no puede suponer que la información llegó. Las buenas implementaciones recuerdan hasta qué palabra se llegó a pronunciar y retoman desde ahí.

Técnicamente, un asistente puede pensarse en capas que se pueden comprobar por separado. Abajo está la conexión telefónica, que atiende las llamadas y entrega el audio. Encima se sitúa el procesamiento de voz, con reconocimiento y síntesis. Sigue el control del diálogo, con el modelo de lenguaje, las reglas y el estado de la conversación. Arriba están las conexiones con el calendario, la centralita o el CRM, que aportan información y registran citas.

La ventaja de esta visión: los errores pueden atribuirse a una capa. Si el asistente oye «Müller» en lugar de «Möller», la causa está en el reconocimiento o en el audio, no en el modelo. Si la respuesta es correcta pero con la entonación equivocada, la causa está en la síntesis. Y si el sistema se inventa una cita, la causa está en el control, que no trató como vinculantes los datos del calendario.

Para la calidad también cuenta lo que el sistema no debe hacer por su cuenta. El control del diálogo debe conocer límites firmes: no dar precios vinculantes, no hacer afirmaciones jurídicas ni médicas y pasar la llamada a una persona ante la duda. Estos límites pertenecen a reglas y comprobaciones, no solo a un prompt, porque un prompt es una petición, no una barrera.

Por último, el registro y los puntos de medición deben estar en cada capa. Las marcas de tiempo en las transiciones muestran dónde surgen las pausas. Los textos de reconocimiento guardados permiten revisar a posteriori los malentendidos. Las grabaciones de llamadas afectan a la protección de datos y al consentimiento. Debería aclarar las normas al respecto antes del lanzamiento con su delegado de protección de datos o con un asesor; esto es una orientación y no asesoramiento jurídico.

Los dialectos y los acentos no son un tema marginal, sino el día a día al teléfono. El reconocimiento de voz moderno entiende sorprendentemente bien la mayoría de los acentos regionales, pero los errores aumentan con un dialecto marcado, con el habla rápida o con mezcla de idiomas. Una afirmación general sobre tasas de reconocimiento no sería seria, porque dependen del proveedor, de la variante lingüística y de la calidad del audio. Lo único que cuenta es la prueba con las voces de sus propios clientes.

Con el ruido ayudan tres cosas. La supresión de ruido limpia el audio antes del reconocimiento, lo que funciona bien con ruidos constantes como motores, pero menos con voces cambiantes de fondo. En segundo lugar, el sistema puede preguntar con honestidad: «Le oigo mal, ¿podría repetirlo?». En tercer lugar, ante una conexión que sigue siendo mala, debería ofrecer pronto una devolución de llamada en lugar de alargar la conversación.

Son especialmente propensos a errores los nombres propios, las calles, los números de teléfono y los números de portal. Aquí funciona bien un bucle de confirmación fijo: el sistema repite el dato de otra forma y pide que se confirme. Con los números, los dice cifra por cifra; con los nombres, ofrece deletrearlos, también con ayuda del alfabeto de deletreo alemán si la persona está dispuesta.

También es valioso contrastar con datos que el sistema ya tiene. Si alguien menciona una calle, puede comprobarse con una lista de localidades. En clientes existentes, el número de teléfono puede sugerir el nombre. Esto ahorra preguntas, pero encierra una trampa: quien toma una suposición como un hecho confirma errores. Por eso el contraste debe formularse siempre como pregunta y no como afirmación.

Es realista esperar que un asistente bien construido gestione de forma fiable las llamadas con un objetivo claro: solicitar una cita, acordar una devolución de llamada, indicar el horario, recoger una consulta. Cuanto más acotado sea el objetivo de la conversación, mejores serán los resultados. Donde se requiere asesoramiento libre, la tasa de errores sube y el camino hacia una persona debe ser corto.

El beneficio puede medirse con magnitudes que usted mismo recoja. Entre ellas, la proporción de conversaciones que alcanzan su objetivo sin traspaso, el número de abandonos tras la primera respuesta, la frecuencia de repreguntas por no haber entendido y la calidad de los datos recogidos, por ejemplo en nombres y números de teléfono. A ello se añade la pausa entre el final de lo que dice la persona y el inicio de la respuesta, medida en los registros.

No hay una promesa seria sobre tasas de reconocimiento, duración de las pausas o satisfacción antes de la prueba. Demasiados factores quedan fuera del sistema: calidad de la red, terminal, entorno, forma de hablar. La tecnología de voz mejora de forma continua, pero las mejoras llegan a los componentes, no automáticamente a su negocio. Sus resultados solo cambian cuando vuelve a medir y reajusta.

La elección de la voz también forma parte de este análisis. Una voz que habla demasiado rápido o demasiado solemne provoca más repreguntas, aunque el reconocimiento funcione a la perfección. Por eso no elija la voz por la impresión sonora en el estudio, sino por su inteligibilidad por red móvil. Escuche a los candidatos con el perfil de un altavoz sencillo de móvil y con un leve ruido, y pida a personas de su entorno que anoten números y nombres de calles que lea la voz.

Un punto más, con honestidad: un asistente no sustituye a una relación. Las personas que están enfadadas o que tienen un asunto delicado quieren hablar con una persona. El éxito se ve también en lo bien que funciona el traspaso, no solo en cuántas llamadas cierra el asistente por sí solo.

Las frases de demostración demuestran poco, porque se pronuncian como al sistema le gusta oírlas. Son concluyentes las pruebas con patrones de conversación de su propio negocio. Para ello, reúna consultas típicas del día a día, a ser posible a partir de notas, avisos de devolución de llamada y la memoria del personal. Por motivos de protección de datos, las grabaciones reales solo deben usarse con consentimiento y con finalidad determinada; de lo contrario, el personal reproduce las llamadas.

Un buen conjunto de pruebas incluye a propósito casos difíciles: personas con dialecto, con ruido de fondo, con manos libres, alguien que cambia de tema a mitad de frase, alguien que dice un apellido compuesto largo, alguien que dice «Un momento, tengo que mirarlo». Igual de importantes son las conversaciones que el asistente no debe mantener, como las reclamaciones o las preguntas ajenas a su cometido.

Se evalúa no solo si al final hay un resultado correcto, sino también el camino hasta él. ¿Cuántas veces hubo que repreguntar, dónde surgió una pausa llamativa, en qué punto se interrumpió por error? Una conversación que sale bien pero que pierde el ritmo dos veces es un hallazgo, no un éxito.

Una comprobación práctica se refiere a la repetibilidad. Tras una prueba, cambie solo una cosa, por ejemplo el tiempo de espera de la detección de fin de turno, y vuelva a reproducir las mismas conversaciones. Solo así verá si un cambio ayuda. Quien gira varios mandos a la vez no sabe después qué ha funcionado y corre el riesgo de que la mejora y el empeoramiento se oculten mutuamente.

Las pruebas continúan tras el lanzamiento. Escuchar cada semana una muestra de conversaciones es la medida de calidad más eficaz que existe. Ahí surgen las mejores mejoras: un término técnico añadido, una confirmación ajustada, una propuesta de devolución de llamada más temprana.

Un asistente de voz es bueno cuando se comporta con discreción en la conversación: sin pausas largas, sin interrumpir, sin nombres mal oídos que solo se detectan al final. Detrás hay menos magia que técnica cuidadosa y mucho trabajo de comprobación. Quien lo entiende puede comparar mejor las ofertas y examinar la sustancia de las promesas.

La voz forma parte, pero no es lo principal. Una voz tranquila y claramente comprensible, con una entonación discreta, funciona mejor por teléfono que una imitación que finge humanidad. Dígales a quienes llaman que hablan con un asistente digital. Es honesto y, según nuestra valoración, se acepta ampliamente si la conversación funciona. Debería aclarar de antemano las obligaciones legales de información.

Quien compre o encargue esta tecnología debería hacer tres preguntas. ¿Cómo se mide la pausa y en qué punto del sistema? ¿Cómo se comporta el asistente ante interrupciones, eco y ruido? ¿Y qué ocurre cuando no entiende algo, tras el segundo intento? Las respuestas concretas y verificables hablan a favor de un sistema maduro. Las respuestas evasivas que solo subrayan la naturalidad son una señal de alarma.

El siguiente paso es pequeño: anote diez llamadas típicas de su negocio, con los detalles más difíciles, y haga que se reproduzcan. En una hora verá qué problemas debe resolver la tecnología. Le ayudamos con gusto a convertirlo en un plan de pruebas y a valorar juntos si un asistente de voz es una buena idea para su negocio y dónde no lo es.