Technique d'un assistant téléphonique IA : latence, reconnaissance vocale et interruptions

Au téléphone, le silence est un signal. Celui qui pose une question et n'entend toujours rien après un instant dit « Allô ? » ou répète sa phrase. C'est exactement là que commence le schéma d'erreur typique des assistants vocaux : l'appelant se met à parler au moment où la réponse du système démarre, les deux se taisent, les deux reprennent. Après deux ou trois moments de ce genre, la conversation a perdu son rythme.

Supposons qu'une entreprise teste d'abord un assistant au bureau, avec une voix claire, en Wi-Fi et dans une pièce calme. La démonstration convainc parce que rien de tout cela ne ressemble à un véritable appel. Dehors, les gens téléphonent depuis le chantier, depuis la voiture, avec un casque, avec un enfant en fond sonore. Ils parlent vite, interrompent leurs phrases et donnent des noms qu'aucun dictionnaire ne connaît.

Cette étude situe la technique qui se trouve derrière un assistant vocal de façon à ce que vous puissiez lire avec esprit critique les offres et les démonstrations. Il s'agit d'une analyse technique, non d'une documentation de projet, et elle ne cite donc volontairement aucune valeur mesurée issue de déploiements. Elle porte sur les mécanismes : où l'on perd du temps, où la compréhension échoue et quelles contre-mesures ont fait leurs preuves.

Dans sa conception classique, un assistant vocal comporte trois étapes. La reconnaissance vocale convertit l'audio en texte, un modèle de langage décide de la réponse, et la synthèse vocale la retransforme en son. Chaque étape prend du temps, et ces durées s'additionnent dans la pause que l'appelant entend. S'y ajoutent les trajets de transmission entre le réseau téléphonique, l'opérateur et les serveurs.

Il est important de noter que la pause totale ne se compose pas uniquement de temps de calcul. Le système doit d'abord reconnaître que l'appelant a terminé. Cette détection de fin de parole décide si l'on répond déjà après une brève respiration ou seulement après un silence plus long. Si elle est trop sensible, le système coupe la parole à l'interlocuteur. Si elle est trop lente, une pause apparaît que personne n'attribue au modèle, mais à l'entreprise.

Un deuxième défi est la compréhension dans de mauvaises conditions. Les appels sont transmis avec une bande passante limitée, le réseau mobile compresse en plus, et des bruits de fond comme le vent ou des machines recouvrent les consonnes. Or ce sont justement les consonnes qui portent l'information dans les noms et les chiffres. De « fünf » et « elf » ou de « Meier » et « Maier », on passe alors à une supposition.

Le troisième défi tient au dialogue lui-même. Les gens interrompent, acquiescent par des « mhm » et se corrigent en pleine phrase. Un assistant qui ne sait que parler et écouter à tour de rôle ressemble à un répondeur doté d'une fonction de lecture à voix haute. Une bonne technique doit pouvoir écouter et parler en même temps et décider ce qui relève de la perturbation et ce qui relève de l'intention.

À côté de la cascade, il existe des modèles qui reçoivent directement de l'audio et restituent de l'audio, sans l'étape intermédiaire par le texte. Ils promettent une intonation plus naturelle et des pauses plus courtes, car aucune transmission entre étapes n'est nécessaire. Les interjections et les interruptions peuvent aussi être traitées plus fluidement. Le prix à payer est un contrôle moindre : ce qui est dit exactement est plus difficile à vérifier au préalable.

La cascade est techniquement moins élégante, mais mieux pilotable. Le texte entre les étapes peut être journalisé, filtré et confronté à des règles avant d'être prononcé. C'est important là où un assistant ne doit pas inventer de prix ni faire de promesses. Vous pouvez en outre remplacer des composants individuels, par exemple changer la voix sans toucher au modèle.

L'architecture adaptée dépend de l'usage. Pour des conversations au déroulé clair, comme la prise de rendez-vous ou une demande de rappel, la cascade avec un bon streaming est généralement maîtrisable et traçable. Pour des conversations libres et plus longues, un modèle voix à voix peut sembler nettement plus naturel. La décision devrait reposer sur le schéma de conversation et non sur l'argument marketing relatif à l'architecture.

Des formes mixtes sont également possibles. Certaines architectures utilisent côté écoute un modèle de reconnaissance rapide et ne font revérifier que les passages difficiles par un modèle plus grand. D'autres placent en amont, pour les annonces fixes comme l'accueil et la mention relative à la protection des données, des enregistrements générés à l'avance, qui démarrent sans attente et libèrent du temps de calcul pour la première vraie réponse.

Une réserve sobre : le paysage des modèles évolue vite. Les affirmations sur le fournisseur qui offre actuellement la latence la plus faible sont périmées en quelques mois. Ce qui dure, c'est la méthode : faire passer les mêmes conversations de test enregistrées par les deux architectures et comparer les pauses, les erreurs de compréhension et la maîtrise.

Le levier le plus efficace contre les silences est le streaming. Au lieu d’attendre que chaque étape soit terminée, chacune transmet immédiatement son résultat intermédiaire. La reconnaissance vocale fournit en continu des textes partiels, le modèle de langage commence à répondre dès qu’il en sait assez, et la synthèse vocale prononce la première phrase pendant que la deuxième est encore en cours d’élaboration. Les durées se chevauchent au lieu de s’additionner.

Une astuce que les humains utilisent eux-mêmes aide aussi : un court son de confirmation ou une phrase de transition pendant que le système travaille. « Un instant, je regarde » permet de combler une consultation de rendez-vous pour laquelle il faut interroger un agenda. L’essentiel est d’employer ces phrases d’attente avec parcimonie et honnêteté. Celui qui dit « Un instant » après chaque question fait penser à une file d’attente, et l’astuce s’use.

Une autre mesure consiste à raccourcir les chemins de calcul. Plus la liaison téléphonique, la reconnaissance et le modèle fonctionnent près les uns des autres, moins il y a de trajet réseau. La longueur du prompt système et le nombre d’appels d’outils par réponse influent eux aussi sur la pause. Un assistant qui interroge trois systèmes pour chaque renseignement sera plus lent qu’un assistant qui garde à disposition les quelques informations nécessaires.

L’objectif n’est pas un chiffre précis, mais un rythme cohérent. Qu’une pause soit perçue comme naturelle ou comme gênante dépend aussi du type de question : après une simple question oui-non, on attend une réponse immédiate ; après une question de calcul, on tolère un temps de réflexion.

Le terme technique pour les interruptions est barge-in. Pendant que l’assistant parle, la reconnaissance reste active. Si l’appelant prend la parole, la diffusion s’arrête et le système traite ce qui a été dit. Cela paraît simple, mais c’est délicat, car tous les bruits ne sont pas des interruptions. Une toux, un camion qui passe ou un « mhm » ne doivent pas couper l’annonce.

En pratique, les systèmes résolvent cela avec des seuils. Ce n’est que lorsqu’une parole reconnaissable est présente pendant une courte durée que cela compte comme une interruption. Un simple mot d’assentiment comme « oui » ou « exactement » peut être ignoré volontairement ou interprété comme un accord. Ce réglage fin est différent pour chaque cas d’usage : sur un chantier, il faut des filtres plus robustes que dans un bureau calme.

L’écho est un écueil à part. Lorsque l’appelant téléphone en haut-parleur, le système entend sa propre voix sur le canal de retour et peut s’interrompre lui-même. L’annulation d’écho fait donc partie de l’équipement de base de la liaison téléphonique. Il faut la provoquer volontairement lors des tests, par exemple avec un kit mains libres en voiture.

S’y ajoute la question du temps que le système attend après le dernier mot. Quand on dicte un numéro de téléphone, on fait entre les groupes de chiffres des pauses plus longues que dans une phrase ordinaire. Un assistant avec un délai d’attente fixe coupe alors la personne au milieu du numéro. Mieux vaut une détection de fin de parole qui tient compte de l’état de la conversation : si l’on vient de demander un numéro, le système attend plus longtemps ; pour une question oui-non, il répond rapidement.

Après une interruption, le système doit savoir ce que l’appelant a encore entendu. Si la phrase donnant le prix a été interrompue à mi-chemin, le modèle ne doit pas supposer que l’information est passée. Les bonnes implémentations retiennent jusqu’à quel mot on a parlé et reprennent à partir de là.

Techniquement, un assistant peut se concevoir en couches que l’on peut vérifier séparément. En bas se trouve la liaison téléphonique, qui prend les appels et transmet l’audio. Au-dessus vient le traitement de la parole, avec la reconnaissance et la synthèse. Puis le pilotage du dialogue, avec le modèle de langage, les règles et l’état de la conversation. En haut se trouvent les connexions à l’agenda, au standard téléphonique ou au CRM, qui fournissent des renseignements et enregistrent des rendez-vous.

L’avantage de cette vision : les erreurs peuvent être attribuées à une couche. Si l’assistant entend « Müller » au lieu de « Möller », la cause se trouve dans la reconnaissance ou dans l’audio, pas dans le modèle. Si la réponse est juste mais mal accentuée, la cause est la synthèse. Et si le système invente un rendez-vous, la cause est le pilotage, qui n’a pas rendu contraignantes les données de l’agenda.

Pour la qualité, compte aussi ce que le système ne doit pas faire de lui-même. Le pilotage du dialogue doit connaître des limites strictes : ne donner aucun prix ferme, ne faire aucune déclaration juridique ou médicale, transférer à un humain en cas de doute. Ces limites relèvent de règles et de contrôles, pas seulement d’un prompt, car un prompt est une demande, pas une barrière.

Enfin, la journalisation et les points de mesure doivent figurer dans chaque couche. Les horodatages aux transitions montrent où naissent les silences. Les textes de reconnaissance conservés permettent de vérifier après coup les incompréhensions. Les enregistrements d’appels touchent à la protection des données et au consentement. Vous devriez clarifier les règles correspondantes avant le lancement avec votre délégué à la protection des données ou un conseil ; ceci est une orientation et non un conseil juridique.

Les dialectes et les accents ne sont pas un sujet marginal, mais le quotidien au téléphone. La reconnaissance vocale moderne comprend étonnamment bien la plupart des accents régionaux, mais les erreurs augmentent avec un dialecte prononcé, une élocution rapide ou un mélange de langues. Une affirmation générale sur les taux de reconnaissance ne serait pas sérieuse, car ils dépendent du fournisseur, de la variante linguistique et de la qualité audio. La seule chose qui compte, c’est le test avec les voix de vos propres appelants.

Trois choses aident face au bruit. La suppression du bruit nettoie l’audio avant la reconnaissance, ce qui fonctionne bien avec les bruits continus comme les moteurs, moins bien avec des voix changeantes en arrière-plan. Ensuite, le système peut redemander honnêtement : « Je vous entends mal, pouvez-vous répéter ? » Enfin, en cas de mauvaise liaison persistante, il devrait proposer tôt un rappel plutôt que de tourmenter la conversation.

Les noms propres, les rues, les numéros de téléphone et les numéros de rue sont particulièrement sujets aux erreurs. Une boucle de confirmation fixe a fait ses preuves : le système répète l’information sous une autre forme et la fait confirmer. Pour les chiffres, il les dit un par un ; pour les noms, il propose l’épellation, y compris à l’aide de l’alphabet d’épellation allemand si l’appelant y est disposé.

Un recoupement avec des données que le système possède déjà est également précieux. Si quelqu’un cite une rue, on peut la vérifier par rapport à une liste de localités. Pour les clients existants, le numéro d’appel peut suggérer le nom. Cela évite des questions, mais comporte un piège : prendre une supposition pour un fait confirme les erreurs. Le recoupement doit donc toujours être formulé comme une question et non comme une affirmation.

On peut raisonnablement attendre d’un assistant bien conçu qu’il traite de façon fiable les appels ayant un objectif clair : demander un rendez-vous, convenir d’un rappel, indiquer les horaires d’ouverture, enregistrer une demande. Plus l’objectif de la conversation est étroit, meilleurs sont les résultats. Là où un conseil libre est demandé, le taux d’erreur augmente, et le chemin vers un humain doit être court.

L’utilité se mesure avec des indicateurs que vous relevez vous-même. Il s’agit notamment du taux de conversations qui atteignent leur objectif sans transfert, du nombre d’abandons après la première réponse, de la fréquence des demandes de répétition pour incompréhension et de la qualité des informations recueillies, par exemple pour les noms et les numéros d’appel. S’y ajoute la pause entre la fin de l’énoncé de l’appelant et le début de la réponse, mesurée dans les journaux.

Il n’existe aucun engagement sérieux sur les taux de reconnaissance, la durée des pauses ou la satisfaction avant le test. Trop de facteurs échappent au système : qualité du réseau, terminal, environnement, façon de parler. La technologie vocale s’améliore certes en continu, mais les améliorations arrivent dans les briques, pas automatiquement dans votre entreprise. Vos résultats ne changent que si vous mesurez à nouveau et réajustez.

Le choix de la voix fait également partie de cette réflexion. Une voix qui parle trop vite ou de façon trop solennelle provoque plus de demandes de répétition, même si la reconnaissance fonctionne parfaitement. Ne choisissez donc pas la voix selon l’impression sonore en studio, mais selon l’intelligibilité par réseau mobile. Écoutez les candidates avec un profil de haut-parleur de téléphone basique et un léger bruit, et faites noter par des personnes de votre entourage les chiffres et les noms de rues lus par la voix.

Un dernier point honnête : un assistant ne remplace pas une relation. Les appelants contrariés ou ayant une demande délicate veulent un humain. Le succès se voit aussi à la qualité du transfert, pas seulement au nombre d’appels que l’assistant conclut seul.

Les phrases de démonstration prouvent peu, car elles sont prononcées comme le système aime les entendre. Les tests menés avec des modèles de conversation de votre propre entreprise sont probants. Rassemblez pour cela des demandes typiques du quotidien, de préférence à partir de notes, de fiches de rappel et des souvenirs des collaborateurs. Pour des raisons de protection des données, de vrais enregistrements ne devraient être utilisés qu’avec consentement et finalité déterminée, sinon ce sont les collaborateurs qui rejouent les appels.

Un bon jeu de test comprend délibérément des cas difficiles : des appelants avec un dialecte, avec du bruit de fond, en mains libres, quelqu’un qui change de sujet au milieu d’une phrase, quelqu’un qui donne un long nom composé, quelqu’un qui dit « Un instant, je dois vérifier ». Tout aussi importantes sont les conversations que l’assistant ne doit pas mener du tout, comme les réclamations ou les questions hors de sa mission.

On évalue non seulement si un bon résultat est obtenu à la fin, mais aussi le chemin parcouru. Combien de fois a-t-il fallu redemander, où est apparue une pause notable, à quel endroit a-t-on interrompu à tort ? Une conversation qui réussit mais perd deux fois le rythme est un constat, pas un succès.

Une vérification pratique concerne la reproductibilité. Après un test, ne modifiez qu’une seule chose, par exemple le délai d’attente de la détection de fin de parole, et rejouez les mêmes conversations. C’est la seule façon de voir si un changement aide. Qui tourne plusieurs boutons à la fois ne sait pas ensuite ce qui a agi, et risque que l’amélioration et la dégradation se masquent mutuellement.

Les tests se poursuivent après le lancement. Écouter chaque semaine un échantillon de conversations est la mesure de qualité la plus efficace qui existe. C’est là que naissent les meilleures améliorations : un terme technique ajouté, une confirmation adaptée, une proposition de rappel plus précoce.

Un assistant vocal est bon lorsqu’il se comporte discrètement dans la conversation : pas de longs silences, pas de coupures de parole, pas de noms mal entendus qui ne se remarquent qu’à la fin. Derrière cela, il y a moins de magie que de technique soignée et beaucoup de travail de vérification. Celui qui le comprend peut mieux comparer les offres et sonder la substance des promesses.

La voix en fait partie, mais ce n’est pas l’essentiel. Une voix calme, clairement compréhensible, avec une intonation discrète, fonctionne mieux au téléphone qu’une imitation qui feint l’humanité. Dites aux appelants qu’ils parlent à un assistant numérique. C’est honnête et, selon notre appréciation, largement accepté lorsque la conversation fonctionne ensuite. Vous devriez clarifier au préalable les obligations légales d’information.

Celui qui achète ou fait développer cette technologie devrait poser trois questions. Comment la pause est-elle mesurée, et à quel endroit du système ? Comment l’assistant se comporte-t-il face aux interruptions, à l’écho et au bruit ? Et que se passe-t-il lorsqu’il ne comprend pas quelque chose, après la deuxième tentative ? Des réponses concrètes et vérifiables plaident pour un système mûr. Des réponses évasives qui ne mettent en avant que le naturel sont un signal d’alerte.

L’étape suivante est modeste : notez dix appels typiques de votre entreprise, avec les détails les plus difficiles, et faites-les rejouer. En une heure, vous verrez quels problèmes la technologie doit résoudre. Nous vous aidons volontiers à en faire un plan de test et à évaluer ensemble si un assistant vocal est une bonne idée pour votre entreprise, et où ce n’est pas le cas.