Une PME envisage d’utiliser l’IA pour répondre plus vite aux demandes de ses clients. Lors d’un essai, l’assistant formule une réponse impeccable et promet un remboursement sous cinq jours. Or, la politique de l’entreprise prévoit un examen du dossier et ne garantit aucun délai. Cet exemple fictif illustre un risque documenté par le NIST : un modèle peut présenter une information erronée avec assurance.
Choisir une tâche dont on peut vérifier le résultat
Commencez avec une question fréquente, comme « Comment demander un retour ? ». Donnez au système une politique approuvée et demandez un brouillon accompagné du passage qui justifie sa réponse. Une personne du soutien lit ce passage et décide de la suite. Pour le premier essai, utilisez des demandes fictives ou anonymisées, dans un outil approuvé par votre organisation.
Tester aussi les questions sans réponse
Constituez un petit jeu de demandes qui reflète le travail réel. Incluez une demande ordinaire, un cas à la limite de la politique, une question hors sujet et deux consignes qui se contredisent. Pour chaque cas, inscrivez d’avance le résultat attendu : réponse documentée, demande de précision ou transfert à une personne. Vous saurez ainsi si le système reconnaît les situations où il doit s’arrêter.
Mesurer la qualité avant le temps gagné
Faites relire les brouillons par l’équipe qui traite habituellement ces demandes. Comptez les engagements inventés, les références inexactes et les transferts correctement proposés. Mesurez ensuite le temps total, relecture et corrections comprises, et comparez-le à celui d’un agent travaillant avec la même politique. Si l’assistant gagne quelques secondes mais introduit une promesse contractuelle erronée, le processus doit être corrigé avant d’élargir le pilote.
Le résultat utile tient sur une page : le cas d’usage qui fonctionne, les erreurs qui persistent, la personne responsable de la révision et la décision de poursuivre ou d’arrêter.
Source : profil du NIST pour la gestion des risques de l’IA générative.
Vous avez un premier cas d’usage en tête ? Apportez une demande fictive et le document qui permettrait de juger la réponse.