Aller au contenu
← Idées

Seuils de confiance en classification par IA : quand accepter, examiner ou rejeter

Définissez les seuils de confiance selon le coût de chaque erreur, orientez les cas incertains vers une vérification et déterminez comment mesurer et actualiser la politique.

Schéma d’un flux de classification par IA répartissant les résultats entre acceptation automatique, examen humain et réorientation.

Une classification automatique ne devrait pas être acceptée uniquement parce que le modèle lui attribue un score élevé. Ce score exprime une estimation du système, et non la garantie que la catégorie est correcte ou que la décision convient au processus. Pour décider de la suite à donner à chaque résultat, il faut combiner la qualité de la prédiction, le coût d’une erreur, la possibilité d’un examen et les conséquences opérationnelles.

Un cadre pratique répartit les résultats entre trois voies : l’acceptation automatique, l’examen humain et le rejet ou l’orientation vers un processus alternatif. Les limites entre ces voies peuvent varier selon la catégorie et évoluer dans le temps. L’objectif n’est pas de maximiser l’automatisation à tout prix, mais d’automatiser les cas suffisamment sûrs et de rendre visibles ceux qui nécessitent une attention particulière.

Un score de confiance n’est pas une décision

Un score de confiance n’est pas une décision

Les classificateurs peuvent renvoyer une catégorie et un score associé. Toutefois, un score de 0,9 ne signifie pas nécessairement que le résultat a 90 % de chances d’être correct dans le contexte d’utilisation considéré. Son interprétation dépend de la manière dont le modèle a été entraîné et évalué, de la représentativité des données et du calibrage des scores.

En outre, un même score peut correspondre à des risques différents. Classer une demande d’information dans la catégorie « générale » plutôt que « facturation » peut entraîner un léger retard ; classer une demande urgente comme une demande ordinaire peut avoir des conséquences plus importantes. C’est pourquoi il est préférable de ne pas fixer un seuil unique pour toutes les classes sans avoir d’abord analysé le coût de chaque type d’erreur.

Avant d’automatiser, vérifiez ce que signifie le score disponible, comment le modèle se comporte sur des données représentatives et s’il peut s’abstenir lorsqu’il ne trouve pas de réponse suffisamment claire. Si le score n’est pas calibré, utilisez-le comme un indicateur de classement ou de priorisation, et non comme une probabilité exacte.

Calculez le coût des erreurs pour chaque catégorie

Pour chaque classe, comparez deux types d’erreurs : le faux positif, lorsque le système attribue une catégorie qui ne convient pas, et le faux négatif, lorsqu’il ne détecte pas une catégorie qui aurait dû être attribuée. Dans une classification multiclasse, précisez quelles confusions sont réellement préjudiciables : toutes les catégories incorrectes n’ont pas le même impact.

Une matrice de confusion par catégorie aide à repérer les erreurs fréquentes, mais les métriques ne remplacent pas l’analyse du flux de travail. Demandez aux équipes opérationnelles ce qui se passe après l’attribution de chaque étiquette : une communication est-elle envoyée ? Un dossier est-il affecté à une équipe ? Une priorité est-elle déclenchée ? Un document est-il archivé ? Consignez les conséquences concrètes, comme le travail à refaire, les retards, le non-respect d’une procédure ou les risques pour la personne concernée, sans supposer que chaque erreur a un coût monétaire connu.

  • Erreurs réversibles et à faible impact : une automatisation plus étendue peut être raisonnable si une procédure simple permet de les corriger.
  • Erreurs difficiles à détecter ou à corriger : elles nécessitent des seuils plus prudents et des contrôles supplémentaires.
  • Classes aux conséquences importantes : elles peuvent nécessiter un examen humain, même lorsque les scores sont élevés, selon la politique du processus.

On obtient ainsi une politique par classe : quelles erreurs sont tolérées, lesquelles imposent un examen et lesquelles obligent à suspendre ou à réorienter l’automatisation.

Répartissez les résultats entre accepter, examiner et rejeter

Définissez deux seuils de score plutôt qu’un seul. Au-dessus du seuil supérieur, le système peut proposer une acceptation automatique ; entre les deux seuils, le cas est soumis à un examen ; sous le seuil inférieur, la prédiction automatique est rejetée ou le cas est orienté vers une autre voie. Ici, « rejeter » signifie ne pas utiliser la classification comme décision finale, et non écarter la demande de la personne.

Les seuils ne doivent pas nécessairement être identiques pour toutes les classes. Si confondre deux catégories entraîne des conséquences différentes, il peut être nécessaire de prévoir des seuils distincts ou des règles spécifiques à ces confusions. On peut également exiger une condition supplémentaire, par exemple que la catégorie la plus probable devance la deuxième d’une marge minimale. Cet écart peut aider à repérer les résultats ambigus, mais il doit être évalué à partir des données du flux de travail concerné.

Décrivez clairement chaque voie : qui peut corriger un résultat, ce qui se passe lorsque le système ne répond pas et comment la décision finale est enregistrée. Un résultat associé à un faible niveau de confiance doit avoir une destination opérationnelle définie ; à défaut, l’équipe finira par inventer des exceptions au cas par cas.

Calibrez le système à l’aide d’exemples représentatifs et vérifiés

Réunissez des exemples qui reflètent l’utilisation réelle : catégories courantes et rares, textes courts et longs, formats variés, cas ambigus et erreurs de saisie prévisibles. Incluez des échantillons provenant des canaux et des groupes qui alimenteront le système. Un ensemble composé uniquement de cas faciles peut donner une impression de performance supérieure à celle obtenue en production.

Pour chaque exemple, consignez l’étiquette correcte selon un critère convenu et définissez une méthode pour résoudre les désaccords. Séparez les données utilisées pour ajuster la politique de celles qui sont réservées à sa vérification. Pour chaque seuil envisagé, mesurez au minimum le nombre de cas qui seraient acceptés automatiquement, la proportion de ces cas qui est correcte pour chaque classe et le nombre de cas qui nécessiteraient un examen. Évaluez également les erreurs en fonction de leur impact opérationnel.

  1. Définissez les classes et les conséquences de chaque erreur avec les responsables du processus.
  2. Constituez un échantillon représentatif, vérifiez ses étiquettes et résolvez les désaccords.
  3. Testez plusieurs seuils et calculez la précision, la couverture automatique et la charge d’examen pour chaque classe.
  4. Choisissez la politique qui répond aux exigences de risque et de capacité opérationnelle, et pas seulement à une métrique agrégée.
  5. Validez ce choix sur des données distinctes avant de l’appliquer en production.

Le cadre de gestion des risques liés à l’IA du NIST constitue une référence pour organiser l’identification, l’évaluation et la gestion des risques. Il ne fournit pas de seuil universel à reprendre tel quel : la décision doit tenir compte du contexte, des données et de l’impact du système concerné.

Faites de l’examen humain une partie intégrante du produit

L’examen n’est pas une exception technique que l’on résout en envoyant des cas dans une boîte de réception. Définissez qui examine les cas, quelles informations sont nécessaires, le temps dont la personne dispose et les actions qu’elle peut entreprendre. Présentez la catégorie suggérée et le contexte pertinent, tout en permettant de la corriger, de demander des informations ou de faire remonter le cas lorsque la politique l’exige.

Enregistrez l’étiquette finale et, si possible, le motif de la correction. Ces données permettent de repérer les confusions récurrentes et de préparer des améliorations ; elles ne doivent pas être automatiquement intégrées à l’entraînement sans contrôles de qualité. Si les personnes chargées de l’examen n’appliquent pas les mêmes critères, leurs décisions risquent d’ajouter du bruit au lieu de le réduire.

Surveillez également la charge de travail : un taux d’examen très élevé peut transformer l’automatisation en goulot d’étranglement. Si le volume dépasse la capacité prévue, établissez les priorités selon l’impact, l’urgence ou l’ancienneté, et vérifiez si le modèle, les catégories ou les seuils doivent évoluer. Ne relâchez pas les seuils à la hâte dans le seul but de réduire la file d’attente.

Surveillez et réexaminez la politique de décision

Mesurez les résultats par classe et selon les segments pertinents du processus. Au minimum, suivez la précision des acceptations automatiques, le taux d’examen, la part des rejets ou des réorientations, les erreurs importantes et le délai de résolution. Une métrique globale peut masquer les défaillances systématiques d’une catégorie minoritaire.

Comparez les prédictions aux résultats vérifiés et définissez une fréquence d’examen adaptée au niveau de risque et au volume. Réévaluez la politique si les catégories, les formulaires, les canaux, le modèle ou les règles opérationnelles changent. Examinez aussi les signaux tels qu’une hausse des corrections humaines, une modification de la répartition des classes ou une augmentation des cas qui ne correspondent pas aux schémas connus. Ce sont des indices à analyser, et non la preuve automatique d’une dégradation du modèle.

Conservez les différentes versions des seuils, les éléments ayant justifié leur approbation et la date du dernier examen. La gestion des données et leur qualité sont également importantes : des définitions incohérentes ou des étiquettes obsolètes affaiblissent tout calibrage. Le corpus de connaissances de DAMA International peut servir de référence générale pour structurer les pratiques de gestion des données.

Liste de contrôle pour la mise en œuvre

Liste de contrôle pour la mise en œuvre
  • Chaque catégorie a-t-elle une définition opérationnelle et des exemples limites ?
  • Les faux positifs et les faux négatifs ont-ils été comparés en fonction de leurs conséquences ?
  • Les seuils distinguent-ils acceptation, examen et réorientation, et peuvent-ils varier selon la classe ?
  • L’évaluation s’appuie-t-elle sur des données représentatives et des étiquettes vérifiées ?
  • Dispose-t-on d’une capacité d’examen humain, de consignes claires et d’une procédure d’escalade ?
  • Les erreurs, la couverture et la charge d’examen sont-elles mesurées par classe ?
  • Des responsables, des registres et des conditions explicites sont-ils prévus pour réévaluer la politique ?

En résumé, définir des seuils de confiance revient à concevoir une politique de décision, et non à choisir un chiffre isolé. Commencez par évaluer le coût des erreurs, validez les seuils à partir de cas réels et maintenez une voie sûre pour les situations incertaines. L’automatisation peut ainsi se développer sans confondre le score du modèle avec une décision fiable.

Fuentes y referencias

  1. AI Risk Management FrameworkNIST
  2. Data management body of knowledgeDAMA International