Le ROI d'un projet d'IA ne se démontre pas en comptant les utilisateurs, les invites ou les minutes apparemment économisées. Il se démontre en comparant un processus réel avant et après, en mesurant des résultats valides, le coût total, l'adoption, la qualité et le risque. Si l'organisation ne dispose ni de ligne de base ni de groupe comparable, elle doit parler d'hypothèse ou de signal préliminaire, et non de retour démontré.
Commencer par la décision métier
Avant de choisir un modèle, il faut définir :
- Le processus et son propriétaire.
- La population et le volume.
- Le problème précis.
- Le résultat attendu.
- L'indicateur métier.
- Les limites de qualité et de risque.
- L'alternative sans IA.
Exemple : « réduire le délai entre la réception d'une facture et sa validation tout en maintenant le taux d'erreur sous le seuil fixé. » C'est préférable à « automatiser les factures avec l'IA ».
Ligne de base
Sur une période représentative, on mesure :
- Le volume.
- Le temps par dossier.
- Le coût du personnel et des systèmes.
- Les erreurs et les reprises.
- Les délais d'attente.
- Les réclamations.
- La variabilité.
- Les cas exceptionnels.
La ligne de base doit utiliser la même définition que le pilote. Si seul le temps d'exécution était mesuré avant, et que la révision y est ajoutée ensuite, la comparaison n'est pas valide.
Coût total
| Composant | Exemples |
|---|---|
| Construction | Analyse, développement, données et intégration. |
| Licences | Modèles, plateforme et connecteurs. |
| Exploitation | Inférence, stockage et observabilité. |
| Personnes | Révision, support, formation et gouvernance. |
| Risque | Incidents, erreurs, confidentialité et sécurité. |
| Changement | Adoption, documentation et processus. |
| Sortie | Migration, remplacement et arrêt. |
Le coût par token n'est pas le coût par tâche. La bonne unité est le coût par résultat valide.
Bénéfices
Directs
- Heures réellement libérées.
- Dépenses externes réduites.
- Baisse des erreurs.
- Moins de pénalités.
- Plus de capacité sans agrandir les effectifs.
Revenus
- Meilleure conversion.
- Moins d'abandon.
- Plus de ventes traitées.
- Délai de lancement plus court.
Risque et qualité
- Détection plus précoce.
- Meilleure traçabilité.
- Moins d'incidents.
- Décisions plus cohérentes.
Les bénéfices évités ou probabilistes sont séparés des économies réalisées.
Formules utiles
ROI = (bénéfice net cumulé − investissement) / investissement × 100
Délai de retour = investissement initial / bénéfice net périodique
Coût par tâche valide = coût total / tâches acceptées sans correction significative
Ces formules valent ce que valent leurs hypothèses. L'horizon, le volume et la sensibilité doivent être publiés.
La qualité comme critère éliminatoire
Une solution peut faire gagner du temps tout en détruisant de la valeur par ses erreurs. On définit des indicateurs :
- Précision par champ ou par décision.
- Faux positifs et faux négatifs.
- Corrections humaines.
- Réponses sans preuve.
- Réclamations.
- Résultats par groupe.
- Incidents de sécurité.
Les classes critiques ne se moyennent pas. Une erreur qui génère un paiement indu peut avoir une tolérance zéro.
Concevoir le pilote
Le pilote doit reposer sur une hypothèse :
Si nous appliquons l'IA à X, alors Y s'améliorera de Z, sans dépasser les limites A et B.
Dans la mesure du possible, on compare avec un groupe témoin ou une période équivalente. On évite de ne choisir que les cas faciles. L'échantillon inclut les exceptions et les données imparfaites.
Le pilote s'exécute d'abord en mode observation, puis avec assistance, et enfin avec une automatisation limitée.
Adoption et facteur humain
Le retour dépend de l'usage correct de l'outil par les personnes. On mesure :
- L'usage par tâche éligible.
- L'abandon.
- Le temps d'apprentissage.
- L'acceptation sans révision.
- Les corrections.
- La charge cognitive.
- La satisfaction.
- La redistribution réelle du temps.
« Gagner 10 minutes » ne génère aucun bénéfice si ce temps se perd en interruptions ou en révision ultérieure.
Risque ajusté
Une estimation mature attribue une probabilité et un impact aux défaillances possibles. On peut ainsi calculer un bénéfice attendu ajusté au risque, avec des scénarios prudent, central et optimiste.
Le NIST AI RMF propose de gouverner, cartographier, mesurer et gérer les risques. Le ROI doit intégrer les contrôles nécessaires, et non être calculé comme si le système fonctionnait sans eux.
Matrice d'indicateurs
| Couche | Indicateur |
|---|---|
| Métier | Marge, capacité, cycle ou conversion. |
| Processus | Temps, file d'attente, reprises. |
| IA | Exactitude, fidélité, abstention. |
| Humaine | Adoption, correction et escalade. |
| Exploitation | Latence, disponibilité et coût. |
| Risque | Incidents, biais et confidentialité. |
Chaque indicateur a une source, une fréquence, un propriétaire et un seuil.
Exemple simplifié
Un cabinet comptable traite 1 000 documents par mois. La ligne de base montre 8 minutes par document et 4 % de reprises. Le pilote propose une extraction assistée.
On comptabilise l'intégration, la licence, la révision et le support. Le bénéfice n'est pas « 8 000 minutes » : on soustrait la révision, les exceptions et le temps non converti en capacité. Si le taux d'erreur baisse et que l'équipe absorbe plus de volume sans heures supplémentaires, il existe un bénéfice mesurable. Si la révision ou les réclamations augmentent, l'économie brute est fictive.
Décider de passer à l'échelle
On ne passe à l'échelle que si :
- La qualité minimale est atteinte.
- L'indicateur métier s'améliore.
- Le coût unitaire est soutenable.
- L'adoption est suffisante.
- Le risque résiduel est approuvé.
- L'exploitation et le support fonctionnent.
- Un plan de sortie existe.
Sinon, on reconçoit, on limite ou on annule. Arrêter un pilote qui ne crée pas de valeur est une bonne décision.
Plan à 90 jours
1–30
Processus, ligne de base, hypothèse et données.
31–60
Pilote en mode observation, coûts et évaluation.
61–90
Pilote assisté, adoption, risque et décision.
Erreurs fréquentes
- Commencer par l'outil.
- Ne pas avoir de ligne de base.
- Compter du temps théorique.
- Ignorer la révision humaine.
- Ne mesurer que la précision moyenne.
- Exclure l'intégration et le support.
- Utiliser un pilote biaisé.
- Confondre adoption et valeur.
- Ne pas valoriser le risque.
- Passer à l'échelle par coût irrécupérable.
Checklist
- Processus et propriétaire.
- Ligne de base représentative.
- Hypothèse mesurable.
- Coût total.
- Bénéfices réalisés et attendus séparés.
- Qualité et risque comme critères éliminatoires.
- Pilote comparable.
- Adoption et charge humaine.
- Sensibilité et scénarios.
- Décision documentée.
Questions fréquentes
Quel ROI exiger ?
Il n'existe pas de seuil universel. Cela dépend du risque, du capital, de l'alternative et de la stratégie. Il doit dépasser le coût d'opportunité tout en maintenant la qualité.
Comment valoriser le temps gagné ?
Seulement s'il se traduit par de la capacité, un coût moindre, un meilleur service ou un travail à plus forte valeur. Toute minute théorique n'est pas une économie financière.
Peut-on le mesurer avant la mise en production ?
On peut l'estimer via un pilote, mais il faut alors parler de projection tant que l'exploitation réelle n'a pas été observée.
Sources consultées
Summum IA peut concevoir la ligne de base, le pilote, l'évaluation et le tableau de bord ROI sans promettre d'économies avant de les avoir mesurées.