Préparez un dossier décisionnel pour une fonctionnalité IA : problème, adéquation des capacités, UX, métriques, risques, économie et plan d’expérimentation.
Scénario
Une équipe propose une fonctionnalité IA sans métrique de valeur claire. Il faut décider s’il faut la construire, comment mesurer sa qualité et dans quelles conditions arrêter le rollout.
Résultat: Le problème est validé et non inventé pour justifier l’IA.
Tâches
Vérifications
Résultat: Les forces et limites du modèle sont connues.
Tâches
Vérifications
Résultat: La valeur est comparée à la qualité, la latence et au coût.
Tâches
Vérifications
Résultat: Un experiment borné et un chemin de rollback existent.
Tâches
Vérifications
Grille d’évaluation
Le problème est étayé par des preuves utilisateur et une baseline sans IA.
Insuffisant
L’IA cherche un problème.
Compétent
Des preuves et une baseline existent.
Solide
La douleur quantifiée, les alternatives et les différences entre segments sont documentées.
Preuves requises
Les limites du modèle, l’impact des échecs et les contrôles sont documentés.
Insuffisant
Les capacités sont affirmées sans tests.
Compétent
Des tâches représentatives et des contrôles existent.
Solide
Un jeu d’évaluation, une politique d’approbation et le risque résiduel sont documentés.
Preuves requises
La valeur, la qualité, la sécurité, la latence et le coût possèdent des seuils.
Insuffisant
Seules des vanity metrics sont définies.
Compétent
Les métriques de release possèdent des seuils.
Solide
L’analyse de sensibilité, les options de routage et le modèle de marge sont documentés.
Preuves requises
L’évaluation offline, le pilote, le monitoring et le rollback sont bornés.
Insuffisant
Un lancement big-bang est prévu.
Compétent
Un déploiement progressif et des conditions d’arrêt existent.
Solide
Un holdout, une baseline contrefactuelle et des critères de retrait sont définis.
Preuves requises