Essentiel•8–14 heures

Workflow d’analytique IA vérifiée

Construisez un workflow analytique pour CSV et SQL avec des calculs vérifiés, la provenance, des contrôles de confidentialité et un rapport exécutif reproductible.

prompting analytiquevalidation SQLqualité des donnéesprovenanceconfidentialitéreporting

Scénario

Tâche

Un analyste reçoit un CSV et un extrait SQL et doit préparer des conclusions pour la direction. L’IA aide à explorer les données, mais chaque chiffre et chaque affirmation doivent être vérifiés et reproductibles.

Exécution pas à pas

1. Réaliser un audit des données

Résultat: La qualité des données, le sens des champs et les risques de confidentialité sont connus avant l’analyse.

Tâches

→Documenter le schema
→Vérifier les valeurs manquantes et les doublons
→Identifier les PII
→Consigner les définitions métier

Vérifications

✓Les métriques ont des définitions non ambiguës
✓Les champs sensibles ne sont pas envoyés au modèle sans nécessité

2. Construire le plan d’analyse

Résultat: Les hypothèses et les calculs nécessaires sont séparés du narratif généré par l’IA.

Tâches

→Formuler les questions
→Définir les requêtes SQL ou les formules
→Ajouter des sanity checks
→Consigner les plages attendues

Vérifications

✓Chaque conclusion dispose d’une évidence prévue
✓L’IA ne réalise pas de calculs cachés dans le texte narratif

3. Exécuter et vérifier l’analyse

Résultat: Les résultats sont reproductibles indépendamment du modèle.

Tâches

→Exécuter les calculs SQL ou Python
→Comparer les totaux
→Vérifier les segments limites
→Conserver les queries et outputs

Vérifications

✓Les chiffres clés ont une vérification déterministe
✓Les niveaux d’agrégation ne sont pas mélangés

4. Créer un rapport evidence-first

Résultat: Le narratif reste dans les limites des preuves disponibles.

Tâches

→Relier les claims aux preuves
→Ajouter les caveats
→Indiquer l’incertitude
→Réaliser une revue adversariale

Vérifications

✓Les claims non étayés sont supprimés
✓Le rapport est reproductible à partir des artefacts

Critères d’acceptation

Le contrat de données et les définitions sont consignés
Les chiffres clés sont vérifiés par du code déterministe
Chaque conclusion possède une provenance
Les contrôles de confidentialité sont appliqués
Le rapport exécutif inclut caveats et niveau de confiance

Grille d’évaluation

Comment le résultat est évalué

Score de réussite: 70/100 · Distinction: 90/100

Data contract et qualité

Le schéma, les définitions, la confidentialité et les règles de qualité sont explicites.

25 points

Insuffisant

Les champs et métriques sont ambigus.

Compétent

Les définitions et checks sont documentés.

Solide

Une couche de métriques réutilisable et des tests de données automatisés sont en place.

Preuves requises

✓ Lien vers le code ou l’artefact
✓ README avec les décisions
✓ Sortie des tests ou preuve runtime
✓ Data contract

Vérification des calculs

Les chiffres clés sont reproductibles avec du code déterministe.

30 points

Insuffisant

Le modèle génère les chiffres dans le texte.

Compétent

Les métriques clés sont vérifiées.

Solide

Une réconciliation indépendante et des regression checks existent.

Preuves requises

✓ Lien vers le code ou l’artefact
✓ README avec les décisions
✓ Sortie des tests ou preuve runtime
✓ Calculs SQL/Python

Provenance des conclusions

Les claims sont reliés à une query, une formule ou un source slice.

25 points

Insuffisant

Les conclusions n’ont pas de preuves.

Compétent

Chaque claim clé a une provenance.

Solide

Le lineage est généré automatiquement.

Preuves requises

✓ Lien vers le code ou l’artefact
✓ README avec les décisions
✓ Sortie des tests ou preuve runtime
✓ Table des preuves

Qualité de l’executive report

Le rapport inclut caveats et confidence et reste dans les limites des preuves.

20 points

Insuffisant

Des claims non étayés sont présents.

Compétent

Claims, caveats et incertitude sont explicites.

Solide

Une adversarial review et un résumé adapté au public sont inclus.

Preuves requises

✓ Lien vers le code ou l’artefact
✓ README avec les décisions
✓ Sortie des tests ou preuve runtime
✓ Rapport final