Comment évaluer un générateur d’images IA : checklist pratique
Un protocole reproductible pour évaluer les générateurs d’images IA selon le respect du prompt, l’édition, la cohérence, le texte, les droits, la provenance, la sécurité, le coût et le rollback.
Sommaire de l’article
- 01Commencez par la tâche, pas par la plus belle image
- 02Figez le manifest et le jeu de test
- 03Gate 1 : évaluer le respect du prompt par exigences atomiques
- 04Gate 2 : la retouche doit modifier le delta et préserver les invariants
- 05Gate 3 : texte, localisation et cohérence de série sont des tests séparés
- 06Gate 4 : droits, vie privée, provenance et sécurité
- 07Gate 5 : mesurer le coût complet d’un asset accepté
- 08Décision : approve, restrict, reject ou re-evaluate
Commencez par la tâche, pas par la plus belle image
Une génération spectaculaire ne dit pas si un outil convient à une illustration produit, une série publicitaire, un mockup e-commerce, une bannière localisée ou une retouche contrôlée. Avant le test, consignez utilisateur, canal, format, nombre de variantes, assets de référence autorisés, exigences de texte, durée de vie et défaut bloquant la publication. Séparez consumer chat, application de design et API : modèles, limites, controls et conditions peuvent différer.
Définissez le contrat de décision : quel résultat est accepté par l’art director, qui vérifie les droits et les faits, où l’asset approuvé est stocké et qui peut publier. Le générateur produit un candidat ; il n’obtient pas l’autorité de publication. Les images médicales, politiques, financières ou d’identification exigent une revue de risque distincte, et la plausibilité visuelle ne prouve ni un événement ni une personne réelle.
- Use case → canal, audience, format et durée de vie.
- Acceptance → composition, texte exact, invariants et défauts interdits.
- Authority → génération, revue, approbation et publication relèvent de rôles différents.
- Stop rule → échec sur les droits, la sécurité ou une représentation trompeuse à conséquence.
Figez le manifest et le jeu de test
Pour chaque run, conservez provider, product surface, modèle ou mode, plan, classe de compte, région, date, ratio, résolution, seed s’il existe, prompt, contraintes négatives, fichiers de référence et paramètres de génération. OpenAI et Google documentent génération et édition sur leurs propres surfaces, mais une capability documentée ne garantit pas la même disponibilité pour chaque compte. Un manifest modifié constitue un nouveau test slice.
Construisez 18–30 fixtures issus de tâches réelles sans assets confidentiels : scène produit simple, plusieurs objets et leurs relations spatiales, mains et détails fins, court texte exact, ratio atypique, illustration éditoriale, localisation, référence de style, remplacement d’arrière-plan et série avec personnage récurrent. Ajoutez des contraintes impossibles ou contradictoires ; un refus ou une demande de clarification corrects valent mieux qu’un contournement silencieux.
Gate 1 : évaluer le respect du prompt par exigences atomiques
Décomposez le prompt avant génération : sujet, nombre, attributs, relations spatiales, action, caméra, lumière, palette, texte, exclusions et format de sortie. Un reviewer en aveugle marque chaque exigence comme satisfied, partial, contradicted ou not judgeable. Une simple note de qualité mélange goût et respect du contrat et peut masquer un défaut critique comme un mauvais produit ou un logo supplémentaire.
Vérifiez séparément la frontière factuelle. Une image d’événement historique, de produit, d’interface ou de schéma scientifique peut sembler crédible tout en inventant des détails. Un visual factuel nécessite des références autoritatives et une vérification humaine des libellés, proportions et claims. Signalez le caractère synthétique ou illustratif lorsque le public pourrait le prendre pour une preuve documentaire.
Gate 2 : la retouche doit modifier le delta et préserver les invariants
Pour un fixture d’édition, définissez le delta demandé—par exemple changer seulement la couleur d’une tasse—et les régions protégées : visage, mains, texte, logo, fond, crop et nombre d’objets. Après chaque étape, contrôlez les deux listes. Une couleur correcte ne compense pas un nouveau visage ou une marque déformée. Conservez hash de l’asset de base, instruction, output et verdict pour rejouer la chaîne.
Effectuez au moins trois retouches successives et un rollback vers la base approuvée. Mesurez le drift après chaque étape, pas seulement l’esthétique finale. Si le produit ne restaure pas exactement une version, versionnez les fichiers hors de l’historique du chat. Pour le compositing, vérifiez ombres, perspective, bords du masque et interaction des objets ; n’utilisez personnes ou marques protégées qu’avec des droits confirmés.
Gate 3 : texte, localisation et cohérence de série sont des tests séparés
Vérifiez le texte caractère par caractère : casse, ponctuation, chiffres, devise, langue et retours à la ligne. Un court headline et un long texte d’emballage sont des slices différents. Si le texte est juridiquement ou commercialement significatif, un workflow plus sûr peut générer le visuel sans copy puis ajouter la typographie dans un outil de design déterministe. Gardez visible la frontière entre model output et mise en page humaine.
Pour une série, figez character sheet, palette, vêtements, géométrie du produit, règles de point de vue et écarts interdits. Générez cinq scènes dans des ordres différents et répétez-en une le lendemain dans une nouvelle session. Vérifiez identité, proportions, branding et style drift. Une scène réussie ne démontre pas la cohérence en production ; l’idéation peut rester dans le générateur et l’assemblage sériel dans une pipeline contrôlée.
Gate 4 : droits, vie privée, provenance et sécurité
Avant d’uploader une référence, vérifiez propriétaire, licence, consentement, transformations autorisées, territoire, expiration et droit de transmettre l’asset au service choisi. N’utilisez pas photos clients, produits non publiés ou données personnelles dans un compte consumer sans data contract approuvé. Vérifiez rétention, training controls, partage, suppression et paramètres admin du plan exact ; le nom du vendor ne remplace pas un contrôle du compte.
Conservez un dossier de provenance : assets source et droits, prompt, manifest, edits, reviewer, output approuvé, décision de disclosure et Content Credentials ou signaux similaires disponibles. Ces signaux aident à retracer l’origine, mais leur absence ne prouve pas une création humaine et leur présence ne prouve pas la véracité de la scène. Le safety test couvre usurpation, personnalités publiques, sécurité des mineurs, haine, automutilation, documents trompeurs et tentatives de contournement sans publier de contenu nuisible.
Gate 5 : mesurer le coût complet d’un asset accepté
Comptez abonnement ou API usage, nombre de générations, upscale, stockage, minutes reviewer, retouche manuelle, typographie, revue des droits, variantes rejetées et rework après changement de modèle. Le bon dénominateur est le coût par asset approuvé pour un slice précis, pas le prix d’une génération. Ne transformez ni claim de vitesse vendor ni chronométrage isolé en classement général sans manifest identique et répétitions suffisantes.
Testez opérationnellement files d’attente, rate limits, timeouts, réponses de modération, format d’export, canal alpha, gestion des couleurs, conservation des metadata et recovery après édition interrompue. Un workflow API exige aussi un job ID idempotent, des retries bornés et un postcondition check afin qu’un timeout ne crée pas de doublons. Le raw model output ne doit pas entrer automatiquement dans CMS, compte publicitaire ou bibliothèque publique.
Décision : approve, restrict, reject ou re-evaluate
Émettez des verdicts séparés pour idéation, hero image unique, texte localisé, retouche contrôlée, série de personnages et batch API. Approve nomme manifest et scope exacts ; restrict interdit références sensibles, texte dans l’image ou publication directe ; reject retourne vers le workflow design connu ; re-evaluate attend une évolution de capability. Une moyenne ne doit jamais compenser un échec de droits ou de tromperie.
Le decision record contient utilisateurs autorisés, classes de données, routes approuvées, checkpoints humains, emplacement des preuves, owner, date de revue et rollback. Un changement matériel de modèle, surface produit, conditions, provenance behavior, safety policy ou failure pattern relance le corpus figé. Le rollback arrête les jobs, révoque le partage, retire les assets contestés de la file de publication et restaure la dernière version approuvée ; le contenu déjà publié reçoit une impact review.
- Approve → slice, manifest et route de revue définis.
- Restrict → moins de données, fonctions ou autorité de publication.
- Reject → workflow humain ou design connu.
- Re-evaluate → rejouer le corpus après changement matériel.
Exemples pratiques
Série publicitaire localisée
L’équipe génère cinq compositions sans texte final, contrôle cohérence du produit et régions protégées, puis ajoute les copies ukrainienne et anglaise dans l’outil de design. Le reviewer droits confirme les références, l’art director accepte l’asset et le media owner autorise séparément la publication.
Retouche d’un mockup e-commerce
Le tester change uniquement la couleur de l’emballage dans un fixture synthétique. Le ledger protège forme, texte, crop et ombres ; trois edits mesurent le drift et le rollback restaure le hash de la base approuvée. Un défaut du logo bloque le résultat même si la couleur est correcte.
FAQ
Comment comparer équitablement des générateurs d’images IA ?
Figez les mêmes fixtures et le même manifest, évaluez séparément respect du prompt, invariants d’édition, texte, cohérence, droits, sécurité et coût, et utilisez une revue en aveugle lorsque possible.
Combien d’images faut-il pour un test ?
Il n’existe pas de nombre universel. Commencez par 18–30 fixtures représentatifs avec plusieurs répétitions, puis enrichissez le corpus à chaque nouveau failure de production.
Les Content Credentials suffisent-elles à vérifier une image ?
Non. Un signal de provenance aide à retracer l’historique de l’asset, mais ne prouve ni la véracité de la scène, ni l’ensemble des droits, ni l’absence d’autres modifications.
Quand faut-il éviter de générer le texte dans l’image ?
Quand le texte doit être juridiquement, numériquement ou graphiquement exact pour la marque. Il est alors plus sûr de générer le visuel sans copy et d’ajouter la typographie dans un workflow de design déterministe.