Concevoir des workflows humain-AI: modèles UX pratiques pour les transferts, la provenance et la confiance
Par Wendy Frey
Expédier une fonctionnalité AI est très différent d'expédier un logiciel traditionnel.
Avec les fonctionnalités produits standards, le comportement est généralement déterministe: même entrée, même sortie. Les systèmes AI ne fonctionnent pas de cette manière. Ils introduisent un comportement probabiliste, une performance évolutive et de nouveaux risques opérationnels qui persistent longtemps après le lancement.
C'est pourquoi la construction de fonctionnalités AI nécessite de penser au-delà du choix du modèle. Le véritable travail commence après cela.
Un cycle complet de vie d'une fonctionnalité AI couvre tout, depuis la sélection du bon modèle jusqu'à la surveillance du comportement en production, la gestion des échecs et la réponse lorsque les choses vont mal.
Les équipes qui traitent l'AI comme un cycle complet, et non pas seulement comme un événement de lancement, construisent généralement des produits plus stables.
Étape 1: Sélection du modèle
Chaque fonctionnalité AI commence par une question simple:
Quel modèle doit alimenter cela?
Cette décision façonne tout en aval: coût, latence, qualité, sécurité et maintenabilité.
Choisir un modèle ne se limite pas seulement aux scores de référence. En pratique, les équipes évaluent également:
- vitesse d'inférence
- coût par jeton
- taille de la fenêtre de contexte
- capacités d'utilisation d'outils
- support pour le fine-tuning
- exigences de confidentialité et de conformité
Un modèle qui performe le mieux dans un benchmark peut être le mauvais choix pour la production s'il est trop coûteux ou trop lent.
Ce que les équipes évaluent lors de la sélection du modèle
| Facteur | Pourquoi c'est important |
|---|---|
| Précision | Qualité de la tâche principale |
| Latence | Expérience utilisateur |
| Coût | Scalabilité en production |
| Fenêtre de contexte | Gestion des tâches complexes |
| Fiabilité | Cohérence entre les entrées |
| Sécurité | Protection des données et conformité |
Cette étape est souvent sous-estimée, mais de mauvaises choix de modèle créent une dette technique à long terme.
Étape 2: Conception et intégration du système
Une fois le modèle sélectionné, l'étape suivante consiste à construire le produit réel autour de celui-ci.
Cela inclut généralement:
- architecture de prompt
- systèmes de récupération (RAG)
- intégrations d'outils
- systèmes de mémoire
- garde-fous et couches de politique
À ce stade, le modèle devient partie intégrante d'un système plus large.
C'est important car la plupart des échecs des produits AI ne proviennent pas du modèle seul, ils proviennent de la manière dont le modèle interagit avec tout ce qui l'entoure.
Une bonne conception de système limite le rayon d'impact et améliore l'observabilité.
Étape 3: Évaluation avant le lancement
Avant le déploiement, les équipes doivent répondre à:
Cette fonctionnalité fonctionne-t-elle réellement dans des conditions du monde réel?
L'évaluation ici va bien au-delà des simples prompts de test.
Une évaluation AI solide inclut souvent:
- tests de référence
- prompts adversariaux
- simulations de cas extrêmes
- boucles de révision humaine
- mesure de l'hallucination
- profilage de la latence et du coût
Domaines d'évaluation avant le lancement
| Type d'évaluation | Objectif |
|---|---|
| Tests de précision | Valider la performance de la tâche |
| Tests de résistance | Tester les limites du système |
| Red teaming | Simuler des entrées malveillantes |
| Tests de coût | Estimer l'économie d'échelle |
| Évaluation de la sécurité | Détecter des sorties nuisibles |
Sauter cette étape crée généralement des surprises en production.
Étape 4: Déploiement
Le déploiement est l'endroit où la fonctionnalité AI devient un produit en direct.
Contrairement aux versions traditionnelles, les déploiements AI nécessitent souvent des contrôles supplémentaires:
- versions canari
- modelage du trafic
- modèles de secours
- limitation de la fréquence
- stratégies de retour en arrière
C'est important car les systèmes AI peuvent échouer de manière difficile à prédire.
Un modèle peut bien performer en staging mais se comporter différemment avec de vraies entrées d'utilisateur.
Cet écart entre le test et la réalité est où de nombreux incidents commencent.
Étape 5: Surveillance en production
C'est là que le cycle de vie devient continu.
Une fois en ligne, les fonctionnalités AI nécessitent une surveillance constante pour:
- dégradation de la qualité de sortie
- dérive du modèle
- pics de coût anormaux
- régressions de latence
- complétions non sécurisées
- tentatives d'injection de prompt
L'observabilité traditionnelle n'est pas suffisante ici.
L'observabilité AI doit inclure des signaux comportementaux, et pas seulement des métriques d'infrastructure.
Que surveiller en production
| Signal | Pourquoi c'est important |
|---|---|
| Latence | Santé de l'expérience utilisateur |
| Taux d'erreur | Problèmes de fiabilité |
| Coût par demande | Stabilité budgétaire |
| Violations de sécurité | Application des politiques |
| Signaux de dérive | Changements de performance au fil du temps |
| Retour d'utilisateur | Signal de qualité dans le monde réel |
Plus les équipes détectent rapidement les changements, plus il est facile de les corriger.
Étape 6: Réponse aux incidents
Aucun système AI ne reste parfait éternellement.
Des échecs se produisent:
- hallucinations
- fuites de données
- mauvaise exécution des outils
- corruption de récupération
- injection de prompt
- régressions du modèle
C'est pourquoi la réponse aux incidents fait partie du cycle de vie, et n'est pas une couche optionnelle.
Un workflow d'incidents AI mature ressemble généralement à:
- Détecter un comportement anormal
- Contenir le problème
- Enquêter sur la cause profonde
- Annuler ou corriger
- Mettre à jour les sauvegardes
- Documenter les leçons tirées
Cette structure reflète de près les pratiques d'incidents à plus large échelle dans la fiabilité logicielle et la gouvernance AI.
Le cycle de vie complet d'une fonctionnalité AI en un coup d'œil
| Étape | Objectif principal |
|---|---|
| Sélection du modèle | Choisir la bonne fondation |
| Conception du système | Construire l'infrastructure environnante |
| Évaluation | Valider la performance et la sécurité |
| Déploiement | Lancer en toute sécurité |
| Surveillance | Observer le comportement en monde réel |
| Réponse aux incidents | Récupérer et améliorer |
L'important est que cette boucle est itérative.
Les équipes passent constamment d'une étape à l'autre.
Dernière conclusion
Les fonctionnalités AI ne sont pas des produits statiques. Ce sont des systèmes vivants.
La plus grande erreur que les équipes commettent est de traiter le lancement comme la ligne d'arrivée.
En réalité:
- la sélection du modèle établit la fondation
- l'évaluation réduit l'incertitude
- la surveillance garde la qualité stable
- la réponse aux incidents garde le risque gérable
Les équipes AI les plus solides comprennent une chose clairement: expédier la fonctionnalité n'est que le début du cycle de vie.
