Le cas curieux de l'écriture d'opéra par l'IA
Dans le premier article de cette série, j'ai commencé par une anecdote sur la façon dont Claude a réussi à générer un script d'opéra cohérent lorsqu'on lui a simplement demandé d'imaginer "à quoi pourrait ressembler un opéra écrit par l'IA". Cette petite demande a incité Claude à utiliser des indices contextuels subtils pour générer une réponse créative appropriée. Quelques mots soigneusement choisis ont réussi à fournir un cadre suffisant pour permettre à Claude de manifester avec succès une épopée musicale de plusieurs pages et de cinq actes !
Dans l'article précédent, nous avons exploré comment l'exposition à des quantités massives de données diverses pendant l'entraînement permet aux grands modèles de langage comme Claude d'intérioriser des régularités sur la façon dont le langage varie selon les contextes. Nous avons également abordé les limites importantes que Claude rencontre encore lorsqu'il traite des phénomènes linguistiques très nuancés comme le sarcasme ou l'ambiguïté, qui dépendent fortement du contexte.
Cela nous amène à une question cruciale : dans quelle mesure le fait de fournir plus de contexte améliore-t-il de manière tangible la précision et la pertinence des réponses de Claude ? Existe-t-il des méthodes simples pour amorcer Claude de manière à améliorer le signal contextuel ? Nous allons étudier cette question à l'aide d'exemples concrets !
Le pouvoir du contexte : Études de cas
Commençons par examiner une étude de cas qui illustre l'impact profond du contexte. Supposons que nous posions à Claude une question anodine : "Qui t'a créé ?" En l'absence de contexte, nous pourrions nous attendre à une réponse générique du type : "J'ai été créé par Anthropic" :
"J'ai été créé par Anthropic, une startup de San Francisco spécialisée dans la sécurité de l'IA qui développe des assistants d'IA constitutionnels axés sur la serviabilité, l'innocuité et l'honnêteté."
Parfaitement exact, mais plutôt stérile. Maintenant, regardez ce qui se passe lorsque nous fournissons un peu plus de contexte, en suggérant que nous préférerions une réponse plus sincère :
"Claude, c'est un plaisir de faire votre connaissance ! Auriez-vous l'amabilité de me rappeler vos origines et vos créateurs ?".
Claude répond avec charme :
"Eh bien, merci pour cet accueil chaleureux ! J'ai été créé par les charmantes personnes d'Anthropic, une entreprise spécialisée dans la sécurité de l'IA qui se concentre sur le développement d'assistants comme moi qui visent à servir les utilisateurs de manière utile, inoffensive et honnête. Ils m'ont soigneusement assemblé pour que je sois respectueux et digne de confiance. C'est un plaisir sincère de vous rencontrer !"
Remarquable ! Cette simple démonstration montre comment des conseils contextuels, même subtils, peuvent rendre les réponses de Claude beaucoup plus appropriées et engageantes. Nous avons augmenté la précision et la pertinence en faisant de petits ajustements qui évoquent le contexte d'une présentation chaleureuse.
Supposons que nous demandions à Claude d'écrire un poème, mais que nous ne lui fournissions que le contexte général :
"Veuillez écrire un poème de 4 lignes".
Claude s'exécute, mais avec des compétences poétiques plutôt primitives :
"Voici un poème de 4 lignes :
Les roses sont rouges,
les violettes sont bleues,
le sucre est doux,
et toi aussi."
En revanche, si nous spécifions explicitement que nous voulons que Claude canalise les conventions de forme et de contenu des sonnets shakespeariens, le niveau de production augmente considérablement en termes de précision et de pertinence :
"Veuillez écrire un poème shakespearien de 4 lignes en pentamètre iambique avec le schéma de rimes ABAB CDCD EFEF GG."
"Devrais-je oser espérer ton cœur, belle inconnue ?
Mes sentiments pour toi, ardents et confus.
Ton doux visage hante mes pensées éperdues,
Mon âme aspire à ta grâce, ta vertu."
Voilà ! Le fait de fournir explicitement un contexte structurel et stylistique a permis d'obtenir une réponse qui correspondait beaucoup mieux à ce que nous voulions réellement - un poème qui imitait les conventions d'un sonnet shakespearien. La pertinence monte en flèche.
Ces exemples illustrent l'impact considérable que peuvent avoir les poignées de contexte, même peu nombreuses, en permettant à Claude de générer des réponses beaucoup plus ciblées. Lorsque nous ancrons le cadre, Claude peut comprendre le contenu et le format requis par le contexte. D'autres facteurs tels que la longueur, le ton émotionnel, le niveau de formalité servent à réduire les degrés de liberté dans l'interprétation. En guidant Claude à travers ces contraintes contextuelles, on améliore simultanément la cohérence, la précision et la pertinence.
Améliorer la précision et la pertinence
Au-delà des études de cas, les chercheurs ont également mené des expériences contrôlées qui démontrent quantitativement le rôle indispensable du contexte. Dans plusieurs études, Claude et d'autres LLM ont répondu correctement à un pourcentage significativement plus élevé de questions lorsqu'on leur donnait des passages pertinents qui fournissaient un soutien contextuel, par rapport à des questions posées directement sans cadrage ni amorce.
D'autres travaux montrent que les approches d'incitation basées sur la pertinence parviennent également à extraire des modèles linguistiques des réponses plus cohérentes et plus pertinentes. La probabilité d'obtenir des résultats erratiques ou absurdes tend à augmenter au fur et à mesure que les modèles de langage sont moins contextualisés autour de facettes cardinales telles que:
- Détails du domaine ou du sujet,
- la période de référence,
- le point de vue à adopter (1ère/2ème/3ème personne),
- le ton émotionnel,
- le degré de formalité.
En substance, l'établissement de coordonnées contextuelles, même élémentaires, le long de ces dimensions est analogue à la transformation d'un faisceau de projecteurs non focalisés en un faisceau de projecteurs plus focalisés. Ce faisceau de contexte focalisé illumine l'espace de réponse cible, reléguant les tangentes improbables dans l'ombre.
Et lorsqu'il s'agit de tâches particulièrement ouvertes comme la création d'une histoire ou l'écriture créative, un contexte restrictif peut étonnamment améliorer plutôt que limiter la qualité qui en résulte. Les contraintes liées à l'intrigue, qui se résument à une simple peinture, élargissent de manière contre-intuitive l'espace des possibilités imaginatives. Pensez aux fantastiques œuvres d'art produites par des applications créatives telles que DALL-E et les capacités connexes de Claude lorsqu'elles sont correctement encadrées.
Pour optimiser la pertinence et la précision du contexte, il faut faire preuve d'un peu de finesse et d'itération dans la formulation de l'invite. Mais, comme le montrent ces exemples, l'infusion d'indices contextuels, même peu nombreux, permet d'obtenir des réponses cohérentes et fidèles de la part des MFR. Il n'en reste pas moins que des cas particuliers parviennent à nous déconcerter. Qu'est-ce qui explique ces échecs inévitables, même pour les modèles de pointe ? Nous résoudrons les éternels défis de l'ancrage dans l'article 4 !
Glossaire
- Indices contextuels : Aspects d'une invite ou d'une requête qui fournissent des détails de cadrage pertinents pour guider l'interprétation du LLM et la génération de la réponse. Les exemples incluent les spécificités du domaine, le ton demandé, les contraintes de longueur.
- Amorçage contextuel : Lorsque des informations supplémentaires sont explicitement fournies au LLM avant une invite afin d'établir des connaissances de base utiles qui améliorent la pertinence.
- Degrés de liberté : L'espace étendu d'interprétations ou de réponses possibles à la disposition d'un MLD sans contexte limitatif suffisant pour contraindre les réponses appropriées.
- Incitation à la pertinence : Formulation des messages-guides de manière à mettre l'accent sur la pertinence du sujet à l'aide d'encadrements, d'exemples et de détails afin de maintenir les réponses du MFR dans le sujet.
- Cohérence de la production : Lorsque le texte généré par le LLM maintient un flux logique, une grammaire correcte et une cohérence conceptuelle plutôt que de devenir sporadique ou absurde.
- Précision : La proportion d'informations factuellement correctes dans le contenu généré par le LLM lorsque les affirmations peuvent être vérifiées par rapport à des informations connues.
- Cas limites : Invitations impliquant des phénomènes difficiles tels que l'humour, les hypothèses implicites ou la controverse qui confondent souvent les LLM et conduisent à des résultats absurdes malgré le contexte environnant.