Le retour des modèles de langage à diffusion continue

Le retour des modèles de langage à diffusion continue

Explorez pourquoi la diffusion continue fait son retour dans la modélisation du langage et comment elle défie la domination des modèles autorégressifs et discrets.

La plupart des modèles de langage modernes sont autorégressifs, ce qui signifie qu’ils génèrent du texte un jeton à la fois de gauche à droite [S1, S6]. Bien que cette approche évolue bien, elle est intrinsèquement séquentielle pendant l’inférence [1].

Les modèles de diffusion offrent une autre voie. Au lieu d’une génération séquentielle, ils commencent avec une version corrompue d’une séquence complète et la raffinent progressivement pour obtenir un texte propre [S5, S6]. Cela permet une génération parallèle et une contrôlabilité bidirectionnelle [3].

Dans ce domaine, une séparation existe entre les méthodes discrètes et continues. La diffusion discrète travaille directement sur le vocabulaire des jetons, souvent en utilisant des masques ou des entrées aléatoires [S6, S7]. La diffusion continue, quant à elle, mappe les jetons vers des vecteurs d’embedding à valeurs réelles et applique du bruit gaussien à ces vecteurs [S1, S6].

L’essor et le déclin des méthodes continues

La diffusion continue pour le langage a acquis un élan précoce vers 2022 avec des modèles comme Diffusion-LM [1]. L’attrait résidait dans la possibilité d’exploiter des outils et des machineries déjà perfectionnés pour la génération d’images et de vidéos [1].

Cependant, après 2023, le domaine s’est presque entièrement tourné vers les méthodes discrètes [1]. Cette « extinction » était due à une focalisation sur la performance brute et l’efficacité d’entraînement [S1, S6]. Les premiers modèles continus ont montré un écart d’efficacité prononcé ; une analyse a indiqué qu’un modèle continu basé sur la vraisemblance nécessitait bien plus de calculs qu’une base autorégressive pour obtenir des résultats similaires [6].

La diffusion discrète semblait conceptuellement plus proche de la nature catégorique du texte et de la structure des modèles autorégressifs [1]. Alors que les chercheurs cherchaient à égaler la performance des modèles à grande échelle, les méthodes discrètes sont devenues la voie privilégiée [1].

Pourquoi la diffusion continue fait son retour

Des recherches récentes suggèrent que la sous-performance précédente des modèles continus n’était pas une limitation intrinsèque, mais le résultat de recettes d’entraînement et de protocoles d’évaluation sous-optimisés [4].

Les modèles continus offrent deux avantages principaux par rapport à leurs homologues discrets :

• Génération en peu d’étapes : La diffusion continue peut associer différents points de bruit à différents échantillons de données, rendant possible la génération en une seule étape [4]. En revanche, la diffusion discrète masquée réduit souvent sa distribution a priori à un seul état masqué, ce qui peut entraîner un « dilemme de décodage parallèle » et une dégradation de la qualité lors de la génération en peu d’étapes [4].
• Contrôlabilité : Similaire à la génération d’images, les latents continus peuvent être manipulés sémantiquement à l’aide de mécanismes de guidage [4]. La diffusion discrète masquée est généralement limitée à l’édition au niveau des jetons, telle que la cloze [4].

De nouveaux frameworks comme LangFlow ont démontré qu’en optimisant les plannings de bruit, en utilisant l’auto-conditionnement et en affinant la borne du log-vraisemblance négative (NLL), la diffusion continue peut rivaliser avec les méthodes discrètes et même surpasser les modèles autorégressifs sur certains benchmarks zéro-shot [4].

Surmonter les goulets d’étranglement techniques

Combler l’écart entre les jetons catégoriels et l’espace continu nécessite une machinerie technique spécifique [6].

Un défi réside dans la géométrie de l’espace d’embedding [6]. Si les embeddings sont appris conjointement avec le débruiteur, le modèle pourrait réduire l’erreur en regroupant les vecteurs de jetons ou en laissant leurs normes augmenter [6]. Les chercheurs utilisent la régularisation, la normalisation ou des pertes de classification supplémentaires pour éviter cela [6].

La planification du bruit est un autre facteur critique [6]. De nombreux niveaux de bruit fournissent peu de signal d’entraînement car ils laissent soit l’identité du jeton trop intacte, soit la détruisent complètement [6]. Les systèmes modernes adaptent maintenant le planning à l’entropie du modèle ou à la géométrie de l’embedding, consacrant plus de temps d’entraînement là où le débruiteur fait face à une incertitude significative [6].

L’impact des cartes de flux et de la cohérence

Le dernier renouveau de la diffusion continue est étroitement lié aux cartes de flux et aux modèles de cohérence [6].

La diffusion traditionnelle nécessite de nombreuses petites étapes de débruitage pour produire une sortie de haute qualité [5]. Une carte de flux apprend à approximer le résultat de toute cette séquence en une seule étape plus grande [6]. Cette approche est particulièrement utile pour la distillation [6].

Les trajectoires continues peuvent transporter des relations au niveau de la séquence le long du chemin allant du bruit au texte [6]. Cela offre à la distillation par carte de flux plus de marge pour préserver la structure que les modèles discrets, qui supposent souvent une indépendance conditionnelle parmi les jetons échantillonnés lors du même tour [6].

Ces avancées rendent les modèles de langage basés sur la diffusion plus pratiques en réduisant le nombre de passes de raffinement nécessaires, ce qui peut potentiellement réduire les coûts énergétiques et augmenter la vitesse de génération [5].

Si vous suivez l’évolution de la génération non autorégressive, explorez les dernières recherches sur les modèles de langage à diffusion riemannienne (RDLM) pour voir comment la géométrie des variétés est utilisée pour unifier ces approches [S2, S3].

Sources

1. Modèles de langage à diffusion continue - Sander Dieleman
2. Les modèles de langage à diffusion continue font leur retour
3. Modèle de diffusion continue pour la modélisation du langage - arXiv.org
4. Poster ICML Modèles de langage à diffusion cohérente
5. La diffusion continue rivalise avec les méthodes discrètes dans la modélisation du langage
6. [2502.11564] Modèle de diffusion continue pour la modélisation du langage
7. Un aperçu technique de la diffusion continue et discrète basée sur …
8. Les modèles de langage à diffusion continue ont été retenus par une habitude … - Medium