Die meisten modernen Sprachmodelle sind autoregressiv, was bedeutet, dass sie Text ein Token nach dem anderen von links nach rechts generieren [S1, S6]. Obwohl dieser Ansatz gut skalierbar ist, ist er während der Inferenz inhärent sequenziell [1].
Diffusionsmodelle bieten einen anderen Weg. Anstatt einer sequenziellen Generierung beginnen sie mit einer korrumpierten Version einer vollständigen Sequenz und verfeinern diese schrittweise zu sauberem Text [S5, S6]. Dies ermöglicht eine parallele Generierung und bidirektionale Steuerbarkeit [3].
Innerhalb dieses Feldes gibt es eine Trennung zwischen diskreten und kontinuierlichen Methoden. Die diskrete Diffusion arbeitet direkt auf dem Token-Vokabular, oft unter Verwendung von Masken oder Zufallseinträgen [S6, S7]. Die kontinuierliche Diffusion hingegen bildet Token auf echtwertige Embedding-Vektoren ab und wendet Gaußsches Rauschen auf diese Vektoren an [S1, S6].
Aufstieg und Fall kontinuierlicher Methoden
Die kontinuierliche Diffusion für Sprache gewann um 2022 mit Modellen wie Diffusion-LM an ersten Schwung [1]. Die Attraktivität lag in der Möglichkeit, Werkzeuge und Mechanismen zu nutzen, die bereits für die Bild- und Videogenerierung perfektioniert worden waren [1].
Nach 2023 verschob sich das Feld jedoch fast vollständig hin zu diskreten Methoden [1]. Dieses „Aussterben“ wurde durch den Fokus auf reine Performance und Trainingseffizienz vorangetrieben [S1, S6]. Frühe kontinuierliche Modelle zeigten eine steile Effizienzlücke; eine Analyse ergab, dass ein likelihood-basiertes kontinuierliches Modell weitaus mehr Rechenleistung als eine autoregressive Baseline benötigte, um ähnliche Ergebnisse zu erzielen [6].
Die diskrete Diffusion erschien konzeptionell näher an der kategorischen Natur von Text und der Struktur autoregressiver Modelle [1]. Da Forscher versuchten, die Leistung großskaliger Modelle zu erreichen, wurden diskrete Methoden zum bevorzugten Weg [1].
Warum die kontinuierliche Diffusion zurückkehrt
Neuere Forschungen legen nahe, dass die frühere Minderleistung kontinuierlicher Modelle keine intrinsische Einschränkung war, sondern das Ergebnis unteroptimierter Trainingsrezepte und Evaluierungsprotokolle [4].
Kontinuierliche Modelle bieten zwei wesentliche Vorteile gegenüber ihren diskreten Gegenstücken:
- Generierung in wenigen Schritten: Kontinuierliche Diffusion kann verschiedene Rauschpunkte auf verschiedene Datenstichproben abbilden, wodurch eine Ein-Schritt-Generierung möglich wird [4]. Im Gegensatz dazu kollabiert die maskierte diskrete Diffusion ihre Prior-Verteilung oft in einen einzigen maskierten Zustand, was zu einem „Parallel-Decoding-Dilemma“ und einer Qualitätsverschlechterung bei der Generierung in wenigen Schritten führen kann [4].
- Steuerbarkeit: Ähnlich wie bei der Bildgenerierung können kontinuierliche Latents mithilfe von Guidance-Mechanismen semantisch manipuliert werden [4]. Die diskrete maskierte Diffusion ist im Allgemeinen auf Bearbeitungen auf Token-Ebene beschränkt, wie etwa Cloze-Tests [4].
Neue Frameworks wie LangFlow haben gezeigt, dass kontinuierliche Diffusion durch die Optimierung von Noise-Schedules, die Verwendung von Self-Conditioning und die Verfeinerung der Negative Log-Likelihood (NLL)-Schranke mit diskreten Methoden konkurrieren und autoregressive Modelle in bestimmten Zero-Shot-Benchmarks sogar übertreffen kann [4].
Überwindung technischer Engpässe
Die Überbrückung der Lücke zwischen kategorischen Token und kontinuierlichem Raum erfordert spezifische technische Mechanismen [6].
Eine Herausforderung ist die Geometrie des Embedding-Raums [6]. Wenn Embeddings gemeinsam mit dem Denoiser gelernt werden, könnte das Modell den Fehler reduzieren, indem es Token-Vektoren kollabieren lässt oder deren Normen anwachsen lässt [6]. Forscher setzen Regularisierung, Normalisierung oder zusätzliche Klassifikationsverluste ein, um dies zu verhindern [6].
Das Noise-Scheduling ist ein weiterer kritischer Faktor [6]. Viele Rauschpegel liefern kaum Trainingssignale, da sie entweder die Token-Identität zu stark beibehalten oder sie vollständig zerstören [6]. Moderne Systeme passen den Zeitplan nun an die Entropie des Modells oder die Embedding-Geometrie an und investieren mehr Trainingszeit dort, wo der Denoiser mit einer signifikanten Unsicherheit konfrontiert ist [6].
Der Einfluss von Flow Maps und Konsistenz
Das jüngste Revival der kontinuierlichen Diffusion ist eng mit Flow Maps und Konsistenzmodellen verknüpft [6].
Traditionelle Diffusion erfordert viele kleine Denoising-Schritte, um eine hochwertige Ausgabe zu erzeugen [5]. Eine Flow Map lernt, das Ergebnis dieser gesamten Sequenz in einem einzigen größeren Schritt zu approximieren [6]. Dieser Ansatz ist besonders nützlich für die Destillation [6].
Kontinuierliche Trajektorien können Beziehungen auf Sequenzebene über den Pfad vom Rauschen zum Text hinweg beibehalten [6]. Dies gibt der Flow-Map-Destillation mehr Spielraum zur Strukturerhaltung als diskreten Modellen, die oft eine bedingte Unabhängigkeit zwischen den in derselben Runde gesampelten Token annehmen [6].
Diese Fortschritte machen diffusionsbasierte Sprachmodelle praktischer, indem sie die Anzahl der benötigten Verfeinerungsdurchläufe reduzieren, was potenziell die Energiekosten senkt und die Generierungsgeschwindigkeit erhöht [5].
Wenn Sie die Entwicklung der nicht-autoregressiven Generierung verfolgen, erkunden Sie die neuesten Forschungsarbeiten zu Riemannian Diffusion Language Models (RDLM), um zu sehen, wie die Mannigfaltigkeitsgeometrie genutzt wird, um diese Ansätze zu vereinheitlichen [S2, S3].
Quellen
- Continuous diffusion language models - Sander Dieleman
- Continuous diffusion language models make a comeback
- Continuous Diffusion Model for Language Modeling - arXiv.org
- ICML Poster Consistent Diffusion Language Models
- Continuous Diffusion Rivals Discrete in Language Modeling
- [2502.11564] Continuous Diffusion Model for Language Modeling
- A Technical Overview of Continuous and Discrete Diffusion-based …
- Continuous Diffusion Language Models Were Held Back by a Habit … - Medium
