Sebagian besar model bahasa modern bersifat autoregresif, yang berarti mereka menghasilkan teks satu token demi satu token dari kiri ke kanan [S1, S6]. Meskipun pendekatan ini memiliki skalabilitas yang baik, prosesnya secara inheren bersifat sekuensial selama inferensi [1].
Model difusi menawarkan jalur yang berbeda. Alih-alih pembuatan sekuensial, model ini memulai dengan versi rusak dari satu urutan penuh dan secara bertahap memperbaikinya menjadi teks yang bersih [S5, S6]. Hal ini memungkinkan pembuatan secara paralel dan kontrol bidirectional [3].
Dalam bidang ini, terdapat pembagian antara metode diskrit dan kontinu. Difusi diskrit bekerja langsung pada kosakata token, sering kali menggunakan mask atau entri acak [S6, S7]. Sebaliknya, difusi kontinu memetakan token ke dalam vektor embedding bernilai riil dan menerapkan noise Gaussian pada vektor-vektor tersebut [S1, S6].
Kebangkitan dan Kejatuhan Metode Kontinu
Difusi kontinu untuk bahasa mendapatkan momentum awal sekitar tahun 2022 dengan model seperti Diffusion-LM [1]. Daya tariknya adalah kemampuan untuk memanfaatkan alat dan mekanisme yang telah disempurnakan untuk pembuatan gambar dan video [1].
Namun, setelah tahun 2023, bidang ini bergeser hampir sepenuhnya ke arah metode diskrit [1]. “Kepunahan” ini didorong oleh fokus pada performa mentah dan efisiensi pelatihan [S1, S6]. Model kontinu awal menunjukkan kesenjangan efisiensi yang tajam; satu analisis menunjukkan bahwa model kontinu berbasis likelihood membutuhkan komputasi yang jauh lebih besar daripada baseline autoregresif untuk mencapai hasil yang serupa [6].
Difusi diskrit tampak secara konseptual lebih dekat dengan sifat kategoris teks dan struktur model autoregresif [1]. Saat para peneliti berusaha menyamai performa model skala besar, metode diskrit menjadi jalur yang lebih disukai [1].
Mengapa Difusi Kontinu Kembali Lagi
Penelitian terbaru menunjukkan bahwa rendahnya performa model kontinu sebelumnya bukanlah batasan intrinsik, melainkan hasil dari resep pelatihan dan protokol evaluasi yang kurang optimal [4].
Model kontinu menawarkan dua keuntungan utama dibandingkan rekan diskritnya:
- Pembuatan beberapa langkah (Few-step generation): Difusi kontinu dapat memetakan titik noise yang berbeda ke sampel data yang berbeda, sehingga pembuatan satu langkah menjadi mungkin [4]. Sebaliknya, difusi diskrit ter-mask sering kali meruntuhkan distribusi prior-nya menjadi satu status ter-mask tunggal, yang dapat menyebabkan “dilema decoding paralel” dan penurunan kualitas selama pembuatan beberapa langkah [4].
- Kontrolabilitas: Mirip dengan pembuatan gambar, laten kontinu dapat dimanipulasi secara semantik menggunakan mekanisme panduan (guidance) [4]. Difusi diskrit ter-mask umumnya terbatas pada pengeditan tingkat token, seperti clozing [4].
Framework baru seperti LangFlow telah menunjukkan bahwa dengan mengoptimalkan jadwal noise, menggunakan self-conditioning, dan menyempurnakan batas negative log-likelihood (NLL), difusi kontinu dapat menyaingi metode diskrit dan bahkan mengungguli model autoregresif pada benchmark zero-shot tertentu [4].
Mengatasi Hambatan Teknis
Menjembatani kesenjangan antara token kategoris dan ruang kontinu memerlukan mekanisme teknis khusus [6].
Salah satu tantangannya adalah geometri ruang embedding [6]. Jika embedding dipelajari bersama dengan denoiser, model mungkin mengurangi error dengan menggabungkan vektor token atau membiarkan normanya tumbuh [6]. Peneliti menggunakan regularisasi, normalisasi, atau loss klasifikasi tambahan untuk mencegah hal ini [6].
Penjadwalan noise adalah faktor kritis lainnya [6]. Banyak tingkat noise memberikan sinyal pelatihan yang sedikit karena mereka membiarkan identitas token terlalu utuh atau menghancurkannya sepenuhnya [6]. Sistem modern kini mengadaptasi jadwal tersebut terhadap entropi model atau geometri embedding, menghabiskan lebih banyak waktu pelatihan di mana denoiser menghadapi ketidakpastian yang berarti [6].
Dampak Flow Maps dan Konsistensi
Kebangkitan terbaru dari difusi kontinu terkait erat dengan flow maps dan model konsistensi [6].
Difusi tradisional membutuhkan banyak langkah denoising kecil untuk menghasilkan output berkualitas tinggi [5]. Sebuah flow map belajar untuk memperkirakan hasil dari seluruh urutan tersebut dalam satu langkah besar [6]. Pendekatan ini sangat berguna untuk distilasi [6].
Trajektori kontinu dapat membawa hubungan tingkat urutan melalui jalur dari noise ke teks [6]. Hal ini memberikan ruang lebih bagi distilasi flow-map untuk mempertahankan struktur dibandingkan model diskrit, yang sering kali mengasumsikan independensi kondisional di antara token yang disampel dalam putaran yang sama [6].
Kemajuan ini membuat model bahasa berbasis difusi menjadi lebih praktis dengan mengurangi jumlah putaran penyempurnaan yang diperlukan, yang berpotensi menurunkan biaya energi dan meningkatkan kecepatan pembuatan [5].
Jika Anda mengikuti evolusi pembuatan non-autoregresif, jelajahi penelitian terbaru tentang Riemannian Diffusion Language Models (RDLM) untuk melihat bagaimana geometri manifold digunakan untuk menyatukan pendekatan-pendekatan ini [S2, S3].
Sumber
- Continuous diffusion language models - Sander Dieleman
- Continuous diffusion language models make a comeback
- Continuous Diffusion Model for Language Modeling - arXiv.org
- ICML Poster Consistent Diffusion Language Models
- Continuous Diffusion Rivals Discrete in Language Modeling
- [2502.11564] Continuous Diffusion Model for Language Modeling
- A Technical Overview of Continuous and Discrete Diffusion-based …
- Continuous Diffusion Language Models Were Held Back by a Habit … - Medium
