NCM vs LLM: Next-Concept Modeling yang 10-31x Lebih Cepat dari Diffusion, Tapi Bukan Pengganti LLM

NCM (Next-Concept Modeling) dari Stanford Hazy Research dan Together AI adalah arsitektur text generation baru yang 10-31x lebih cepat dari diffusion language model. Tapi bukan pengganti LLM. Inilah bedanya.

NCM: arsitektur baru dari Stanford Hazy Research

Pada 9 Oktober 2026, Stanford Hazy Research dan Together AI merilis paper "Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation" di arXiv. Arsitekturnya berbeda dari LLM dan diffusion language model (DLM).

Cara kerja NCM punya tiga langkah. Pertama, multiscale residual VQ-VAE meng-encode text menjadi K level discrete codes, dari representasi kasar (pendek) ke halus (panjang). Kedua, transformer generate level by level, memprediksi semua codes dalam satu level secara paralel. Ketiga, hasilnya text yang dibangun dari struktur kasar ke detail halus, bukan token by token.

Ini berbeda dari LLM yang memprediksi next token secara sequential, dan berbeda dari DLM yang melakukan iterative denoising atas seluruh sequence sekaligus.

Angka: 10-31x lebih cepat, tapi dari diffusion, bukan LLM

Hasil benchmark NCM di skala sekitar 100 juta parameter. Di LM1B, NCM 21x lebih cepat dari diffusion baseline dengan perplexity yang lebih baik. Di OpenWebText, 10x lebih cepat dengan kualitas yang kompetitif. Di XSum untuk summarization, 31x lebih cepat dengan ROUGE-L yang sama persis.

Untuk training, NCM hanya butuh 4-5x lebih sedikit token, termasuk token untuk melatih tokenizer-nya sendiri. Di tugas Sudoku, NCM menyelesaikan 86.1 persen board yang paling sulit, dibanding 81.3 persen untuk baseline terkuat, dan cukup 12 pemanggilan generator, bukan 16.

Tapi ada satu hal yang harus ditegaskan: perbandingan ini dengan diffusion language model, BUKAN dengan LLM frontier. DLM generate dengan melakukan denoising berulang atas seluruh sequence, dan itulah yang membuatnya lambat. NCM memang lebih cepat dari DLM, tapi belum pernah dibandingkan langsung dengan GPT-6 atau Claude.

LLM vs NCM: dua pendekatan berbeda

Perbedaan fundamentalnya sederhana. LLM memprediksi next token secara sequential, dan setiap token bergantung pada token sebelumnya. NCM memprediksi "concept" (representasi kasar) dulu, baru me-refine ke detail. Karena tidak ada ketergantungan antar token di dalam satu level, NCM bisa generate lebih cepat thanks parallelism.

Tapi ini belum terbukti di skala frontier, dan itu yang perlu dijagadatasets Terms.

Limitasi NCM: skala kecil dan tokenizer terpisah

Keterbatasan utama NCM ada di skalanya. Eksperimen utama dilakukan di sekitar 100 juta parameter. Scaling runs sampai 725 juta parameter masih disebut "preliminary" oleh penulisnya. Belum ada bukti apa pun bahwa keuntungan NCM bertahan di skala miliar atau triliun parameter seperti model frontier sekarang.

Tokenizer-nya juga terpisah. NCM butuh VQ-VAE yang dilatih sendiri lalu dibekukan. Artinya tokenizer tidak bisa belajar bersama dengan generator seperti pada model autoregressive biasa. Ini menambah satu komponen yang harus dilatih dan satu pipeline tambahan yang harus dirawat.

Selain itu, hierarchy depth-nya fixed. Bahkan continuation pendek harus melewati semua level dari yang paling kasar. Untuk output singkat, ini pemborosan. Penulis juga occasionally menemukan artifact di transisi antara coarse levels, yang menandakan batas-batas level belum bersih sepenuhnya.

Dan yang paling penting: belum ada perbandingan dengan frontier LLM sama sekali. Semua benchmark dilakukan terhadap diffusion baseline, bukan terhadap GPT-6 atau Claude. Tim peneliti sendiriWRITE rencana untuk scaling lebih besar, training tokenizer dan generator bersama, dan adaptive computation yang membuat model tidak[classifications] effort sama untuk output yang sulit maupun yang mudah.

NCA: Neural Cellular Automata sebagai synthetic pre-training

Di luar NCM, ada tren lain yang menarik: Neural Cellular Automata atau NCA sebagai sumber data sintetis untuk pre-pre-training LLM.

Paper dari Han dan rekannya pada Maret 2026 menunjukkan bahwa pre-pre-training dengan NCA bisa meningkatkan language modeling hilir sampai 6 persen dan mempercepat konvergensi sampai 1.6 kali. Temuan yang paling mengejutkan: 164 juta token NCA mengalahkan 1.6 miliar token bahasa alami dari C4, bahkan dengan komputasi yang lebih besar.

NCA juga transfer ke benchmark reasoning seperti GSM8K, HumanEval, dan BigBench-Lite, dengan gain 4-6 persen di semua domain. Hipotesisnya: NCA mengajari model untuk menelusuri aturan laten dan menerapkannya secara konsisten, sementara data bahasa alami yang dangkal dan banyak diulang-ulang lebih banyak mengajarkan pola permukaan.

Analysis: NCM bukan pengganti LLM, tapi bukti bahwa arsitektur bisa beda

Perbandingan ini penting dibaca dengan hati-hati, karena hampir semua artikel yang beredar menyimpulkan hal yang keliru dari angka yang sama.

NCM bukan pengganti LLM. Ia bukti bahwa arsitektur generation bisa berbeda dari autoregressive next-token prediction, dan bahwa pilihan itu punya konsekuensi ekonomi yang nyata.

Angka-angka ini bukan kebaruan akademis. Untuk tim yang menjalankan agent di produksi, selisih antara model yang butuh 3 detik dan model yang butuh 0.3 detik menentukan apakah fitur itu bisa dipakai interaktif atau cuma diproses di belakang layar.

Tapi angka yang sama punya sisi lain. Timeout yang lebih pendek berarti lebih sedikit kesempatan bagi model untuk berpikir di tengah jawaban. Efisiensi yang didapat dengan memotong langkah penalaran punya harga, dan harga itu belum diukur di skala yang besar.

Yang perlu dipahami: speedup 10-31x NCM diukur terhadap diffusion baseline, bukan terhadap frontier LLM. Semua ringkasan yang menulis "NCM vs LLM" misleading. Ini paper tentang non-autoregressive generation, bukan tentang mengalahkan GPT-6. Untuk membuktikannya, butuh skala jauh lebih besar, berbagai workload, dan kondisi serving nyata.

Kenapa ini penting untuk industri AI

Bayangkan sebuah aplikasi yang memproses 10 juta request per hari dengan model autoregressive. Kalau satu token keluar dalam 50 milidetik dan aplikasinya butuh 500 token per request, total waktu komputasi yang terpakai adalah 250 juta detik token, atau sekitar 8 tahun waktu CPU.

Sekarang bayangkan model yang bisa memproses level secara paralel. Berapa banyak waktu komputasi yang dihemat? Model yang sama, tapi sepuluh kali lebih cepat. Untuk perusahaan yang GPU-nya jadi biaya terbesar, selisih ini bukan soal performa, tapi soal apakah skala itu terjangkau.

Dan angka itu yang membuat paper ini penting, meskipun eksperimennya masih kecil. Minat industri AI sekarang tidak lagi hanya "model mana yang paling pintar." Minat itu bergeser ke "model mana yang paling murah per token." Di tengah pasar yang harga tokennya turun terus, arsitektur yang lebih efisien punya nilai ekonomi yang jauh lebih besar daripada selisih satu poin benchmark.

Tapi ada jebakan: efisiensi yang dibeli dengan mengorbankan kejujuran model adalah hutang. Kasus M3.1 Flash persis seperti itu. Ia murah, cepat, dan terlihat pintar, tapi kalau dipakai untuk hal yang butuh kepastian, satu jawaban salah bisa lebih mahal daripada ribuan token yang dihemat.

Peta: NCM dan NCA dalam AI 2026

NCM adalah salah satu dari beberapa pendekatan baru yang muncul sepanjang 2026. Selain NCM, ada NCA untuk synthetic pre-training, dan berbagai arsitektur hybrid yang menggabungkan autoregressive dan diffusion.

Yang menarik: hampir semua pendekatan baru ini fokus pada efisiensi, bukan pada capability. NCM lebih cepat, NCA lebih murah dilatih, diffusion lebih paralel. Tapi tidak ada satu pun yang mengalahkan LLM dalam hal capability.

Ini menunjukkan industri AI sedang bergeser dari "siapa yang paling pintar" ke "siapa yang paling efisien." Dan itu pergeseran yang sehat: capability sudah cukup untuk banyak use case, sekarang yang menentukan adalah biaya dan latensi. Trennya tidak berdiri sendiri. Model Meta, DeepSeek, MiniMax, dan Mistral semuanya bersaing soal efisiensi biaya, bukan soal dominasi di benchmark. Pemenang 2026 belum tentu model dengan skor tertinggi, tapi model yang membuat alur kerja agent masuk akal secara biaya pada sepuluh juta request per hari.

Kesimpulan: NCM adalah eksperimen, bukan revolusi

NCM adalah arsitektur menarik dengan hasil yang promising di skala kecil. Tapi jarak antara 100 juta parameter dan frontier LLM yang trillions parameter sangat jauh. Belum ada bukti bahwa keuntungan NCM bertahan di skala besar.

Yang perlu diperhatikan:

• NCM 10-31x lebih cepat dari diffusion baseline, bukan dari LLM
• Belum ada perbandingan dengan frontier LLM (GPT-6, Claude, Gemini)
• Skala eksperimen: sekitar 100 juta parameter (preliminary 725 juta)
• Tokenizer terpisah yang dibekukan, hierarchy depth fixed
• Ada artifact sesekali di transisi antar coarse level
• Tim berencana: scaling lebih besar, tokenizer dan generator dilatih bersama, adaptive computation
• NCA sebagai synthetic pre-training: mengalahkan bahasa alami dengan 10x lebih sedikit data

Untuk saat ini, NCM adalah penelitian menarik, bukan pengganti LLM. Tapi ia menunjukkan bahwa arsitektur text generation bisa berbeda dari autoregressive next-token prediction. Dan itu sendiri sudah berharga.

Apa yang perlu diperhatikan

• NCM 10-31x lebih cepat dari diffusion baseline, bukan dari LLM
• Belum ada perbandingan dengan frontier LLM (GPT-6, Claude, Gemini)
• Skala eksperimen: sekitar 100 juta parameter (preliminary 725 juta)
• Tokenizer terpisah yang dibekukan, hierarchy depth fixed
• Ada artifact sesekali di transisi antar coarse level
• Tim berencana: scaling lebih besar, tokenizer dan generator dilatih bersama, adaptive computation
• NCA sebagai synthetic pre-training: mengalahkan bahasa alami dengan 10x lebih sedikit data
• NCM menunjukkan bahwa arsitektur text generation bisa berbeda dari autoregressive