Sejak 2021, LoRA membekukan bobot model dan melatih sisipan kecil saja. Dua tahun kemudian QLoRA membuat model 65 miliar parameter muat di satu GPU 48 GB.
GPU menang bukan karena otaknya lebih besar, tapi karena ribuan core kecil bisa kerja bareng. Begini pergeserannya sejak CUDA 2007 sampai AlexNet 2012.