Döngüsel Dil Modelleri İçin Çığır Açan Yaklaşım: Dinamik Çapraz Döngülü Politika Damıtma Yöntemi Geliştirildi

Yi Wang, Rui Qian, Yu Li, Haoyang Yao ve Wenjie Wang'dan oluşan araştırma ekibi, 7 Ekim 2026 tarihinde arXiv platformunda yayımladıkları çalışmada, ortak parametreleri yeniden kullanarak akıl yürütme kapasitesini artıran döngüsel dil modelleri (LoopLM) için LoopOPD ve D-LoopOPD (Dynamic Cross-Loop On-Policy Distillation) çerçevelerini duyurdu. ICLR 2027 konferansına sunulan bu yeni yöntem, harici bir öğretmene veya imtiyazlı bilgilere ihtiyaç duymaksızın, modelin kendi içindeki ek döngüsel hesaplamaları bir denetim kaynağı olarak kullanmasını sağlayarak sonradan eğitim sürecindeki kritik bir engeli ortadan kaldırıyor.

Döngüsel Dil Modellerinde Eğitim ve Denetim Zorlukları

Parametre verimliliği sunan döngüsel dil modelleri (LoopLM), aynı parametre kümesini ardışık hesaplama adımları boyunca yeniden kullanarak akıl yürütme süreçlerini ölçeklendirmek için tasarlanmıştır. Ancak bu mimarilerin sonradan eğitilmesi önemli zorlukları beraberinde getirmektedir. Mevcut yaklaşımlar genellikle iki temel dezavantajla karşılaşmaktadır: Ya seyrek olan ya da döngüler arasında genişletilmesi maliyetli olan ödül tabanlı denetimlere dayanmakta, ya da harici öğretmenlere ve imtiyazlı bilgilere bağımlı kalmaktadır. Bu durum, öğretmen mevcudiyetinin sınırlı olmasına veya öğretmen ile öğrenci arasında bağlam uyuşmazlığına yol açmaktadır.

LoopOPD ve D-LoopOPD Nasıl Çalışıyor?

Araştırmacılar bu sınırlamaları aşmak için LoopOPD adı verilen çapraz döngülü bir on-policy damıtma çerçevesi geliştirmiştir. Bu sistem, LoopLM içindeki ek döngüsel hesaplamayı modelin kendi denetim kaynağı olarak konumlandırır. Donmuş bir terminal döngü politikasını, öğrenci tarafından üretilen çıktılar üzerinde ara döngü öğrencisi için hesaplama açısından imtiyazlı bir öğretmen olarak kullanan LoopOPD, dışarıdan bir dış öğretmen veya ek bilgi gerektirmeden yoğun bir denetim mekanizması sunar.

Çerçevenin bir diğer bileşeni olan D-LoopOPD (Dynamic LoopOPD) ise, ortak model parametreleri güncellendikçe terminal döngü öğretmenini sürekli olarak yeniler. Bu dinamik güncelleme döngüsü, sistemin yinelemeli bir şekilde kendi kendini geliştirmesine olanak tanır. Çalışmada, damıtma güncellemelerinin döngü derinlikleri boyunca nasıl yayıldığı karakterize edilmiş ve tek bir güncellemenin her iki döngü derinliğinde eş zamanlı yerel iyileşme sağlayabileceği yeter koşullar türetilmiştir.

Deneysel Sonuçlar ve Genelleme Yeteneği

Ouro-Thinking modelleri üzerinde gerçekleştirilen deneyler, LoopOPD'nin matematiksel akıl yürütme performansını artırdığını, D-LoopOPD'nin ise dinamik öğretmen güncellemeleri sayesinde ek kazançlar sağladığını göstermiştir. Dikkat çekici bir şekilde, yalnızca matematiksel verilerle eğitilmelerine rağmen, ortaya çıkan modeller genel akıl yürütme ve kod üretimi kıyaslamalarında da iyileşme kaydetmiştir. Bu durum, döngüsel hesaplamanın LoopLM'ler için etkili bir denetim kaynağı olarak hizmet edebileceğini kanıtlamaktadır. Araştırma ekibi, kabul almasının ardından kod tabanını ve model kontrol noktalarını kamuoyuyla paylaşacağını belirtmiştir.

Yapay Zeka Araştırmalarında Öz-Geliştirme ve Doğrulama Eğilimleri

2026 yılının son çeyreğinde yayımlanan bu çalışma, yapay zeka topluluğunda ajan tabanlı sistemlerin ve dil modellerinin kendi kendine evrimleşmesi üzerine yürütülen geniş kapsamlı araştırmalarla paralellik göstermektedir. Ajanik yapay zekada doğrulanabilirlik ve sınırların incelenmesi, çalışma zamanı kısıtlı öz-evrim mekanizmaları ve difüzyon tabanlı planlama modelleri gibi eş zamanlı çalışmalar, büyük dil modellerinin dış müdahaleye en az düzeyde ihtiyaç duyarak kendi iç mekanizmalarıyla nasıl optimize edilebileceğine dair teorik ve pratik sınırları zorlamaktadır.