Yapay Zeka Modellerinin Eğitiminde Çığır Açan Yöntem: Ters Akıl Yürütme Modelleri

1 Ekim 2026 tarihinde arXiv platformunda yayımlanan ve COLM 2026 Verimli Akıl Yürütme Çalıştayı'nda sunulan yeni bir araştırma, büyük dil modellerinin eğitim sonrası süreçlerindeki en büyük iki darboğaza çözüm sunuyor. Eric O. Korman imzasını taşıyan çalışmada, yalnızca yanıt verilerini kullanarak zincirleme akıl yürütme izleri üreten ve hesaplama verimliliğini artıran Ters Akıl Yürütme Modelleri tanıtıldı. Qwen3-0.6B modeli üzerinde test edilen bu yeni yaklaşım, zorlu istemlerde pass@1 başarısını yaklaşık iki katına çıkarırken, test aşamasında doğrulama doğruluğunu da kayda değer ölçüde artırıyor.

Maliyet ve Verimlilik İkilemine Çözüm

Büyük dil modellerinde akıl yürütme yeteneklerinin geliştirilmesi, geleneksel olarak maliyetli bir gözetim ile hesaplama verimsizliği arasında zor bir denge kurulmasını gerektiriyordu. Denetimli ince ayar genellikle açık zincirleme akıl yürütme izlerine ihtiyaç duyuyor. Ancak birçok gerçek dünya uygulamasında yalnızca istem-yanıt ikilileri bulunuyor ve doğru zincir dizinleri eksik kalıyor, bu da yöntemi veri açısından verimsiz kılıyor.

Öte yandan, doğrulanabilir ödüllerle yapılan pekiştirmeli öğrenme zincir verisi olmadan çalışabiliyor olsa da hesaplama açısından oldukça verimsiz çalışıyor. Bu yöntem, her optimizasyon adımında birden fazla otoregresif tamamlama gerektiriyor ve bu tamamlama süreçlerinin hiçbirisi sıfırdan farklı bir politika gradyanı garanti etmiyor. Korman’ın araştırması, zincir verilerini gizli değişkenler olarak ele alan ve yalnızca yanıt verilerini kullanan bir öz-damıtma tekniğiyle bu iki yaklaşım arasında yeni bir orta yol öneriyor.

Çevrimdışı Damıtma ve Qwen3 Üzerindeki Performans

Önerilen mimari, orijinal modelin akıl yürütme izlerini yanıt koşuluna bağlı olarak üreten ortak bir ters akıl yürütme LLM'i eğitilmesine dayanıyor. Bu ters model bir kez eğitiliyor ve gelen yanıt verisi partileri genelinde yeniden kullanılıyor. Tüm üretim işlemlerinin çevrimdışı ve önden gerçekleştirilmesi, bu yaklaşımı sürekli eğitim süreçleri için son derece elverişli kılıyor.

Araştırmada Qwen3-0.6B modeli kullanılarak Countdown and GSM8K görevleri üzerinde testler gerçekleştirildi. Yapılan değerlendirmelere göre, GRPO eğitimi doygunluğa ulaştıktan sonra ters modelden gerçekleştirilen tek bir çevrimdışı damıtma turu, zorlu istemlerde pass@1 oranını kabaca iki katına çıkardı. Countdown görevinde, önerilen yöntem her karışım oranında en uzun kuyruk metriklerinin tamamında reddetme temelli örnekleme öz-damıtmasını geride bıraktı (GSM8K üzerinde ise daha küçük kazançlar elde edildi). Tasarım gereği reddetme örneklemesinin, modelin kendi başına hiç çözemediği problemlerde herhangi bir sinyal üretemediği, yeni yöntemin ise bu dezavantajı aştığı vurgulandı.

İkinci Bir Rol: Doğrulama ve Test Zamanı Seçimi

Çalışmanın en dikkat çekici yan ürünlerinden biri de ters modelin ikincil bir kullanım alanını ortaya koyması oldu. Eğitilen ters model, doğruluk açısından güvenilir bir denetçi olarak işlev görebiliyor. Test aşamasında en iyi n seçimi için kullanıldığında, Countdown görevindeki seçim doğruluğunu çoğunluk oylaması ile elde edilen 0,753 seviyesinden 0,969 seviyesine taşıdı.

Sürekli eğitim süreçlerinde taze verilerle devam eden GRPO eğitimi, zorlu pass@1 metriklerinde hafif bir avantaj korurken, pass@8 ve pass@32 metriklerinde ise her adımda yeni çıktı dizileri üreten damıtma yönteminin gerisinde kalıyor. Araştırma, yapay zeka modellerinin verimli eğitimi ve doğrulanması adına hesaplama maliyetlerini düşüren ve mevcut veri kısıtlamalarını aşan güçlü alternatif bir çerçeve sunuyor.