Long-Horizon-Terminal-Bench 2.0 Yayınlandı: Yapay Zeka Ajanlarının Uzun Vadeli Performans Ölçümünde Yeni Dönem

Zongxia Li liderliğindeki 17 araştırmacı tarafından 9 Ekim 2026 tarihinde duyurulan Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0), yapay zeka ajanlarının uzun süreli ve kesintisiz iş akışlarındaki yetkinliklerini ölçmek üzere kapsamlı bir şekilde güncellendi. Orijinal Long-Horizon-Terminal-Bench altyapısının üzerine inşa edilen platform, ajanların yalnızca nihai durumlarının ikili bir kontrolden geçip geçmediğini değil, süreç odaklı ödüllerle uzatılmış iş akışları boyunca ilerlemeyi sürdürüp sürdüremediğini ölçüyor.

Orijinal Altyapının Geliştirilmesi ve 77 Görevlik Kapsam

LHTB 2.0, orijinal Long-Horizon-Terminal-Bench'in 46 orijinal görevini korurken, görev ve değerlendirme altyapısındaki kusurları gideriyor ve 31 görevi sistematik bir şekilde genişletiyor. Toplamda 13 farklı alanı ve sekiz farklı görev tipini kapsayan yeni platform, 77 görevi bir araya getiriyor.

Genişletilen görevler, sistematik bir yeniden yapılandırma boru hattı aracılığıyla üretiliyor. Bu süreçte araştırmacılar şu adımları izliyor: - Çalışan bilimsel veya mühendislik ürünü bir eserden yola çıkılıyor. - Parametrelendirilmiş referans uygulama kullanılarak birden fazla senaryo oluşturuluyor. - Bu senaryoların altısı davranışsal kanıt olarak sergilenirken, üçü değerlendirme amacıyla saklanıyor. - Kamuya açık çıktıların ezberlenmesi engellenirken kısmî ilerlemenin ödüllendirilmesi için yoğun ilerleme merdivenleri devreye sokuluyor.

Süre Sınırları ve Doğrulayıcı Kontrol Noktaları

Platform, çalışma süresi ve değerlendirme sıklığı açısından da çıtayı yükseltiyor. Önceki sürümde 90 dakika olan değerlendirme ufku yeni sürümde üç saate çıkarıldı. Bunun yanı sıra, her 30 dakikada bir kaydedilen doğrulayıcı kontrol noktaları sayesinde, bir modelin çalıştırma süresi boyunca gösterdiği sürdürülebilir ilerleme doğrudan ölçülebiliyor.

Frontier Modellerin Performans Karnesi

Araştırmacılar, 15 farklı öncü yapay zeka modelini kullanarak toplam 1.145 puanlı model-görev çalıştırması gerçekleştirdi. Elde edilen veriler, modellerin uzun vadeli performansındaki rekabeti net bir şekilde ortaya koyuyor:

- GPT-6-astra: 0.69 yoğun ortalama ödül skoru ve 0.95 eşiğini aşan 37 göreviyle liderliği göğüslüyor. - GPT-5.6-sol: 0.67 yoğun ortalama ödül ve aynı eşikte 32 görev tamamlayarak ikinci sırada yer alıyor.

İkili Değerlendirme ile Süreç Odaklı Yaklaşımın Karşılaştırması

Test sonuçları, geleneksel yöntemlerle süreç odaklı yaklaşımlar arasındaki devasa farkı gözler önüne seriyor. 30 yeniden yapılandırma görevinde, geleneksel ikili doğrulayıcı skorları ortalama 0.221 olarak gerçekleşirken, yoğun merdiven skorları ortalama 0.653 seviyesine ulaşıyor. Bu veri, sonuç odaklı değerlendirmenin yapay zeka ajanlarının kaydettiği önemli ara ilerlemeleri göz ardı ettiğini kanıtlıyor.

LHTB 2.0; saatler süren operasyonlarda güvenilir ajan yürütülmesini incelemek için daha geniş, sertleştirilmiş ve süreç farkındalığına sahip bir test ortamı sunuyor.