Aktivasyon Problarının İhtiyaç Duyduğu Sentetik Veri Miktarını Zorluk Değil Kapsam Belirliyor

Araştırmacı Ankush Checkervarty, 6 Ekim 2026 tarihinde arXiv platformunda yayınlanan "Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs" başlıklı çalışmasında, dağıtık büyük dil modellerini (LLM) gerçek zamanlı izlemek için kullanılan aktivasyon problarının (activation probes) ne kadar sentetik veriye ihtiyaç duyduğunu masaya yatırdı. Çalışma, 10 ile 590 sentetik örnek arasındaki öğrenme eğrilerini inceleyerek, veri gereksinimini belirleyen temel unsurun görevin zorluğu olmadığını; aksine veri "kapsamı" (coverage) ve türler arası aktarılabilirlik olduğunu kanıtladı.

Üç Farklı İzleme Konsepti ve Öğrenme Eğrileri

Araştırma kapsamında, dil modellerinin denetlenmesinde kritik rol oynayan üç temel izleme konsepti ele alındı: yüksek riskli durumlar (high-stakes situations), bir kişiye zarar verebilecek yanıtlar ve kullanıcının talimatlarına uymayan yanıtlar (instruction-following failures). Bu konseptler; 14 farklı tutulan değerlendirme dağılımı (held-out evaluation distributions) ve üretici LLM ile komut detaylarının değiştirildiği dört farklı prob modeli üzerinde test edildi.

Elde edilen bulgulara göre, veri gereksinimi izlenen konseptin türüne göre belirgin farklılıklar gösteriyor. Gemma-3-27B-IT modeli üzerinde yapılan testlerde, yüksek riskli durumlar ve zararlı yanıtları tespit eden problar, yalnızca 80 adet sentetik örnekten itibaren performans platolarının çok küçük bir pay (birkaç yüzde bir) yakınına ulaşabiliyor. Buna karşın, talimat uyumsuzluklarını izleyen probların tatmin edici bir seviyeye ulaşabilmek için bu miktarın kat kat fazlasına ihtiyaç duyduğu tespit edildi. Çalışma, konsept ve dağılım faktörlerinin toplam varyansın %42 ila %45'ini oluşturduğunu, üretici model, prob modeli ve komut detayının ise %10'dan daha az bir paya sahip olduğunu ortaya koydu.

Zorluk Derecesi Yerine Kapsam Faktörü

Analizler, her bir değerlendirme dağılımının kendi türü içindeki medyan yarı kazanç boyutunun (half-gain size) tüm konseptler altında 7 ila 11 arasında değişen sentetik örnekle sınırlı olduğunu gösterdi. Yani verinin kendi türü içerisindeki zorluk derecesi, ihtiyaç duyulan hacmi belirlemede birincil etken değil.

Veri hacmindeki asıl ayrışma, örneklerin bir türden diğerine ne ölçüde aktarılabileceğinden (transferability) kaynaklanıyor. Yüksek riskli durumlarda bir türün örnekleri diğer türleri neredeyse tamamen kapsarken, zararlı yanıtlar kategorisinde bu oran düşüyor. Talimat izleme konseptinde ise hiçbir tür diğerini tam olarak kapsamadığı için türler arası geçiş en alt düzeyde kalıyor. Bu durum, genişliğin (breadth) önemini konsept bazında değiştiriyor: Yüksek riskli durumlarda tek bir tür diğerlerini kapsadığı için çoklu türler neredeyse gereksizleşirken, talimat izleme senaryolarında çok sayıda farklı veri türü zorunlu hale geliyor.

Açık Kaynak Paylaşım ve Model İzleme Geleceği

Araştırmacı, bulguların doğrulanması ve gelecekteki çalışmaların desteklenmesi amacıyla değerlendirme süitlerini, geliştirme setlerini (dev sets) ve üretilen veri setlerini kamuoyunun erişimine açtı. Yapay zeka güvenliği ve model denetimi tartışmalarının hız kazandığı bir dönemde, bu tür ampirik bulgular, model güvenliği için harcanan hesaplama ve sentetik veri üretim bütçelerinin çok daha verimli yönetilmesine zemin hazırlıyor.