Kısaca
- Modeli seçmeden önce hangi işi yapacağını ve sonucunun hangi koşulda kabul edileceğini belirleyerek bütün adayları aynı dosyayla karşılaştırın.
- Modelin doğruluğunu değerlendirirken Türkçe kullanımını, çalışanın kontrol süresini, toplam maliyeti ve verinin hangi koşulda işlendiğini birlikte inceleyin.
Kurumunuz için model seçerken başlangıç sorusu “En güçlü model hangisi?” değil, “Bu model hangi işi yapacak?” olmalı. Sözleşmedeki ödeme koşulunu bulmakla bir tablodan tutar çıkarmak farklı beceriler gerektirdiği için bir görevdeki iyi sonuç, diğerinde de aynı başarıyı beklemek için yeterli değildir.
Bu yüzden karşılaştırmaya, ekibinizin gerçekten kullandığı belgeler ve önceden belirlenmiş kabul ölçütleriyle başlayın. Anthropic'in değerlendirme rehberi, göreve özgü değerlendirmeyi bu nedenle öne çıkarır.
Modelden beklediğiniz sonucu gerçek bir görev örneğiyle tarif edin
“Belgelerle çalışacak” demek yerine modelin sözleşmedeki ödeme koşulunu bulmasını ve ilgili maddeyi göstermesini isteyin. Sonucu kimin inceleyeceğini ve hangi hatanın kabul edilemeyeceğini de baştan yazarsanız modelleri aynı beklentiyle karşılaştırabilirsiniz.
| Ölçüt | Kontrol sorusu |
|---|---|
| Doğruluk | Model, görevde istenen bilgiyi kaynak belgeden doğru ve eksiksiz çıkarabiliyor mu? |
| Türkçe kullanımı | Model, sektör terimini doğru kullanarak belgenin anlamını doğal Türkçeyle aktarabiliyor mu? |
| Belgeyi değerlendirme | Model, farklı sayfalardaki ilgili bilgiyi birbirine karıştırmadan değerlendirebiliyor mu? |
| Kaynak gösterimi | Modelin gösterdiği madde veya alıntı, yanıttaki iddiayı gerçekten destekliyor mu? |
| Süre ve maliyet | Çalışanın kontrol emeği dahil kullanılabilir sonuca ulaşmak ne kadar süre ve maliyet gerektiriyor? |
| Veri koşulları | Sağlayıcı içeriği nerede işliyor, ne kadar saklıyor ve model eğitiminde kullanıyor mu? |
Türkçe kontrolünde yazım kadar anlamı da inceleyin. Model “ödenebilir” ifadesini “ödenmelidir” diye özetlediğinde cümle akıcı görünse bile yükümlülüğü değiştirmiş olur. Kaynak maddesini göstermesi de bu yorumu kendiliğinden doğru yapmaz.
Modeli eksik bilgi içeren ve farklı sayfaları birleştirmeyi gerektiren belgelerle de deneyin
Düzenli dosyaların yanında eksik bilgi içeren ve farklı sayfaları birlikte okumayı gerektiren belgeler kullanın. Yanıtları sonuçları görmeden hazırladığınız ölçütlerle değerlendirerek doğru, eksik ve yanlış yanıtı birbirinden ayırın. Bilgi dosyada bulunmuyorsa modelin bunu söylemesi doğru davranış olabilir, ancak dosyada bulunan yanıtı atlaması aynı şekilde değerlendirilmemelidir.
Her iş için yeterli olacak sabit bir örnek sayısı yoktur. Belge çeşitliliği ve hatanın etkisi arttıkça değerlendirmeyi genişletirken model sürümünü, talimatı ve kullanılan belge okuma aracını da kaydedin.
Yanıt kalitesiyle veri koşullarını birlikte değerlendirin
Hız ve fiyat karşılaştırmasına çalışanın kontrol süresini de katın. Bir yanıtı birkaç kez düzelttirmeniz gerekiyorsa ilk yanıtın ucuz veya hızlı olması toplam maliyeti anlatmaz.
Dosyanın nerede saklandığını, hangi sağlayıcıda işlendiğini ve eğitimde kullanılıp kullanılmadığını ayrı ayrı doğrulayın. Onaylı model kullanılamadığında sistemin hangi alternatife geçtiği de aynı değerlendirmenin parçasıdır.
Feza, farklı sağlayıcıların modellerini tek arayüzde kullanma imkanı sunar. Kurumunuz kullanılabilecek modelleri ve işleme bölgelerini belirleyebilir. Ekipler, projeler ve veri türleri için daha dar sınırlar da tanımlayabilir. Veriler model eğitiminde kullanılmaz.
Model değiştiğinde aynı örneklerle yeniden değerlendirme yapmanız önceki sonuçla karşılaştırmayı kolaylaştırır. Bu çalışmayı dönüşüm yol haritasıyla birlikte planlayabilir, belgeyle yürütülebilecek görevleri Sohbet ve Belgeler sayfasında inceleyebilirsiniz.






