Feza
Kurumsal kullanım için yapay zeka modeli nasıl seçilir?
Yapay Zeka Dönüşümü

Kurumum için hangi yapay zeka modelini seçmeliyim?

Kurumunuza uygun yapay zeka modelini seçerken doğruluk, Türkçe kullanımı, maliyet ve veri koşullarını aynı görev ve belgeler üzerinden karşılaştırın.

Kısaca

  • Modeli seçmeden önce hangi işi yapacağını ve sonucunun hangi koşulda kabul edileceğini belirleyerek bütün adayları aynı dosyayla karşılaştırın.
  • Modelin doğruluğunu değerlendirirken Türkçe kullanımını, çalışanın kontrol süresini, toplam maliyeti ve verinin hangi koşulda işlendiğini birlikte inceleyin.

Kurumunuz için model seçerken başlangıç sorusu “En güçlü model hangisi?” değil, “Bu model hangi işi yapacak?” olmalı. Sözleşmedeki ödeme koşulunu bulmakla bir tablodan tutar çıkarmak farklı beceriler gerektirdiği için bir görevdeki iyi sonuç, diğerinde de aynı başarıyı beklemek için yeterli değildir.

Bu yüzden karşılaştırmaya, ekibinizin gerçekten kullandığı belgeler ve önceden belirlenmiş kabul ölçütleriyle başlayın. Anthropic'in değerlendirme rehberi, göreve özgü değerlendirmeyi bu nedenle öne çıkarır.

Modelden beklediğiniz sonucu gerçek bir görev örneğiyle tarif edin

“Belgelerle çalışacak” demek yerine modelin sözleşmedeki ödeme koşulunu bulmasını ve ilgili maddeyi göstermesini isteyin. Sonucu kimin inceleyeceğini ve hangi hatanın kabul edilemeyeceğini de baştan yazarsanız modelleri aynı beklentiyle karşılaştırabilirsiniz.

ÖlçütKontrol sorusu
DoğrulukModel, görevde istenen bilgiyi kaynak belgeden doğru ve eksiksiz çıkarabiliyor mu?
Türkçe kullanımıModel, sektör terimini doğru kullanarak belgenin anlamını doğal Türkçeyle aktarabiliyor mu?
Belgeyi değerlendirmeModel, farklı sayfalardaki ilgili bilgiyi birbirine karıştırmadan değerlendirebiliyor mu?
Kaynak gösterimiModelin gösterdiği madde veya alıntı, yanıttaki iddiayı gerçekten destekliyor mu?
Süre ve maliyetÇalışanın kontrol emeği dahil kullanılabilir sonuca ulaşmak ne kadar süre ve maliyet gerektiriyor?
Veri koşullarıSağlayıcı içeriği nerede işliyor, ne kadar saklıyor ve model eğitiminde kullanıyor mu?

Türkçe kontrolünde yazım kadar anlamı da inceleyin. Model “ödenebilir” ifadesini “ödenmelidir” diye özetlediğinde cümle akıcı görünse bile yükümlülüğü değiştirmiş olur. Kaynak maddesini göstermesi de bu yorumu kendiliğinden doğru yapmaz.

Modeli eksik bilgi içeren ve farklı sayfaları birleştirmeyi gerektiren belgelerle de deneyin

Düzenli dosyaların yanında eksik bilgi içeren ve farklı sayfaları birlikte okumayı gerektiren belgeler kullanın. Yanıtları sonuçları görmeden hazırladığınız ölçütlerle değerlendirerek doğru, eksik ve yanlış yanıtı birbirinden ayırın. Bilgi dosyada bulunmuyorsa modelin bunu söylemesi doğru davranış olabilir, ancak dosyada bulunan yanıtı atlaması aynı şekilde değerlendirilmemelidir.

Her iş için yeterli olacak sabit bir örnek sayısı yoktur. Belge çeşitliliği ve hatanın etkisi arttıkça değerlendirmeyi genişletirken model sürümünü, talimatı ve kullanılan belge okuma aracını da kaydedin.

Yanıt kalitesiyle veri koşullarını birlikte değerlendirin

Hız ve fiyat karşılaştırmasına çalışanın kontrol süresini de katın. Bir yanıtı birkaç kez düzelttirmeniz gerekiyorsa ilk yanıtın ucuz veya hızlı olması toplam maliyeti anlatmaz.

Dosyanın nerede saklandığını, hangi sağlayıcıda işlendiğini ve eğitimde kullanılıp kullanılmadığını ayrı ayrı doğrulayın. Onaylı model kullanılamadığında sistemin hangi alternatife geçtiği de aynı değerlendirmenin parçasıdır.

Feza, farklı sağlayıcıların modellerini tek arayüzde kullanma imkanı sunar. Kurumunuz kullanılabilecek modelleri ve işleme bölgelerini belirleyebilir. Ekipler, projeler ve veri türleri için daha dar sınırlar da tanımlayabilir. Veriler model eğitiminde kullanılmaz.

Model değiştiğinde aynı örneklerle yeniden değerlendirme yapmanız önceki sonuçla karşılaştırmayı kolaylaştırır. Bu çalışmayı dönüşüm yol haritasıyla birlikte planlayabilir, belgeyle yürütülebilecek görevleri Sohbet ve Belgeler sayfasında inceleyebilirsiniz.

Yazı Hakkında

Sık sorulan sorular.

Kurumsal kullanım için tek bir en iyi model var mı?

Her iş için geçerli tek model yerine, görevde beklediğiniz doğruluğu veri koşulu ve toplam maliyetle birlikte karşılayan seçeneği arayın. Aynı model bütün görevlerde aynı sonucu vermeyebilir.

Kaç örnekle karşılaştırma yapmalıyım?

Başlangıçta küçük bir dosya grubuyla belirgin sorunu görebilirsiniz, ancak sabit örnek sayısı her işe yetmez. Belge çeşitliliği ve hatanın etkisi arttıkça testi genişletin.

Aynı kurumda birden fazla model kullanılabilir mi?

Farklı görevlerde farklı model kullanılabilir, fakat hangi verinin hangi sağlayıcıda işleneceği ve her görevde hangi kontrolün yapılacağı kurum tarafından belirlenmelidir.

Model güncellendiğinde yeniden test gerekir mi?

Model değişikliğinden etkilenebilecek görevi önceki örnekle yeniden deneyin. Özellikle yanıtın doğruluğunu, dayandığı kaynağı ve çıktı biçimini karşılaştırmanız gerekir.

Sonraki Adım

Bizimle iletişime geçin.

Güvenli yapay zekayla işlerinizi hızlandırın.