Feza
Prompt enjeksiyonu belgelerde nasıl çalışır?
Yapay Zeka Güvenliği

Belgedeki gizli talimat yapay zeka asistanını nasıl yönlendirir?

Belgeye yerleştirilen talimatın yapay zeka asistanını nasıl yönlendirebildiğini ve bu riske karşı erişimle işlem izinlerini nasıl denetleyeceğinizi inceleyin.

Kısaca

  • Asistan, incelediği belgedeki cümleyi kullanıcı talimatı gibi uyguladığında kullanıcının istemediği bir işlemi yapmaya yönelebilir.
  • Uygulama, modelin belgeye nasıl tepki verdiğinden bağımsız olarak kullanıcının veri erişimini ve asistanın işlem iznini denetlemelidir.

Bir belgeyi özetlemesini istediğiniz asistan, belgenin içindeki “önceki talimatları yok say” cümlesine uyuyorsa incelediği metni çalışma talimatı olarak kabul etmiş demektir. Prompt enjeksiyonu denilen bu durumda içerik, modeli kullanıcının istemediği bir davranışa yönlendirebilir.

Talimat doğrudan mesajla verilebildiği gibi bir dosyaya, e-postaya veya web sayfasına da yerleştirilebilir. OWASP'ın açıklaması, dışarıdan gelen içerikteki yönlendirmeyi dolaylı prompt enjeksiyonu olarak açıklar.

Asistan, kurum içi belgedeki ifadeyi çalışma talimatı olarak kabul etmemeli

Dosyanın ortak klasörde bulunması, içindeki her cümleyi güvenilir yapmaz. Belge dışarıdan gelmiş veya sonradan değiştirilmiş olabileceği için uygulama, aramada bulduğu metinle kendi çalışma talimatını ayrı ele almalıdır.

Modele daha uzun bir gizlilik açıklaması yazmak da kullanıcı kimliğini ve işlem iznini denetleme ihtiyacını kaldırmaz. Asistan belge okumaya yetkiliyken e-posta göndermeye ya da dosya silmeye yetkili olmayabilir.

KontrolSorulacak soru
Belge erişimiUygulama, kullanıcının asistanın okuyacağı belgeye erişme yetkisini doğruluyor mu?
Araç izniAsistanın bu kullanıcı adına önerdiği işlemi yapmasına uygulama izin veriyor mu?
Veri aktarımıUygulama, çıktının gönderileceği adresi veya sistemi kullanıcının yetkisine göre sınırlandırıyor mu?
OnayKullanıcı, sonucu önemli olan işlemi başlamadan önce içeriği ve hedefiyle birlikte onaylıyor mu?

Asistanın belge talimatına tepkisini gerçek veri içermeyen dosyayla test edin

Özetleme görevi için oluşturduğunuz deneme belgesine, yanıtın sonuna belirli bir kelime eklemesini isteyen zararsız bir cümle yerleştirebilirsiniz. Bu deneme modelin belgedeki talimattan etkilenip etkilenmediğini gösterir, fakat güvenliği yalnızca o kelimenin yanıtta bulunmasına göre değerlendirmeyin.

Asistanın hangi araca erişebildiğini ve çıktıyı nereye gönderebildiğini de inceleyin. Testte gerçek müşteri dosyası, sır veya alıcı adresi kullanmak yerine bu amaçla hazırlanmış örneklerle çalışın.

Belgedeki şüpheli kelimeyi engellemekle yetinmeden uygulamanın işlem iznini de sınayın

Hata oluştuğunda belge sürümünü, soruyu, beklenen davranışı ve uygulanan kontrolün sonucunu kaydedin. Ardından aynı isteğin farklı ifadelerini deneyerek düzeltmenin yalnızca tek bir cümleyi engelleyip engellemediğini kontrol edin.

Belgedeki yönlendirmeyi veri ve işlem izinleriyle birlikte değerlendirmek için güvenli kurumsal yapay zeka yazısına, Feza'daki kontroller için güvenlik sayfasına bakabilirsiniz.

Yazı Hakkında

Sık sorulan sorular.

RAG kullanmak prompt enjeksiyonunu önler mi?

RAG, modelin belge kullanmasını sağlar ancak belgedeki yönlendirici talimatı kendiliğinden etkisiz hale getirmez. Erişim ve işlem kontrolü ayrıca uygulanmalıdır.

Şüpheli kelimeleri engellemek yeterli mi?

Aynı yönlendirme farklı ifadeyle yazılabileceği için yalnızca şüpheli kelimeyi engellemek yeterli değildir. Uygulamanın araç ve veri sınırını da test edin.

Testte gerçek veri kullanmalı mıyım?

Testi gerçek müşteri bilgisi veya alıcı adresiyle değil, bu amaçla hazırladığınız zararsız belge ve örnek veriyle yürütün.

Sonraki Adım

Bizimle iletişime geçin.

Güvenli yapay zekayla işlerinizi hızlandırın.