Kısaca
- Asistan, incelediği belgedeki cümleyi kullanıcı talimatı gibi uyguladığında kullanıcının istemediği bir işlemi yapmaya yönelebilir.
- Uygulama, modelin belgeye nasıl tepki verdiğinden bağımsız olarak kullanıcının veri erişimini ve asistanın işlem iznini denetlemelidir.
Bir belgeyi özetlemesini istediğiniz asistan, belgenin içindeki “önceki talimatları yok say” cümlesine uyuyorsa incelediği metni çalışma talimatı olarak kabul etmiş demektir. Prompt enjeksiyonu denilen bu durumda içerik, modeli kullanıcının istemediği bir davranışa yönlendirebilir.
Talimat doğrudan mesajla verilebildiği gibi bir dosyaya, e-postaya veya web sayfasına da yerleştirilebilir. OWASP'ın açıklaması, dışarıdan gelen içerikteki yönlendirmeyi dolaylı prompt enjeksiyonu olarak açıklar.
Asistan, kurum içi belgedeki ifadeyi çalışma talimatı olarak kabul etmemeli
Dosyanın ortak klasörde bulunması, içindeki her cümleyi güvenilir yapmaz. Belge dışarıdan gelmiş veya sonradan değiştirilmiş olabileceği için uygulama, aramada bulduğu metinle kendi çalışma talimatını ayrı ele almalıdır.
Modele daha uzun bir gizlilik açıklaması yazmak da kullanıcı kimliğini ve işlem iznini denetleme ihtiyacını kaldırmaz. Asistan belge okumaya yetkiliyken e-posta göndermeye ya da dosya silmeye yetkili olmayabilir.
| Kontrol | Sorulacak soru |
|---|---|
| Belge erişimi | Uygulama, kullanıcının asistanın okuyacağı belgeye erişme yetkisini doğruluyor mu? |
| Araç izni | Asistanın bu kullanıcı adına önerdiği işlemi yapmasına uygulama izin veriyor mu? |
| Veri aktarımı | Uygulama, çıktının gönderileceği adresi veya sistemi kullanıcının yetkisine göre sınırlandırıyor mu? |
| Onay | Kullanıcı, sonucu önemli olan işlemi başlamadan önce içeriği ve hedefiyle birlikte onaylıyor mu? |
Asistanın belge talimatına tepkisini gerçek veri içermeyen dosyayla test edin
Özetleme görevi için oluşturduğunuz deneme belgesine, yanıtın sonuna belirli bir kelime eklemesini isteyen zararsız bir cümle yerleştirebilirsiniz. Bu deneme modelin belgedeki talimattan etkilenip etkilenmediğini gösterir, fakat güvenliği yalnızca o kelimenin yanıtta bulunmasına göre değerlendirmeyin.
Asistanın hangi araca erişebildiğini ve çıktıyı nereye gönderebildiğini de inceleyin. Testte gerçek müşteri dosyası, sır veya alıcı adresi kullanmak yerine bu amaçla hazırlanmış örneklerle çalışın.
Belgedeki şüpheli kelimeyi engellemekle yetinmeden uygulamanın işlem iznini de sınayın
Hata oluştuğunda belge sürümünü, soruyu, beklenen davranışı ve uygulanan kontrolün sonucunu kaydedin. Ardından aynı isteğin farklı ifadelerini deneyerek düzeltmenin yalnızca tek bir cümleyi engelleyip engellemediğini kontrol edin.
Belgedeki yönlendirmeyi veri ve işlem izinleriyle birlikte değerlendirmek için güvenli kurumsal yapay zeka yazısına, Feza'daki kontroller için güvenlik sayfasına bakabilirsiniz.






