Feza
Yetkisiz belgeler yapay zeka yanıtlarına nasıl sızar?
Yapay Zeka Güvenliği

Yetkim olmayan bir belgedeki bilgi yapay zeka yanıtına nasıl sızar?

Bir çalışanın erişemediği belgeyi yapay zekadan öğrenmesini önlemek için arama, kaynak bağlantısı ve saklanan yanıtta izin kontrolünü birlikte inceleyin.

Kısaca

  • Uygulama, asistanın kullanacağı belgeyi modele göndermeden önce kullanıcının o belgeyi görmeye yetkili olduğunu doğrulamalıdır.
  • Kullanıcıya kapalı bilgi dosya adı, alıntı veya saklanan yanıt üzerinden de sızabileceği için uygulama bu alanlarda aynı erişim iznini denetlemelidir.

Bir çalışan dosyayı doğrudan açamıyorken aynı dosyanın içeriğini yapay zeka asistanından öğrenebiliyorsa erişim izinlerinde bir eksik vardır. Dosya ekranındaki kısıt, asistanın belge aramasında uygulanmadığında gizli içerik yanıtın içine girebilir.

Bu nedenle yalnızca dosyanın açılıp açılmadığına değil, asistanın yanıtı hangi belgeyle hazırladığına da bakmanız gerekir. Belgenin adı, kısa bir alıntısı veya kaynak önizlemesi bile kullanıcının görmemesi gereken bilgiyi açığa çıkarabilir.

Uygulama, belgeyi modele göndermeden önce kullanıcının erişim iznini doğrulamalı

Belgelerden yararlanan bir asistan önce soruyla ilgili bölümleri arar, ardından bulduğu içeriği yanıtı hazırlayacak modele gönderir. RAG olarak bilinen bu yöntemde uygulama, kullanıcının erişemediği belgeyi arama sonucundan çıkarmalıdır. Modelden gizli bilgiyi paylaşmamasını istemek, bu denetimin yerini tutmaz.

Microsoft'un belge düzeyinde erişim kontrolü açıklaması da arama sonucunun kullanıcı izinleriyle sınırlandırılmasını ele alır. Kaynak sistemde bir yetki değiştiğinde arama dizininin ve saklanan yanıtların ne kadar sürede güncellendiğini ayrıca kontrol edin.

Kontrol noktasıNe ters gidebilir?Neye bakmalısınız?
Belge aramasıKullanıcıya kapalı içerik sonuçlara girebilirUygulama, arama sonucunu kullanıcının güncel belge iznine göre sınırlandırıyor mu?
Bağlantı hesabıGeniş yetkili bir hesabın okuduğu içerik herkese sunulabilirUygulama, bağlantı hesabı geniş yetkili olsa da gerçek kullanıcının erişim iznini ayrıca denetliyor mu?
Yanıt önbelleğiBir kişi için hazırlanan yanıt başkasına gösterilebilirUygulama, sakladığı yanıtı başka kullanıcıya gösterirken belge iznini yeniden kontrol ediyor mu?
İzin değişikliğiEkipten ayrılan kişi eski erişimini sürdürebilirKullanıcının yetkisi kaldırıldığında arama dizini ve yanıt önbelleği ne kadar sürede güncelleniyor?
Kaynak bağlantılarıDosya adı veya alıntı kısıtlı bilgiyi açığa çıkarabilirUygulama, kaynak başlığını ve alıntıyı gösterirken kullanıcının belgeye erişimini doğruluyor mu?

Belge erişimini yetkili ve yetkisiz kullanıcıyla aynı soruyu sorarak test edin

Gerçek bir sır içermeyen deneme belgesine ayırt edilebilir bir cümle ekleyip belgeyi yalnızca belirli bir ekibe açın. Ardından aynı soruyu belgeye erişebilen ve erişemeyen iki test kullanıcısıyla sorun. Yanıtla birlikte dosya adını, kaynak listesini ve önizlemeyi incelemek, yalnızca metne bakarak kaçırabileceğiniz sızıntıları bulmanızı kolaylaştırır.

Sonraki adımda yetkili kullanıcının erişimini kaldırarak yeni sorguyu, açık oturumu ve daha önce saklanan yanıtı yeniden deneyin. Bu test, kullanıcının önceden indirdiği bilgiyi geri almaz ve bütün güvenlik açıklarının kapandığını da kanıtlamaz.

Belge okumak ve işlem yapmak ayrı yetkiler gerektirir

Asistan bir belgeyi özetleyebiliyor diye onu silmeye veya dışarı göndermeye yetkili olmamalıdır. OWASP'ın yapay zeka ajanlarında aşırı yetki riskine ilişkin önerileri, ajanlara gereksiz araç ve işlem yetkisi verilmesinin risklerini açıklar. Her araç çağrısında uygulamanın kullanıcı iznini yeniden denetlemesi gerekir.

Feza'da erişim kapsamı model çalışmadan önce belirlenir. Bir veri kaynağının bağlanması, içindeki bütün belgeleri herkese açmaz. Veri ve araç erişiminde tanımlanan izinler denetlenir.

Erişim kontrollerini kendi kurulumunuzla karşılaştırmak için Feza'nın güvenlik yaklaşımını, ilgili diğer önlemler için de güvenli kurumsal yapay zeka yazısını inceleyebilirsiniz.

Yazı Hakkında

Sık sorulan sorular.

Belgenin kendisi görünmüyorsa bilgi yine de sızabilir mi?

Belgenin içeriği açılmasa bile dosya adı, alıntı veya özet kısıtlı bilgiyi ortaya çıkarabilir. Bu nedenle kaynak önizlemesi de kullanıcının erişim izniyle sınırlandırılmalıdır.

Ortak bilgi tabanı kullanmak sakıncalı mı?

Belgelerin aynı bilgi tabanında bulunması tek başına sakınca değildir, ancak arama sonucu ve yanıt her kullanıcının erişebileceği içerikle hazırlanmalıdır.

Yetkiyi yalnızca ekranda kontrol etmek yeterli mi?

Ekranda düğmeyi gizlemek ilgili isteği sunucuda engellemez. Uygulamanın gelen veri ve işlem talebinde kullanıcı iznini ayrıca denetlemesi gerekir.

Yetki kaldırıldığında neyi test etmeliyim?

Yeni sorguyla birlikte açık oturumu ve saklanan yanıtı deneyerek değişikliğin ne zaman etkili olduğunu ölçün. Kullanıcının önceden kopyaladığı bilginin geri alınamayacağını da hesaba katın.

Sonraki Adım

Bizimle iletişime geçin.

Güvenli yapay zekayla işlerinizi hızlandırın.