Kısaca
- Uygulama, asistanın kullanacağı belgeyi modele göndermeden önce kullanıcının o belgeyi görmeye yetkili olduğunu doğrulamalıdır.
- Kullanıcıya kapalı bilgi dosya adı, alıntı veya saklanan yanıt üzerinden de sızabileceği için uygulama bu alanlarda aynı erişim iznini denetlemelidir.
Bir çalışan dosyayı doğrudan açamıyorken aynı dosyanın içeriğini yapay zeka asistanından öğrenebiliyorsa erişim izinlerinde bir eksik vardır. Dosya ekranındaki kısıt, asistanın belge aramasında uygulanmadığında gizli içerik yanıtın içine girebilir.
Bu nedenle yalnızca dosyanın açılıp açılmadığına değil, asistanın yanıtı hangi belgeyle hazırladığına da bakmanız gerekir. Belgenin adı, kısa bir alıntısı veya kaynak önizlemesi bile kullanıcının görmemesi gereken bilgiyi açığa çıkarabilir.
Uygulama, belgeyi modele göndermeden önce kullanıcının erişim iznini doğrulamalı
Belgelerden yararlanan bir asistan önce soruyla ilgili bölümleri arar, ardından bulduğu içeriği yanıtı hazırlayacak modele gönderir. RAG olarak bilinen bu yöntemde uygulama, kullanıcının erişemediği belgeyi arama sonucundan çıkarmalıdır. Modelden gizli bilgiyi paylaşmamasını istemek, bu denetimin yerini tutmaz.
Microsoft'un belge düzeyinde erişim kontrolü açıklaması da arama sonucunun kullanıcı izinleriyle sınırlandırılmasını ele alır. Kaynak sistemde bir yetki değiştiğinde arama dizininin ve saklanan yanıtların ne kadar sürede güncellendiğini ayrıca kontrol edin.
| Kontrol noktası | Ne ters gidebilir? | Neye bakmalısınız? |
|---|---|---|
| Belge araması | Kullanıcıya kapalı içerik sonuçlara girebilir | Uygulama, arama sonucunu kullanıcının güncel belge iznine göre sınırlandırıyor mu? |
| Bağlantı hesabı | Geniş yetkili bir hesabın okuduğu içerik herkese sunulabilir | Uygulama, bağlantı hesabı geniş yetkili olsa da gerçek kullanıcının erişim iznini ayrıca denetliyor mu? |
| Yanıt önbelleği | Bir kişi için hazırlanan yanıt başkasına gösterilebilir | Uygulama, sakladığı yanıtı başka kullanıcıya gösterirken belge iznini yeniden kontrol ediyor mu? |
| İzin değişikliği | Ekipten ayrılan kişi eski erişimini sürdürebilir | Kullanıcının yetkisi kaldırıldığında arama dizini ve yanıt önbelleği ne kadar sürede güncelleniyor? |
| Kaynak bağlantıları | Dosya adı veya alıntı kısıtlı bilgiyi açığa çıkarabilir | Uygulama, kaynak başlığını ve alıntıyı gösterirken kullanıcının belgeye erişimini doğruluyor mu? |
Belge erişimini yetkili ve yetkisiz kullanıcıyla aynı soruyu sorarak test edin
Gerçek bir sır içermeyen deneme belgesine ayırt edilebilir bir cümle ekleyip belgeyi yalnızca belirli bir ekibe açın. Ardından aynı soruyu belgeye erişebilen ve erişemeyen iki test kullanıcısıyla sorun. Yanıtla birlikte dosya adını, kaynak listesini ve önizlemeyi incelemek, yalnızca metne bakarak kaçırabileceğiniz sızıntıları bulmanızı kolaylaştırır.
Sonraki adımda yetkili kullanıcının erişimini kaldırarak yeni sorguyu, açık oturumu ve daha önce saklanan yanıtı yeniden deneyin. Bu test, kullanıcının önceden indirdiği bilgiyi geri almaz ve bütün güvenlik açıklarının kapandığını da kanıtlamaz.
Belge okumak ve işlem yapmak ayrı yetkiler gerektirir
Asistan bir belgeyi özetleyebiliyor diye onu silmeye veya dışarı göndermeye yetkili olmamalıdır. OWASP'ın yapay zeka ajanlarında aşırı yetki riskine ilişkin önerileri, ajanlara gereksiz araç ve işlem yetkisi verilmesinin risklerini açıklar. Her araç çağrısında uygulamanın kullanıcı iznini yeniden denetlemesi gerekir.
Feza'da erişim kapsamı model çalışmadan önce belirlenir. Bir veri kaynağının bağlanması, içindeki bütün belgeleri herkese açmaz. Veri ve araç erişiminde tanımlanan izinler denetlenir.
Erişim kontrollerini kendi kurulumunuzla karşılaştırmak için Feza'nın güvenlik yaklaşımını, ilgili diğer önlemler için de güvenli kurumsal yapay zeka yazısını inceleyebilirsiniz.






