İçeriğe geç

// SÖZLÜK

GenAI Red Team

Üretken yapay zeka uygulamalarının çalışma zamanı zincirinin (istem, araç, veri, yetki, Model Context Protocol) doğrulanmış bir kötüye kullanım yolu üzerinden test edilmesidir. Geleneksel sızma testinin yapay zekaya uyarlanmış bir sürümü değildir; soruyu değiştirir. Klasik güvenlik testi 'modeli yanlış bir cevaba kandırabilir miyim' diye sorarken, GenAI Red Team 'modelin eline verilen araçları ve yetkileri kötüye kullandırabilir miyim' diye sorar. Çünkü modern yapay zeka uygulamasında risk artık bir cümlenin yanlış tamamlanmasında değil, modele bağlı araçların (veritabanı sorgusu, e-posta gönderimi, dosya erişimi) istismar edilmesindedir. OWASP LLM Top 10 ve MITRE ATLAS bu alanın çerçeve referanslarıdır; dolaylı istem enjeksiyonu, RAG ifşası, araç kötüye kullanımı ve MCP yetki istismarı tipik adımlardır. Üretken Yapay Zeka Red Team kanonik adıdır ve birincil kanıt nesnesi, güvenli kavram kanıtıyla sahada gösterilen kötüye kullanım yoludur.

Sık karışan

Model Tedarik Zinciri Güvencesi (modelin kökeni) ve Sızma Testi için Yapay Zeka (iç iş akışı). Üçü farklı hizmettir.

GenAI Red Team nedir? | Red in Pulse (RinP)