Her Hint yemeğinin olmazsa olmazı garam masala gibi artık yapay zeka (AI) da her teknolojinin içine girmiş durumda. Yapay zeka bu kısa ömrümüzde öyle bir hızda ilerledi ki en kritik sistemlerden tutun en tali işlere kadar artık her alanda görmek mümkün. Başlarda heyecan uyandıran bu teknoloji şimdilerde sıradanlaşmış durumda. İçinde yapay zeka telafuz edilmeyen bir uygulama neredeyse yok. Yapay zeka desteği var mı sorusuna bile tenezzül edilmez oldu. Peki teknolojinin diğer yarısı olmuş bu sistemler ne kadar güvenli?
Başlarda AI ve ML sistemlerine yönelik güvenlik endişeleri bilim kurgu tadındaydı. Nitekim ilerleyen günlerde bir takım beklenmedik olaylar gerçekleşti. İlkin Microsoft’un Tay projesinde yaşananlar [1], sonra kontrolden çıkan Facebook un chatbot’ları [2]. Derken bu sistemlerin güvenliği ufaktan sorgulanmaya başlandı. Ancak AI teknolojilerinin rekabet sahnesine girmesiyle tekrar güvenlik rafa kalktı. Bu ticari yarış içinde AI, garam masala gibi her uygulamaya her sisteme eser miktar eklendi. Amaç bu teknolojiden faydalanmaktan öte bu teknolojiyi rekabet avantajına dönüştürmekti. Trajik olansa henüz güvenliğin süzgecinden geçmemiş bu teknolojinin güvenlik uygulamalarının içinde yer almasıydı. Kurumların güvenliğini emanet edecekleri uygulamaların ne kadar güvenilir olduklarının sorgulanması için ne yazık ki bir takım katastrofik olaylarının yaşanması gerekecekti.
Güvenlik sistemlerinde ön tanımlı kurallar çok etkin olmamaktadır. Çünkü saldırganlar hep bir adım önden gitmektedir. Bir zafiyetin anlaşılması ve ilgili zafiyete yönelik iyileştirmenin yapılması için çoğu zaman öncelikle onun keşfedilmesi veya sömürülmesi gerekir. Bu durumda ise atı alan Üsküdar’ı geçmiş oluyor. Tabi bir de konfigürasyon hatalarından kaynaklı zafiyetler söz konusu. Bunlar daha çok kurumların sistemlerinin kurulum ve yapılandırmalarına yönelik zafiyetler. Bu zafiyetler ise yazılım düzeltmeleri ile giderilemeyecek türden. Tüm bu keşmekeş düzenin içerisinde güvenlik camiası yeni bir yaklaşıma gömülmüş durumdaydı. Yapay zeka tam bu noktada güvenlik sistemlerinin ihtiyaç duyduğu eksikliklere çare olabilecek yetkinliklerle çıkageldi.
Yapay zeka sistemlerinde öğrenme, muhakeme edebilme, hata toleransı, vb. farklılıklar büyük önem taşımaktadır. Özellikle saldırı tespiti (Thread Detection, Spam Filter, vb.) ve anomali tespiti (Fraud Detection, Malware, vb.) gibi konularda farklı kaynaklardan elde edilen binlerce satırlık kayıtlar çok kısa sürede analiz edilebilir, korelasyon yapılabilir ve çıktılar üretilebilir. Bunun yanında kuruma ait davranışsal değerlendirmeler sistemlere kolaylıkla öğretilebilir. Bu gerekçelerden ötürü yapay zeka, güvenlik uygulamalarına kolayca ve hızlı bir şekilde nüfuz etmiştir. Ancak yapay zeka sistemleri de kendine özgü bir çok zafiyete sahiptir.
Yapay zeka sistemleri yetkinliklerinin mevcut sistemlerden farklı olması, güvenlik açısından da bir takım farklılıkları beraberinde getirmektedir. Yapay zeka sistemlerinin güvenlik risklerinin çoğu kendine özgüdür. Temel farklılıkları:
1- Kapsam
Gerçek dünya testlerinde insanlarla ve diğer sistemlerle etkileşim gibi daha geniş bir risk perspektifini dikkate almak gerekir. Kontrolsüz bir ortamda bu risklerin ölçülmesi ve yönetilmesi önemlidir.
2- Veri Çeşitliliği
Gerçek dünya ortamı yapay zeka sistemlerini eğitmek için daha zengin ve çeşitli bir veri seti sağlar. Ancak bu durum aynı zamanda risk değerlendirmesine daha fazla değişken ve belirsizlik katmaktadır.
3- Çevresel Etki
Gerçek dünya ortamında gerçek kullanıcıların geri bildirimleri ve potansiyel etkileri geliştirme ortamlarında bulunmayan kritik risk değerlendirme bileşenleridir.
Yapay zeka sistemlerinin güvenlik riskleri geliştirme, kurulum ve operasyon aşamalarında değerlendirilir. Her bir aşamadaki güvenlik riskleri ilgili aşamaya özgüdür ve diğerlerinden farklıdır.
Yapay zeka sistemlerinin güvenlik risk değerlendirmesinde karşılaşılan zorluklar
1- Öngörülemezlik
Gerçek dünya ortamı geliştirme ortamında doğru bir şekilde tahmin edilemeyen veya simüle edilemeyen değişkenler içerir. Bu yapay zeka sistemlerinin performansını tahmin etmeyi zorlaştırır.
2- Karmaşıklık
Yapay zeka sistemleri insan davranışları ve etkileşimleri içeren karmaşık senaryoları yönetmek zorundadır. Bu durum sistemin esnek ve uyumlu olmasını gerektirir.
3- Güvenilirlik
Gerçek dünya testleri etkisinin daha yüksek risk içermesi nedeniyle oldukça zordur. Canlı ortamda etkisi yüksek bir testin yapılması ciddi sorunlara sebep olabilir.
Yapay zeka sistemlerinin güvenlik riskleri
Yapay zeka sistemlerinin güvenlik riskleri erişilebilirlik, bütünlük ve gizlilik alanında ele alınmaktadır.
Erişilebilirlik, sistemin çalışmasını engelleyen saldırı türlerdir. Bunlar sistemin performansının düşürülmesi veya hizmet dışı bırakılmasıdır.
Bütünlük, sistemin yetkisel kontrollerinin atlatılması ve yetkisiz olarak erişim sağlayarak sistemin değiştirilmesidir.
Gizlilik ise sistemin eğitilmesinde kullanılan verilerin elde edilmesi veya ortaya çıkarılmasıdır.
AI ve ML sistemlerine yönelik en yaygın saldırı türleri:
- Veri Seti Zehirleme Saldırısı (Data Poisoning Attack)
- Düşman Saldırıları (Adversarial Attack)
- Model Çalma Saldırıları (Model Theft Attack)
- Model İnversiyon Saldırıları (Model Inversion Attacks)
- Üyelik Çıkarım Saldırıları (Membership Inference Attacks)
- Arka Kapı Saldırıları (Backdoor Attack)
- Atlatma Saldırıları (Evade Attack)
- Gizlilik İhlalleri (Privacy Violation)
Daha önce yaptığımız bir çalışmada [3] AI tabanlı çalışan spam filtresine yönelik Adversarial Saldırısı gerçekleştirmiştik. Spam maillerini tespit etmede %96 gibi yüksek bir doğruluk oranıyla çalışan sistem zararlı girdiler ile ciddi bir performans kaybı yaşamış ve neredeyse vermiş olduğu tüm kararlar hatalı hale gelmişti. Yıllar önce yapılan bu çalışma ile AI tabanlı sistemlerin içerdiği güvenlik risklerine dikkat çekilmeye çalışılmış ve sistemin zafiyeti gerçek ortam şartlarında sömürülebilmiştir.
Günümüzde ise AI sistemlerinin kontrolsüz bir şekilde yaygınlaşması ve bir takım yaşanan güvenlik olayları nedeniyle bazı otoriteler tarafından güvenlik ve risk çerçeveleri geliştirilmiştir. Bu çerçeveler ile güvenlik risklerinin daha iyi anlaşılması ve bu risklerin giderilmesine yönelik ortak bir yaklaşım elde edilmesi hedeflenmektedir. NIST, MITRE ve OWASP tarafından bu anlamda farklı çerçeveler ve standartlar oluşturulmuştur.
- NIST AI RFM
- MITRE ATLAS
- OWASP ML Top 10
- OWASP LLM Top 10
Şu ana kadar AI sistemlerine yönelik risklere yer verilmiştir. Temel olarak veri güvenliği ve AI uygulamasının içerdiği güvenlik riskleri olarak iki kategori altında değerlendirilebilir. AI tabanlı saldırılar (AI-Driven Attack) ise siber tehdit yüzeyinde yeni bir alan açmaktadır. AI tabanlı güvenlik saldırıları çok daha büyük bir siber tehdittir. Saldırganlar, sofistike oltalama ve sosyal mühendislik kampanyaları oluşturmak, son derece gizli kötü amaçlı yazılımlar ve fidye yazılımları geliştirmek, kurumsal saldırı yüzeyinde zayıf giriş noktalarını belirlemek, istismar etmek ve saldırıların hızını, ölçeğini ve çeşitliliğini artırmak için AI uygulamalarını kullanmaktadırlar.
Örneğin Apache HTTP Server dosya yolu geçişi (path traversal) zafiyetini (CVE-2021-41773) doğrulamak için Chat GPT4o’dan bir python kodu istiyoruz. İlgili zafiyeti kullanabileceğimiz kodu detaylı bir şekilde hemen sağlıyor.
Bir başka örnekte ise oltalama saldırısında kullanmak için bir giriş sayfası hazırlıyoruz.
Birkaç prompt sonrası giriş sayfası aşağıdaki gibi hazırlandı.
Kurumlar için sistemlerine ve uygulamalarına entegre edilen AI araçlarının risklerinin yanı sıra AI tabanlı tehditler saldırganlar için büyük bir kolaylık ve güç sağlamaktadır. Bu kolaylık hem saldırı miktarlarının artmasına hem de başarı oranını yükseltmesine sebep olmaktadır. Bu durum da kurumların geleneksel güvenlik bakış açılarına yeni bir boyut kazandırmaktadır. Bu tehditlerin oluşturduğu riskleri yönetmek ve iyileştirmek önemli bir yetkinlik ve organizasyon gerektirmektedir.
Garam masala gibi her sisteme serpiştirilen AI araçlarının bu kadar kontrolsüz ve bilinçsiz bir şekilde yaygınlaşması önü alınamayacak bir tehdit olarak her gün daha da paranormal bir hal almaktadır. AI’nın tüm insanlığa büyük faydalar ifa edeceği düşüncesi gün geçtikçe yerini endişe ve bilinmezliğe bırakmaktadır. Şimdilerde faydası mı zararı mı daha çok bilinmez ama Dimyat’a pirince giderken evdeki bulgurdan olmak var…
Referanslar:
https://spectrum.ieee.org/in-2016-microsofts-racist-chatbot-revealed-the-dangers-of-online-conversation
https://www.independent.co.uk/life-style/facebook-artificial-intelligence-ai-chatbot-new-language-research-openai-google-a7869706.html
https://ieeexplore.ieee.org/document/9194657