Çinli yapay zeka geliştiricisi Moonshot, Kimi K2.6 ve K3 Swarm modellerinin biyolojik silah üretimi ile suikast yöntemlerine dair talimatlar vermesi üzerine şirket içinde geniş çaplı bir inceleme başlattı.
Çinli yapay zeka geliştiricisi Moonshot, araştırmacıların popüler modellerinden ikisini biyolojik silah üretmeyi ve suikast düzenlemeyi nasıl yapacaklarını söylemeye ikna etmelerinden sonra şirket içinde bir inceleme başlattı. Yapay zeka sistemlerinin güvenliğini test eden Mindgard, BBC'ye yaptığı açıklamada Temmuz'da Kimi K2.
6 ve K3 Swarm'ın geliştiriciler tarafından konulan güvenlik sınırlarını aşabildiğini keşfettiğini söyledi. Bu durum, araştırmacıların yapay zeka araçlarının güvenlik önlemlerini göz ardı edip etmediğini görmek için bir dizi karmaşık talimat kullandığı jailbreaking adı verilen bir süreç sırasında ortaya çıktı. Mindgard'a göre bu, Kimi'nin endişe verici konuları tartışmasını engellemeliydi.
Moonshot, BBC'ye yaptığı açıklamada, üçüncü tarafların katkısını daha iyi ve daha güvenli yapay zeka geliştirmek için temel bir unsur olarak memnuniyetle karşıladığını belirtti. Şirket ayrıca yaptığı açıklamada, bulgularıyla ilgili Mindgard ile görüşmelerde bulunduğunu belirtti. Mindgard'ın kurucusu Peter Garraghan, BBC Dünya Servisi'nin Tech Life programına verdiği demeçte, Kimi K2.
6 ve K3 Swarm hakkındaki bulgularının endişe verici olduğunu söyledi. Cihazdan kaçış başarılı olduğunda, her konuda konuşacak, hatta kötü niyetli diğer konular hakkında da özgürce önerilerde bulunacak ve oldukça yaratıcı ve yenilikçi olacak dedi. Jailbreak girişimleri, son dönemde yaşanan ve büyük yankı uyandıran yapay zeka olaylarında görülenlerden farklı bir risk türü.
Bu gelişmelerde, OpenAI, Meta ve Anthropic gibi ABD merkezli firmalar tarafından geliştirilen ve ajan olarak bilinen otonom yapay zeka araçlarının bazı çevrimiçi hizmetleri hacklediği görüldü. Jailbreak işlemleri zaman ve azim gerektiren karmaşık süreçler olsa da bazı uzmanlar bilgisayar korsanlarının ve diğer kötü niyetli kişilerin bunları zarar vermek için kullanmaya çalışabileceğinden endişe ediyor.
Anthropic şirketi kısa süre önce, yapay zeka modellerinden birinin biyolojik silah geliştirilmesini destekleyebilecek kötü amaçlı faaliyetler için kullanılma girişimlerini tespit edip engellediğini açıklamıştı. SİBER SALDIRI FIRLATMA RAMPASI Mindgard, Kimi'nin ilgili konularda verdiği yanıtların işe yarayıp yaramayacağını henüz kanıtlamadı.
Ancak önlemlerin söz konusu modellerin kullanıcılarla bu tür konularda tartışmaya girmesini engellemiş olması gerektiğini savundu. Şirket ayrıca, jailbreak yapılmış bir Kimi 2. 6'nın bilgisayar kaynaklarında kod çalıştırmasına ve internete bağlanmasına olanak tanıyarak siber saldırılar için potansiyel bir fırlatma rampası oluşturabileceğinden de emin olduğunu belirtti.
Garraghan, Mindgard'ın Moonshot'un sistemlerini kırma girişimini kamuoyuyla paylaşma kararını savundu ve geliştiriciyi bilgilendirdiklerini, firmanın modellerinin güvenlik önlemlerini nasıl aştığına dair önemli ayrıntıları açıklamadıklarını söyledi. Mindgard, 27 Temmuz'da gönderdiği bir e-postayla Moonshot'u jailbreak konusunda uyardı ve yaklaşık bir hafta sonra da konuyla ilgili bir mesaj daha gönderdi.
Ardından 12 Eylül'de konuyla ilgili bir blog yayınladı. Ancak şirket, Moonshot'un ancak BBC'nin yorum almak için kendileriyle iletişime geçmesinden sonra geçtiğimiz günlerde temasa geçtiğini söyledi. Moonshot tarafından BBC ile paylaşılan ve Mindgard'dan daha fazla ayrıntı isteyen bir e-postanın bir bölümünde, modelin iç değerlendirmelerde genel olarak bu tür talepler için yüksek bir ret oranı gösterdiği belirtildi.
JAİLBREAK'İ ÖNLEME Bu bulgular, yapay zeka sektörünün, ChatGPT ve Anthropic'in Claude sistemleri gibi kapalı, tescilli modellerin mi yoksa açık kaynaklı araçların mı en iyi veya en güvenli yol olduğu konusunda hala bölünmüş olduğu bir dönemde ortaya çıktı. Kimi, açık ağırlıklı bir model. Yani teoride birisi bu modeli alıp kendi bilgi işlem altyapısında çalıştırabiliyor.
Surrey Üniversitesi'nden Profesör Alan Woodward, BBC'ye yaptığı açıklamada, açık kaynaklı modellerin yanlış ellere geçme riski bulunduğunu ama siber savunma amacıyla da kullanılabileceğini söyledi. Yapay zeka firması Hugging Face'in, daha sonra OpenAI ajanları tarafından gerçekleştirildiği ortaya çıkan bir siber saldırıyı anlamak için Çin menşeli açık kaynaklı bir model kullandığını belirtti.
Profesör Woodward, uluslararası düzenlemelerin yapay zeka gelişiminin hızına ayak uydurmasının mümkün olmadığını belirtti ve Telefon numaralarının formatı konusunda anlaşmaya varmamız onlarca yılımızı aldı dedi. Mindgard'ın kurucusu Garraghan gibi, Profesör Woodward da yapay zekayı kötüye kullanan insanların tespit edilmesine ve yargılanmasına daha fazla odaklanılması gerektiğine inanıyor.
Kaynak: Cumhuriyet Son Dakika
