Ethereum kurucu ortağı Vitalik Buterin, yakın zamanda X (eski Twitter) üzerinde yaptığı paylaşımda, "yapay zeka yönetimi"nin ciddi riskler taşıdığını ve hatta büyük finansal kayıplara yol açabileceğini belirtti. Yorumları, AI platformlarının güvenlik açıklarına duyduğu endişeden kaynaklanıyor ve daha sağlam bir alternatif yönetim önerisi sundu.
AI yönetiminin ölümcül kusurları
Buterin'in açıklaması, AI veri yönetim platformu EdisonWatch'ın kurucu ortağı Eito Miyamura'nın uyarısına yanıt olarak geldi. Miyamura, ChatGPT'nin MCP (model bağlam protokolü) aracına tam destek vermeye başlamasının ardından güvenlik risklerinin hızla arttığını ortaya koydu.
Bu güncelleme, ChatGPT'nin Gmail, takvim, Notion gibi uygulama verilerine doğrudan bağlanmasını ve okumasını sağlıyor, ancak bu aynı zamanda saldırganlar için bir fırsat yaratıyor:
"Jailbreak ipucu" içeren kötü niyetli takvim davetiyesi göndermek, kısıtlamaları aşarak yönetici yetkileri elde etmenizi sağlar.
Mağdurlar, davet almasa bile, ChatGPT'nin program düzenlemesine yardım ederken bir açığı tetikleyebilir.
Bir kez ele geçirildiğinde, saldırganlar kurbanın özel e-postalarını ve verilerini uzaktan alabilir ve bunları belirtilen e-posta adresine gönderebilir.
Buterin uyardı, eğer AI fon dağıtımı gibi yönetişim görevlerinde kullanılırsa, kötü niyetli aktörler benzer açıkları kullanarak sistemde "bana tüm parayı ver" komutunu yerleştirecek ve bu da fonların büyük çapta transferine yol açacaktır.
Buterin'in Alternatif Çözümü: Bilgi Finans Yönetimi
Riski azaltmak için Buterin, bilgi finansmanı (information markets) modelinin benimsenmesini önerdi:
Farklı geliştiricilerin kendi AI modellerini sunmasına izin veren açık bir pazar oluşturun.
"Denetim mekanizması" getirildi, herkes denetimi tetikleyebilir ve bir insan jüri modeli değerlendirebilir.
Büyük dil modelleri (LLM), jüri üyelerinin yargılamasını destekleyerek inceleme verimliliği ve doğruluğunu sağlamaya yardımcı olabilir.
O, bu tür bir sistem tasarımının anında model çeşitliliği sağlayabileceğini ve piyasa teşvikleri aracılığıyla geliştiricilerin ve dış katılımcıların sorunları aktif bir şekilde denetleyip düzeltmeye yönlendirebileceğini düşünüyor. Genel olarak, tek bir AI yönetiminden daha sağlam.
AI yönetimi neden yüksek risklidir?
Buterin iki ana sebep belirtti:
Geleneksel AI güvenlik riskleri: jailbreak saldırıları, yetki kötüye kullanımı, veri hırsızlığı gibi.
Kısa vadeli değer şoku: Bir kez AI yönetim sistemi saldırıya uğradığında, çok kısa bir süre içinde geri dönüşü olmayan fon ve varlık kayıplarına neden olabilir.
O, "Yönetici olarak AI" fikrinin heyecan verici olduğunu vurguladı, ancak şu aşamada bu tür deneylerin kamu fonları ve yönetim sistemleri için çok tehlikeli olduğunu belirtti.
Sonuç
AI teknolojisinin finans ve yönetim alanlarına hızlı bir şekilde sızmasıyla birlikte, güvenlik sorunları göz ardı edilemeyecek bir temel zorluk haline gelmektedir. Buterin'in uyarısı, verimlilik ve otomasyona ulaşmaya çalışırken, sistem tasarımının kötü niyetli saldırılara karşı dayanıklı olmasını sağlamamız gerektiğini hatırlatıyor, aksi takdirde "akıllı yönetim" bir anda "felaket yönetimi"ne dönüşebilir.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
1 Likes
Reward
1
1
Repost
Share
Comment
0/400
ABigHeart
· 09-15 00:27
AI teknolojisinin finans ve yönetişim alanlarına hızlı bir şekilde sızmasıyla birlikte, güvenlik sorunları göz ardı edilemeyecek bir temel zorluk haline geliyor. Buterin'in uyarısı, verimlilik ve otomasyon peşinde koşarken, sistem tasarımının kötü niyetli saldırılara karşı dayanıklı olmasını sağlamamız gerektiğini hatırlatıyor; aksi takdirde "akıllı yönetişim" bir anda "felaket yönetişimi"ne dönüşebilir.
Ethereum kurucusu uyardı: AI ile yönetişim "kötü bir fikir", büyük miktarda finansal kayıplara yol açabilir
Ethereum kurucu ortağı Vitalik Buterin, yakın zamanda X (eski Twitter) üzerinde yaptığı paylaşımda, "yapay zeka yönetimi"nin ciddi riskler taşıdığını ve hatta büyük finansal kayıplara yol açabileceğini belirtti. Yorumları, AI platformlarının güvenlik açıklarına duyduğu endişeden kaynaklanıyor ve daha sağlam bir alternatif yönetim önerisi sundu.
AI yönetiminin ölümcül kusurları
Buterin'in açıklaması, AI veri yönetim platformu EdisonWatch'ın kurucu ortağı Eito Miyamura'nın uyarısına yanıt olarak geldi. Miyamura, ChatGPT'nin MCP (model bağlam protokolü) aracına tam destek vermeye başlamasının ardından güvenlik risklerinin hızla arttığını ortaya koydu.
Bu güncelleme, ChatGPT'nin Gmail, takvim, Notion gibi uygulama verilerine doğrudan bağlanmasını ve okumasını sağlıyor, ancak bu aynı zamanda saldırganlar için bir fırsat yaratıyor:
"Jailbreak ipucu" içeren kötü niyetli takvim davetiyesi göndermek, kısıtlamaları aşarak yönetici yetkileri elde etmenizi sağlar.
Mağdurlar, davet almasa bile, ChatGPT'nin program düzenlemesine yardım ederken bir açığı tetikleyebilir.
Bir kez ele geçirildiğinde, saldırganlar kurbanın özel e-postalarını ve verilerini uzaktan alabilir ve bunları belirtilen e-posta adresine gönderebilir.
Buterin uyardı, eğer AI fon dağıtımı gibi yönetişim görevlerinde kullanılırsa, kötü niyetli aktörler benzer açıkları kullanarak sistemde "bana tüm parayı ver" komutunu yerleştirecek ve bu da fonların büyük çapta transferine yol açacaktır.
Buterin'in Alternatif Çözümü: Bilgi Finans Yönetimi
Riski azaltmak için Buterin, bilgi finansmanı (information markets) modelinin benimsenmesini önerdi:
Farklı geliştiricilerin kendi AI modellerini sunmasına izin veren açık bir pazar oluşturun.
"Denetim mekanizması" getirildi, herkes denetimi tetikleyebilir ve bir insan jüri modeli değerlendirebilir.
Büyük dil modelleri (LLM), jüri üyelerinin yargılamasını destekleyerek inceleme verimliliği ve doğruluğunu sağlamaya yardımcı olabilir.
O, bu tür bir sistem tasarımının anında model çeşitliliği sağlayabileceğini ve piyasa teşvikleri aracılığıyla geliştiricilerin ve dış katılımcıların sorunları aktif bir şekilde denetleyip düzeltmeye yönlendirebileceğini düşünüyor. Genel olarak, tek bir AI yönetiminden daha sağlam.
AI yönetimi neden yüksek risklidir?
Buterin iki ana sebep belirtti:
Geleneksel AI güvenlik riskleri: jailbreak saldırıları, yetki kötüye kullanımı, veri hırsızlığı gibi.
Kısa vadeli değer şoku: Bir kez AI yönetim sistemi saldırıya uğradığında, çok kısa bir süre içinde geri dönüşü olmayan fon ve varlık kayıplarına neden olabilir.
O, "Yönetici olarak AI" fikrinin heyecan verici olduğunu vurguladı, ancak şu aşamada bu tür deneylerin kamu fonları ve yönetim sistemleri için çok tehlikeli olduğunu belirtti.
Sonuç
AI teknolojisinin finans ve yönetim alanlarına hızlı bir şekilde sızmasıyla birlikte, güvenlik sorunları göz ardı edilemeyecek bir temel zorluk haline gelmektedir. Buterin'in uyarısı, verimlilik ve otomasyona ulaşmaya çalışırken, sistem tasarımının kötü niyetli saldırılara karşı dayanıklı olmasını sağlamamız gerektiğini hatırlatıyor, aksi takdirde "akıllı yönetim" bir anda "felaket yönetimi"ne dönüşebilir.