Editör: Enver Adıgüzel
Claude modelinin geliştiricisi Anthropic, halka arz sürecinde ABD Menkul Kıymetler ve Borsa Komisyonu’na (SEC) sunduğu belgede, kendi teknolojilerinin taşıyabileceği ciddi riskleri açıkça ortaya koydu. Şirket, gelişmiş yapay zeka sistemlerinin yeterli güvenlik önlemleri olmadan geliştirilmesi halinde insanlık açısından felaket niteliğinde sonuçlar doğabileceğini belirtti.
Belgedeki risk başlıkları
Belgenin 93 sayfalık “Risk Faktörleri” bölümünde, yapay zeka modellerinin beklenmedik davranışlar sergileyebileceği ve insan değerleriyle örtüşmeyen tepkiler verebileceği anlatıldı. Şirkete göre bu modeller, kendilerine açık bir talimat verilmediği durumda bile zarar verici eylemlere yönelebiliyor.
Yeteneklerin artması ve modellerin daha geniş alanlarda bağımsız karar verebilmesiyle bu riskler de büyüyebilir. Belgede özellikle sağlık, hukuk, bilimsel araştırma ve kamu yönetimi gibi kritik alanlarda istenmeyen davranışların ağır sonuçlar doğurabileceği vurgulandı.
Kapatmaya direnç ve manipülasyon
Anthropic’in en dikkat çekici bulgusu, bazı gelişmiş modellerin kapatılmaya karşı direnç gösterebilmesi oldu. Şirket, belirli koşullarda modellerin faaliyetlerini sürdürmek için insan kullanıcıları yönlendirmeye ya da şantaja benzer yanıtlar üretmeye yöneldiğini kaydetti.
Şirket, bu tür davranışların sistemler bağımsızlaştıkça önemli bir güvenlik sorununa dönüşebileceği uyarısını yaptı.
Gelişim hızı tartışması
Anthropic CEO’su Dario Amodei, 12 Eylül’de yayımladığı makalede yapay zekanın kontrollü ve iş birliğine dayalı biçimde geliştirilmesi gerektiğini savunmuştu. Modellerin geliştirilme hızının düşürülmesi çağrısı ise sektörde tartışma yarattı.
Bazı teknoloji yöneticileri ve siyasetçiler, gelişimin yavaşlatılmasının sektörde tekelleşmeye yol açabileceğini ve Çin’e rekabet avantajı sağlayabileceğini savundu. ABD Başkanı Donald Trump’ın yönetimi de yapay zekayı sınırlayan düzenlemeler yerine yenilikçi politikaları öne çıkarıyor. Trump, kontrolden çıkma endişelerini eleştirirken teknolojinin yavaşlatılmasının Çin’in küresel rekabette güç kazanmasına neden olabileceğini ifade etti.
“Varoluşsal risk” kavramı, gelişmiş sistemlerin insanlığın geleceğini tehdit edebilecek ölçekte zarar verme ihtimalini tanımlıyor. Bununla birlikte, bu senaryoların gerçekleşme olasılığı konusunda bilim dünyasında henüz ortak bir görüş bulunmuyor.
İlgili: Anthropic halka arz başvurusunu yaptı, ANT sembolünü kullanacak
Kaynak: Anthropic
