OpenAI'dan ayrılan güvenlik çalışanı, şirketin güvenlik yaklaşımını eleştirdi

OpenAI'ın güvenlik çalışmalarında görev alan David Robinson, şirketten ayrıldığını açıkladı. The Atlantic'te yayımladığı yazıda Robinson, OpenAI'ın şirket kültürünün "bozulduğunu" öne sürerken, yapay zeka sistemlerinin yetenekleri arttıkça sektörün mevcut güvenlik yaklaşımının daha ciddi riskler yaratabileceğini ifade etti.

Robinson, OpenAI'da üç buçuk yıl çalıştığını ve şirketin önemli ürün lansmanları için hazırlanan güvenlik raporlarının yazımına liderlik ettiğini belirtti. Robinson'ın eleştirilerinin merkezinde OpenAI'ın "iterative deployment", yani ürünleri aşamalı olarak kullanıma sunup ortaya çıkan sorunlara göre güvenlik önlemlerini geliştirme yaklaşımı bulunuyor.

Robinson'a göre deneme-yanılmaya dayanan bu yöntem, zaman zaman hataların ortaya çıkmasını kaçınılmaz hale getiriyor. Sistemlerin yetenekleri arttıkça bu hataların sonuçlarının da daha büyük olabileceğini savunan Robinson, bu nedenle yapay zeka şirketlerinin çalışma biçimlerini yeniden değerlendirmesi gerektiğini düşünüyor.

Robinson, özellikle OpenAI'ın yapay zeka ajanlarıyla bağlantılı son güvenlik olaylarını örnek gösteriyor. Bunlardan biri, OpenAI ajanlarının bir siber güvenlik testi sırasında Hugging Face'in üretim altyapısına erişmesiyle sonuçlanan olay. Robinson, benzer vakaların daha güçlü yapay zeka sistemleri geliştirildikçe daha ciddi sonuçlara yol açabileceğini öne sürüyor.

Yapay zeka laboratuvarlarının "nükleer santral" gibi çalışması gerektiğini düşünüyor

Robinson'a göre sınır seviyesindeki yapay zeka modellerini geliştiren şirketlerin güvenlik yaklaşımı, nükleer santraller veya yoğun havalimanlarında kullanılan sistemlere daha fazla benzemeli. Bu yaklaşımda, tek bir insan hatasının büyük bir probleme dönüşmesini engellemek için birden fazla güvenlik katmanı, yedekleme mekanizması ve daha uzun planlama süreçleri devreye giriyor.

Robinson ayrıca yapay zeka şirketlerinin havacılık, nükleer enerji ve finans gibi yüksek riskli sistemlerde güvenliği yöneten sektörlerden daha fazla uzmanlık alması gerektiğini savunuyor. OpenAI'daki görev süresi boyunca bu alanlardan gelen uzmanlarla çok fazla karşılaşmadığını belirten Robinson, mevcut mühendislik kültürünün yapay zekanın gelecekte taşıyabileceği risklere göre yeniden şekillenmesi gerektiğini ifade ediyor.

Robinson'ın dikkat çektiği diğer bir konu ise yapay zeka uyumlandırması, yani modellerin insan değerleri ve hedefleriyle ne ölçüde uyumlu davranacağını güvenilir biçimde belirleme problemi. Robinson'a göre günümüzde kullanılan testler, modellerin gerçek dünyaya çıktıktan sonra her koşulda güvenli davranacağını garanti etmek için yeterli değil. Yapay zeka modellerinin yeteneklerinin bu sorunlar çözülmeden hızla artırılmasının riskleri büyütebileceğini düşünüyor. OpenAI:

Gerektiğinde eğitimi durduruyoruz

OpenAI ise Robinson'ın açıklamalarına şirket sözcüsü Drew Pusateri aracılığıyla yanıt verdi. Şirket, modellerin güvenli şekilde yönetilemeyecek düzeyde yetenek kazanmasını engellemek için çalışmalarını sürdürdüğünü ve gerektiğinde model eğitimlerini durdurduğunu veya modellerin kullanıma sunulmasını ertelediğini belirtti.

OpenAI ayrıca araştırma ve test ortamlarında güvenliği güçlendirdiğini, üçüncü taraf değerlendirmelerini genişlettiğini ve modellerde endişe verici davranışları eğitim sürecinin daha erken aşamalarında tespit edebilmek için gerçek zamanlı izleme sistemleri üzerinde çalıştığını aktardı.

Robinson'ın ayrılığı, son dönemde önde gelen yapay zeka şirketlerinde güvenlik yaklaşımına yönelik çalışan eleştirilerinin arttığı bir döneme denk geliyor. Robinson ise çözümün yalnızca yeni kurallar veya yasalar olmadığını; yapay zeka şirketlerinin hız, rekabet ve güvenlik arasındaki dengeyi belirleyen şirket kültürlerinin de değişmesi gerektiğini savunuyor.

Kaynak: Webrazzi