OpenAI araştırma modellerini uzaktan susturacak güvenlik katmanı kurdu
Özet haber: OpenAI’ın araştırma altyapısına eklediği Control Room, riskli görülen yapay zeka görevlerinin yeni model çıktıları üretmesini merkezi bir kararla durdurabiliyor. Müdahale süresi 35 saniyeyi geçmiyor.

Sistem, yalnızca şüpheli davranışları izleyip bildirim gönderen bir araç olarak tasarlanmadı. Araştırmacılar ya da izleme mekanizmaları bir görevi sonlandırmaya karar verdiğinde, o çalışmaya bağlı sonraki çıkarım talepleri reddediliyor. Böylece görevin kendi yazılımı durdurma kararını uygulamasa bile modelden yeni çıktı alınamıyor.
Control Room; araştırma iş yükü, çıkarım motoru ve merkezi servis olmak üzere üç bileşenle çalışıyor. Yeni bir deney veya görev başlatıldığında iş yükü sisteme kaydediliyor, özel bir kimlik alıyor ve ajan tabanlı çıkarım kullanan çalışmalar onaylı bir güvenlik değerlendirmesiyle ilişkilendiriliyor.
Modelden çıktı istenirken iş yükünün kimliği çıkarım motoruna iletiliyor. Motor, yanıt üretmeden önce merkezi servisten yetki kontrolü yapıyor; görev izinli durumdaysa işlem sürüyor, sonlandırılmışsa istek engelleniyor. OpenAI, müdahale sonrasında modellerin yeni çıktı üretmesinin en geç 35 saniye içinde kesilebildiğini belirtiyor.
Kaynak: DonanımHaber


