Griffin, yapay zekayla yüz yüze konuşmayı gerçek zamanlı tepkilerle değiştiriyor

Yapay zeka şirketi Tavus, insanlarla yüz yüze iletişimi gerçek zamanlı olarak anlayıp sürdürebilen Griffin adlı yeni modelini tanıttı. Şirket, Griffin’i yeni bir model sınıfı olan İnsan Etkileşim Modeli (Human Interaction Model - HIM) olarak tanımlıyor.

Griffin, konuşmayı dinlerken karşısındaki kişinin yüz ifadelerini, bakışlarını, hareketlerini ve sessiz kalmasını da değerlendirerek buna göre konuşma, ses tonu, mimik ve beden hareketleri üretebiliyor. Geleneksel yapay zeka sistemlerinde kullanıcıların doğru komutu vermesi, düşüncelerini açık biçimde ifade etmesi veya konuşmanın tamamlanmasını beklemesi gerekiyor.

Tavus’un Griffin ile değiştirmeye çalıştığı temel nokta ise iletişimin kontrolünün makineye göre şekillenmemesi. Griffin, insanların yüz yüze iletişimde kullandığı kelimeler, ses tonu, mimikler, bakışlar, jestler ve zamanlama gibi sinyalleri aynı anda değerlendirecek şekilde tasarlanıyor. Model, kullanıcının konuşmasını bitirmesini beklemek yerine görüşmenin durumunu sürekli yeniden değerlendiriyor.

Böylece gerektiğinde başını sallayabiliyor, kısa bir onay tepkisi verebiliyor, konuşmaya ara verebiliyor veya kullanıcı halen konuşurken yanıt vermeye başlayabiliyor. Tavus, bu yaklaşımı “insan odaklı bilgi işlem” olarak adlandırıyor. Şirketin hedefi, kullanıcıların yapay zekayla iletişim kurarken komutları ve sistemin çalışma mantığını düşünmek zorunda kalmaması.

Gerçek zamanlı video Turing testini geçti Griffin’in en dikkat çekici sonuçlarından biri, Tavus’un gerçekleştirdiği yüz yüze görüşme testinden geliyor. 54 katılımcının 26’sı, yani yüzde 48’i, bir dakikalık görüşmenin ardından karşılarındaki kişinin gerçek bir insan olduğunu düşündü.

Tavus, bu sonucu kendi değerlendirmesine göre bir modelin ilk kez gerçek zamanlı video Turing testini geçtiği sonuç olarak nitelendiriyor. Bu ilk bakışta düşük bir oran gibi gelebilir ancak kesinlikle öyle değil. Önceki sistemlerin geçiş oranı Yapay zeka ile yapılan sohbetlerin günümüzde son derece gerçekçi olduğunu biliyoruz. Çoğu insan bunu ayırt etmekte zorlanıyor.

Ancak iş video temelli hale geldiğinde durum çabucak değişiyor. Mevcut modeller video üretiminde artık çok daha iyi olsa da bir videonun AI üretimi olup olmadığını anlamak insanlar için halen daha kolay. Griffin ise hem ses hem de “canlı” video şeklinde bir iletişim kurarak bu yüzde 48’lik oranı elde ediyor.

Elbette bu araştırmanın tüm teknik detaylarına hakim değiliz ancak paylaşılan videoların etkileyici olduğunu söylemekte bir sorun yok. Şirketin açıklamasına göre katılımcılara başka bir katılımcıyla bir dakikalık görüntülü görüşme yapacakları söylendi. Gerçekte ise karşılarında Griffin-Lite altyapısını kullanan bir PAL bulunuyordu.

PAL; yüzü, sesi ve yanıtları gerçek zamanlı olarak üretilen dijital insan temsilini ifade ediyor. Katılımcıların yüzde 48’i karşısındaki kişinin insan olduğunu düşünürken bu gruptaki ortalama güven seviyesi yüzde 79 oldu. Yapay zeka olduğunu düşünenlerin kendi yanıtlarına güven seviyesi ise yüzde 81 olarak ölçüldü.

Katılımcıların yarısından fazlası görüşme sırasında karşılarındaki kişinin yapay zeka olabileceğini hiç düşünmedi. Şüphelenenler ise genellikle ilk 20 saniye içinde şüphelenmeye başladı. Griffin-Lite, 7 puanlık değerlendirmede doğal görünme açısından 5,4, güvenilir görünme açısından 5,6 ve tekrar konuşma isteği açısından 5,8 puan aldı.

Katılımcılar konuşmanın karşı tarafı gerçekten dinliyormuş gibi hissettirmesine 5,5, konuşmanın doğal akışına ise 4,9 puan verdi. Bu yüksek puanların arkasında Griffin’in teknik mimarisinin merkezinde bulunan Full-Duplex çalışma yapısı bulunuyor.

Model, konuşmayı klasik sistemlerde olduğu gibi kullanıcının sözünü tamamlaması, sesin metne dönüştürülmesi, dil modelinin yanıt üretmesi ve ardından ses sentezlenmesi şeklinde sıralı aşamalardan geçirmiyor. Bunun yerine Griffin, konuşmanın durumunu saniyenin altında gerçekleşen mini dönüşlerde sürekli olarak değerlendiriyor.

Her mini dönüşte kullanıcının ne söylediğini ve sözsüz davranışlarını analiz ederek sessiz kalıp kalmayacağına, başını sallayıp sallamayacağına, kısa bir onay tepkisi verip vermeyeceğine veya konuşma sırasını alıp almayacağına karar veriyor. Bu yapı sayesinde sistem, kullanıcının düşünmek için yaptığı sessizliği konuşmanın sona erdiği şeklinde yorumlamak zorunda kalmıyor.

Kullanıcı konuşmaya devam ederken Griffin başını sallayabiliyor, “hı hı” benzeri tepkiler verebiliyor veya uygun noktada yanıtını başlatabiliyor. Aynı mekanizma, konuşma sırasında ortaya çıkan yeni bilgilere göre ses tonunun, yüz ifadesinin ve hareketlerin değiştirilmesini de sağlıyor. Griffin ayrıca yalnızca sesi analiz etmiyor. Görüntüyü de sürekli olarak algılıyor.

Böylece kullanıcının bakış yönü ve yüz ifadesinin yanı sıra bulunduğu ortamı veya kameraya gösterdiği bir nesneyi de değerlendirebiliyor. Griffin’in teknik detaylarında neler var? Tavus’un geliştirdiği sistem iki temel bileşenden oluşuyor. İlk bölüm Continuous Conversational Modeling adı verilen sürekli konuşma modelleme motoru.

Bu bölüm gelen ses ve görüntüyü algılıyor, konuşmanın hangi aşamada olduğunu değerlendiriyor ve ne zaman, nasıl yanıt verilmesi gerektiğine karar veriyor. İkinci bölüm ise Audio-Visual Generation yani Görsel-İşitsel Üretim motoru. Bu yapı, konuşma modelinden gelen kontrol sinyallerini kullanarak ses ve görüntüyü üretiyor.

Sistem içerisinde gerçek zamanlı ses ve video üretim olmak üzere iki ayrı üretim mimarisi bulunuyor. Bu iki bölüm birbirinden kopuk şekilde çalışmıyor. Algılama, karar verme ve üretim konuşma boyunca eş zamanlı ilerliyor. Bu nedenle Griffin konuşurken de yeni bilgileri algılayıp davranışını değiştirebiliyor.

Örneğin kullanıcı konuşmanın ortasında farklı bir tepki verdiğinde modelin sesi, yüz ifadesi veya hareketi aynı mini dönüş içerisinde değişebiliyor. Griffin’in sistem mimarisinde konuşma modeli, kullanıcının ses ve görüntüsünü alarak ifade biçimini belirleyen kontrol sinyalleri üretiyor. Gerçek zamanlı üretim sistemi ise bu sinyallerden ses, yüz, bakış ve jestleri birlikte oluşturuyor.

Griffin aynı zamanda tek bir referans görüntüsünden yola çıkarak gerçek zamanlı olarak her karedeki pikselleri üretiyor ve sahnenin tamamını kontrol ediyor. Buna kişinin yüzü, kolları ve parmaklarının yanı sıra oturduğu sandalyenin hareketi, vücudunun oluşturduğu gölgeler ve arka plandaki ortam da dahil.

Böylece hareketlerin yalnızca bir yüz animasyonu şeklinde görünmesi yerine tüm görüntünün birlikte değişmesi hedefleniyor. Griffin aynı zamanda konuşmanın duygusal bağlamını da modelleyebiliyor. Söylenenlere göre gülüyor, ses tonunu değiştiriyor ve karşısındaki kişinin söyledikleri ile davranışlarına göre mimik ve jestlerini ayarlıyor.

NVIDIA VideoFDB testinde insan skoruna çok yaklaştı Griffin-Lite’ın en önemli bağımsız değerlendirmelerinden biri ise Nvidia’nın VideoFDB benchmarkı oldu. Bu test, tam çift yönlü ses-görüntü konuşmalarında bir modelin insan davranışlarını ne kadar iyi okuyabildiğini ve buna ne kadar doğal tepki verdiğini ölçüyor.

İki ana bölümden oluşan testte ilk olarak modelin kendi ses ve görüntü üretimini değerlendirilirken ikinci aşamada karşısındaki kişinin sesini ve görüntüsünü ne kadar iyi anlayabildiğine bakılıyor. Nvidia değerlendirmeyi kendi metrikleri ve bir dil modeli tabanlı hakem kullanarak gerçekleştiriyor. Griffin-Lite, testin ilk aşamasında 5 üzerinden 3,83 puan aldı. İnsan referansının skoru ise 3,92. Gemini 2.

5 + Anam sistemi 2,80 puanda kaldı. İkinci aşamada ise Griffin-Lite 3,73 puan aldı. İnsan referansı 4,20 olurken ikinci en güçlü sistem MiniCPM-o 4. 5’in skoru 3,44 oldu. Gemini 2. 5 Flash Native 3,17, OpenAI gpt-realtime ise 2,97 puan aldı. Griffin’in gerçek kullanım alanları oldukça geniş [twitter=https://x.

com/tavus/status/2105704783185375402] Tavus, Griffin’in doğal iletişim yapısının eğitimden müşteri hizmetlerine kadar farklı alanlarda kullanılabileceğini düşünüyor. Örneğin bir öğrenci bir konuyu anlamadığında sistem yalnızca sorulan soruya cevap vermek yerine öğrencinin yüz ifadesi ve konuşma biçiminden zorlandığını anlayarak anlatım şeklini değiştirebilir.

İş dünyasında Griffin, zor bir görüşme öncesinde karşı tarafın tepkilerini taklit eden bir konuşma partneri olarak kullanılabilir. Müşteri hizmetlerinde ise kullanıcı arızalı bir parçayı kameraya göstererek parçanın teknik adını bilmeden sorunun çözümünü yapay zekayla birlikte arayabilir. Bu senaryolarda kullanıcıdan doğru komutu veya menüyü bulması beklenmiyor.

Sistem, söylenenleri görüntü ve davranışlarla birlikte yorumlamaya çalışıyor. Griffin’in en dikkat çekici özelliği aynı zamanda en önemli güvenlik sorunlarından birini oluşturuyor. Bir yapay zekanın insan gibi görünmesi ve davranması, doğal iletişimi kolaylaştırırken karşıdaki kişinin yapay zekayla konuştuğunu fark etmesini de zorlaştırabiliyor.

Farkında olunsa bile bu tip sistemlerin insan üzerindeki psikolojik etkileri görülmeye devam ediyor. Psikolojik etkilerin yanı sıra Griffin, dolandırıcılık noktasında da riskler oluşturabilir. Tavus bu nedenle Griffin-Lite’ı şu aşamada genel kullanıma açmıyor. Sistem yalnızca seçilmiş güvenilir test kullanıcılarına araştırma ön izlemesi olarak sunuluyor.

Şirket, daha geniş bir sürüm yayınlamadan önce yapay zekanın kimliğinin açık biçimde belirtilmesini sağlayacak güvenlik ve açıklama mekanizmaları üzerinde çalışıyor.

Kaynak: DonanımHaber