Nvidia’dan sadece 4 GB’lık yeni yapay zeka modeli: İnternetsiz çalışıyor

Nvidia telefonlar, küçük cihazlar ve robotlar için geliştirdiği Nemotron 3. 5 Bolt E4B modelini yayımladı. Yaklaşık 4 GB bellek hedefiyle tasarlanan model, internet bağlantısına ihtiyaç duymadan sohbet edebiliyor ve uygulamalardaki araçları kullanarak görevleri yerine getirebiliyor. Nvidia Nemotron 3. 5 Bolt E4B neler sunuyor? Nvidia, Nemotron 3.

5 Bolt E4B adını verdiği yeni açık modelini, özellikle hızlı ve düşük kaynak tüketimli yapay zeka asistanları geliştirmek isteyen kullanıcılar için hazırladı. Google'ın Gemma 4 E4B modelini temel alan sistem, Nvidia’nın gerçekleştirdiği ek eğitim süreciyle geliştirildi. Böylece doğal dilde sohbet etmenin yanı sıra birden fazla adımdan oluşan görevleri yerine getirebilen bir yapıya kavuştu.

Model, hedeflenen kullanım senaryolarında yaklaşık 4 GB bellek alanına sığacak şekilde tasarlandı. Bu sayede cihazın belleğinin tamamını yapay zeka modeline ayırmadan uygulamalara ve aynı işlem hattında çalışan diğer modellere de alan bırakılması amaçlanıyor.

Nvidia, önceki modeli Nano 4B ile karşılaştırıldığında temel sohbet ve araç kullanımı testlerinde ortalama yaklaşık yüzde 40 daha yüksek kalite elde edildiğini belirtiyor. Diğer karşılaştırılan açık modellere kıyasla ortalama puanların yaklaşık yüzde 10 daha yüksek olduğu da aktarılıyor. Nemotron 3. 5 Bolt E4B'nin öne çıkan özelliklerinden biri, benzer görevlerde daha az çıktı üretmesi.

Nvidia’nın değerlendirmelerine göre model, akıl yürütmenin etkin olduğu karşılaştırmalarda diğer modellere kıyasla yüzde 80'e kadar daha az token kullanabiliyor. Gereksiz metin üretiminin azaltılması, hesaplama yükünü ve maliyetleri düşürürken yanıt sürelerini de kısaltabiliyor.

Telefonlarda ve robotlarda yerel yapay zeka dönemi Nvidia, yeni modelin bulut tabanlı hizmetlere bağımlılığı azaltarak yapay zeka özelliklerinin doğrudan cihaz üzerinde çalıştırılmasını hedefliyor. Yeni model bilgisayarlar, mobil cihazlar, ev sistemleri ve araç içi asistanların yanı sıra oyun karakterleri, robotik sistemler ve endüstriyel otomasyon uygulamaları için de kullanılabiliyor.

Modelin çalışabildiği platformlar arasında Nvidia GeForce RTX, Jetson, RTX Spark ve DGX Spark bulunuyor. Yerel çalıştırma yaklaşımı, internet bağlantısının bulunmadığı ortamlarda da yapay zeka özelliklerinden yararlanılmasını mümkün kılıyor. Ayrıca verilerin harici sunuculara gönderilmesi ihtiyacını azaltarak gizlilik açısından da avantaj sağlayabiliyor.

Nvidia’nın paylaştığı demoda, küçük boyutlu insansı robot Reachy Mini, 8 GB belleğe sahip Jetson Orin Nano üzerinde Nemotron 3. 5 Bolt E4B ile çalışıyor. Sistem, robotun animasyon kütüphanesindeki komut dosyalarını çağırarak hareket etmesini ve kullanıcılarla sesli iletişim kurmasını sağlıyor. Görsel çevre algılama görevlerinde ise Cosmos 3 Edge modelinden yararlanılıyor.

Böylece robot, çevresinden gelen görsel bilgileri yorumlayabiliyor, uygun eylemleri gerçekleştirebiliyor ve konuşarak yanıt verebiliyor. Bir diğer örnekte model, Minecraft’taki bir demirci tüccar karakterini yönetiyor.

Yapay zeka karakteri, bir eşyanın ödemesinin doğru yapıldığını kontrol ettikten sonra gerekli araçları çağırarak üretim tariflerini inceliyor, malzemeleri topluyor, eşyayı üretiyor ve kullanıcıya teslim ediyor. Bu örnek, modelin yalnızca sohbet etmekle kalmayıp birden fazla aşamadan oluşan görevleri araç kullanarak tamamlayabildiğini gösteriyor. 64 bin token bağlam uzunluğu ve 35 dil desteği Nemotron 3.

5 Bolt E4B, farklı uygulamalara uyarlanabilmesi için çeşitli yapılandırma seçenekleri de sunuyor. Model, bir konuşma boyunca uygulama API'lerini çağırarak görevleri gerçekleştirebiliyor. Birden fazla konuşma turuna yayılan işlemlerde araç kullanımını destekleyen sistem için eş zamansız araç çağrılarına yönelik entegrasyon yönergeleri de sağlanıyor.

Konuşma modu etkinleştirildiğinde modelin daha kısa, sesli iletişime uygun yanıtlar vermesi teşvik ediliyor. Bu özellik daha doğal bir diyalog akışı oluşturmayı amaçlıyor. Akıl yürütme özelliği ise karmaşık taleplerde etkinleştirilebiliyor veya daha hızlı yanıt alınması gereken durumlarda devre dışı bırakılabiliyor.

Geliştiriciler ayrıca gecikme hedeflerini karşılamak için modelin akıl yürütme sürecini sınırlandırabiliyor. Modelin 64 bin token bağlam penceresi ise konuşma geçmişinin yanı sıra talimatların, araç tanımlarının, erişilen bilgilerin ve uygulama durumunun aynı bağlam içerisinde tutulmasına olanak tanıyor. Nvidia, 35 dil desteği sunduğunu belirtiyor.

Modelin temel aldığı sistemin eğitiminde ise 140'tan fazla dilden yararlanılıyor. Nemotron 3. 5 Bolt E4B nasıl kullanılabilir? Nvidia, yeni modeli geliştiricilerin farklı çalışma ortamlarında deneyebilmesi için çeşitli platformlar üzerinden erişime açtı. Hugging Face, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab ve NVIDIA In-Game Inferencing SDK üzerinden modele ulaşılabiliyor.

Şirket ayrıca uygulama entegrasyonu ile istem hazırlama yönergelerini, model kartını, dağıtım örneklerini ve eğitim tariflerini de paylaşıyor. Böylece geliştiriciler modeli kendi donanımlarına ve uygulamalarına göre yapılandırabiliyor.

Kaynak: DonanımHaber