ChatGPT Yerine Kendi Yapay Zekâ Sistemini Kurmak Daha Ucuz Olabilir
Özet haber: Yapay zekâ modellerini bulut üzerinden çalıştırmak yerine kendi donanımında barındırmak, belirli bir kullanım seviyesinin ardından ciddi bir maliyet avantajı sağlayabiliyor. İki adet AMD Radeon AI PRO R9700 ekran kartıyla hazırlanan yaklaşık 18.775 dolarlık iş istasyonu, yüksek hacimli yapay zekâ işlemlerinde GPT-5.6 Sol ve Claude Opus 5 gibi üst seviye bulut modellerinin API maliyetinin altına inebiliyor. […] Devamı: ChatGPT Yerine Kendi Yapay Zekâ Sistemini Kurmak Daha Ucuz Olabilir Technopat

Yapay zekâ modellerini bulut üzerinden çalıştırmak yerine kendi donanımında barındırmak, belirli bir kullanım seviyesinin ardından ciddi bir maliyet avantajı sağlayabiliyor.
İki adet AMD Radeon AI PRO R9700 ekran kartıyla hazırlanan yaklaşık 18.775 dolarlık iş istasyonu, yüksek hacimli yapay zekâ işlemlerinde GPT-5.6 Sol ve Claude Opus 5 gibi üst seviye bulut modellerinin API maliyetinin altına inebiliyor.
Yapılan hesaplamalarda donanım maliyeti, elektrik tüketimi, modelin ürettiği token miktarı ve sistemin üç yıllık kullanım süresi birlikte değerlendirildi.
Test sisteminde 32 GB GDDR6 belleğe sahip iki Radeon AI PRO R9700 kullanıldı. İki ekran kartı birlikte toplam 64 GB VRAM sunuyor. İş istasyonunda AMD Ryzen Threadripper PRO işlemci, 128 GB RAM ve profesyonel sınıf bir anakart bulunurken test edilen sistemin toplam maliyeti yaklaşık 18.775 dolar olarak hesaplandı. Radeon AI PRO R9700’lerin tek başına toplam maliyeti ise yaklaşık 3.760 dolar seviyesinde.
İki ekran kartı üzerinde Qwen3.6-27B modeli çalıştırıldı. Standart vLLM FP8 Tensor Parallelism yapılandırmasında sekiz eş zamanlı kullanıcı altında sistem saniyede 156,2 token üretebildi.
Multi-Token Prediction, yani MTP tabanlı spekülatif çözümleme etkinleştirildiğinde aynı sistem saniyede 320,2 token seviyesine çıktı. Testte MTP kullanılırken üretilen çıktının standart çözümlemeyle aynı kaldığı belirtildi.
MTP etkin halde tek kullanıcı performansı saniyede 62,75 token olarak ölçülürken dört eş zamanlı kullanıcıda 186,29 token, sekiz kullanıcıda ise 320,23 token elde edildi. Sekiz kullanıcı yükünde iki ekran kartının toplam güç tüketimi yaklaşık 490 watt seviyesinde kaldı. Standart vLLM yapılandırmasında aynı yük altında 480 watt ölçüldü.
Maliyet hesabında yalnızca ekran kartlarının harcadığı elektrik dikkate alınmadı. İşlemci, RAM, depolama, fanlar ve güç kaynağı kayıpları için yaklaşık 300 watt ek sistem tüketimi hesaba katıldı. Elektrik fiyatı kilovatsaat başına 0,1354 dolar, donanımın ekonomik kullanım süresi ise üç yıl olarak kabul edildi.
Bulut tarafında bir milyon çıktı tokenı için GPT-5.6 Sol 30 dolar, Claude Opus 5 25 dolar, Gemini 3.1 Pro ve GPT-5.6 Terra 12 dolar, Claude Sonnet 5 ise 10 dolar seviyesinde hesaplandı.
Daha düşük maliyetli seçeneklerde Gemini 3.6 Flash 7,50 dolar, Claude Haiku 4.5 5 dolar, Gemini 3.1 Flash-Lite 1,50 dolar ve GPT-5.6 Luna 1,20 dolar seviyesinde yer aldı.
MTP açık çift R9700 sistemi, sekiz kullanıcının sürekli yük oluşturduğu senaryoda haftada yalnızca 3,5 saat çalıştırıldığında GPT-5.6 Sol’un token maliyetinin altına inebiliyor. Claude Opus 5 karşısındaki eşik haftada 4,2 saat, Gemini 3.1 Pro ve GPT-5.6 Terra karşısında 8,8 saat, Claude Sonnet 5 karşısında ise 10,5 saat olarak hesaplandı.
Daha ucuz bulut modellerinde tablo değişiyor. Gemini 3.1 Flash-Lite karşısında yerel sistemin haftada yaklaşık 74,2 saat, GPT-5.6 Luna karşısında ise 94,3 saat yoğun şekilde kullanılması gerekiyor.


