Google, yapay zeka modellerindeki en büyük engellerden biri olan yüksek işlem maliyeti ve bellek tüketimine karşı Google TurboQuant teknolojisi sistemini duyurdu. Teknoloji dünyasında büyük yankı uyandıran bu yeni sıkıştırma algoritması, büyük dil modellerini (LLM) çok daha verimli hale getirmeyi hedefliyor.
Geliştirilen bu yöntem sayesinde yapay zeka sistemleri hem daha az yer kaplayacak hem de eskisinden çok daha hızlı bir şekilde yanıt verebilecek.
Google TurboQuant Teknolojisi Nasıl Çalışıyor?
Google tarafından tanıtılan bu yeni sistem, temel olarak yapay zeka modellerinin “anahtar-değer önbelleği” (key-value cache) adı verilen veri saklama alanlarını optimize ediyor. Geleneksel yöntemlerde yapay zeka vektörleri kartezyen koordinatlarla ifade edilirken, bu yeni algoritma kutupsal koordinat sistemine geçiş yapıyor.
Bu sayede veriler çok daha kompakt bir yapıda saklanabiliyor. Üstelik bu işlem yapılırken yapay zekanın sunduğu doğruluk oranlarında herhangi bir kayıp yaşanmıyor.
Yüksek Performans ve Düşük Bellek Kullanımı
Şirketin paylaştığı test verilerine göre bu yeni algoritma, bellek kullanımını tam 6 kat azaltıyor. Bunun yanı sıra işlem performansında 8 kata varan bir artış sağlanıyor. Bu durum, özellikle kısıtlı donanıma sahip olan mobil cihazlar için büyük bir avantaj anlamına geliyor.
Artık akıllı telefonlar, bulut sistemlerine ihtiyaç duymadan cihaz üzerinde daha karmaşık yapay zeka işlemlerini saniyeler içerisinde gerçekleştirebilecek.
Hata Düzeltme ve Doğruluk Payı
Sıkıştırma işlemleri genellikle veri kaybına veya hatalı sonuçlara yol açabilir. Ancak Google, QJL (Quantized Johnson-Lindenstrauss) adı verilen özel bir yöntem kullanarak bu sorunu ortadan kaldırıyor. Bu teknoloji, sıkıştırılmış veriler arasındaki önemli ilişkileri koruyarak modelin dikkat hesaplamalarını hatasız bir şekilde sürdürmesini sağlıyor.
Gemma ve Mistral gibi popüler modeller üzerinde yapılan testler, sistemin kusursuz çalıştığını kanıtlıyor.
Yapay Zekanın Geleceği ve Mobil Entegrasyon
Bu gelişme, yapay zeka modellerinin sadece sunucularda değil, günlük hayatımızın her anında cebimizde daha güçlü bir şekilde yer almasını sağlayacak.
Düşük maliyetli ve yüksek verimli modeller, yapay zeka servislerinin daha erişilebilir olmasına katkı sunacak. Google, bu teknolojiyi mevcut açık kaynaklı modellere doğrudan uygulanabilecek şekilde tasarlayarak ek bir eğitim sürecine gerek bırakmıyor.
Yesilrobot.com e-bültenine kaydolarak, her hafta 15 bine yakın Yeşil Robot okurunun yaptığı gibi, tüm güncellemeleri E-posta kutunuzdan takip edebilirsiniz. Abonelik için tıklayınız
