Pocket Lab ile Taşınabilir Yapay Zeka Çağı: Yerel 120 Milyar Parametreye Kadar Çalışan Cihaz
Tiiny AI, Pocket Lab adını verdiği yeni cihazıyla yapay zeka dünyasında devrim yaratmayı hedefliyor. Bu dünyanın en küçük yapay zeka süper bilgisayarı olarak lanse edilen cihaz, yerel olarak 100 milyar sınıfı modelleri bile çalıştırma kapasitesini iddia ediyor. Amerikan girişimi, bulut bağlantısı veya ekstra ekran kartı olmadan gelişmiş çıkarım görevlerini yerine getirebileceğini vurguluyor. Buluta bağımlılığı azaltarak 120 milyar parametreli modellerin cebinizde çalıştırılabileceğini duyuruyorlar.
Öne çıkan özelliği, 10 milyar ile 120 milyar parametre arasındaki devasa dil modellerini tamamen çevrimdışı olarak çalıştırabilmesi. Şirket, tüm işlemlerin cihaz içinde yürütülmesi sayesinde veri gizliliğinin korunacağını ve ağ gecikmelerinin ortadan kalkacağını belirtiyor. Tiiny AI yöneticisi Samar Bhoj, zekanın veri merkezlerine bağlı kalmaması gerektiğini savunarak, bu cihazın yapay zekayı daha kişisel ve erişilebilir kılacağını ifade ediyor.
Teknik taraf ise dikkat çekici: cihaz, 65W güç tüketimi sınırı içinde yüksek performans sunmayı hedefliyor. Sistemin kalbinde 12 çekirdekli bir ARMv9.2 işlemci ve yaklaşık 190 TOPS işlem gücü sağlayan özel bir yapay zeka modülü bulunuyor. Ayrıca 80GB LPDDR5X bellek ve 1TB SSD eşlik ediyor. Fiziksel olarak hafifçe büyük bir harici disk hissiyatı veren bu cihaz, TurboSparse ve PowerInfer gibi yazılım teknolojileriyle iş yüklerini verimli biçimde dağıtıyor ve pahalı hızlandırıcılara ihtiyaç duymuyor.
Bir tilintili detay olarak şirket, cihaz için “OTA donanım yükseltmeleri” sunacağını iddia ediyor; fakat fiziksel donanımın uzaktan güncellenememesi nedeniyle bunun yanlış ifade edilmiş bir yazılım güncellemesi ya da pazarlama hatası olabileceği yorumu yapılıyor. Şu an bağımsız test sonuçları yayınlanmasa da, cihazın sunduğu mahremiyet ve düşük maliyet avantajları teknoloji dünyasında ilgi çekiyor. Böyle küçük bir cihazın, sunucu sınıfı performans vaat etmesi ise gerçek dünya testleriyle doğrulanmayı bekliyor.
Peki siz bu gelişmeyi nasıl görüyorsunuz? Gelecekte dev yapay zeka modellerini evlerimizdeki küçük cihazlarda mı çalıştıracağız?
