Parçalı Yapay Zeka Dalgası: Mobil Cihazlarda Akıllı Modellerin Yeni Yolu
Günümüz bilgisayarlar, bazı donanım sınırlamalarını aşıp yapay zekâ dil modellerini çalıştırmayı başarabildi. mobil cihazlarda ise, belirli bir görev kümesi için bulut bağımlılığı olmadan da motorlar çalışıyor. Bu kez durum farklı ve heyecan verici bir yaklaşımı içeriyor.
Bir amatör paylaşında, akıllı telefonların yapay zekâ dil modellerini kendi üzerinde idare edebildiğini gördük. Anemll adlı hesap, iPhone 17 Pro üzerinde çalışan yaklaşık 400 milyar parametreli bir model üzerinden örnek verdi; bu tür modellerin tipik olarak 200 GB belleğe ihtiyaç duyduğunu hatırlatıyor. Flash-MoE adını taşıyan açık kaynak projesi, bu modeli ilginç bir stratejiyle kullanıyor: Tüm bileşenleri tek seferde belleğe yüklemek yerine yalnızca temel modülü uyandırıp gerekli parçaları gerektiğinde saklamadan çağırarak devreye alıyor. Böylece tam ölçekli çalışması yerine parçalı bir şekilde işliyor ve bellek ile işlemci kullanımında makul seviyeler sağlanıyor.
Ancak bu yaklaşımın bazı handikapları da var: yanıt süresi, saniyede yalnızca yaklaşık 0.6 token üretmesini gerektiriyor ve bir komuta cevap vermesi uzun zaman alabiliyor. Ayrıca batarya tüketimi de önemli ölçüde yüksek. Şu aşamada mobil modellerin genel dil modellerinin yerini alması mümkün görünmüyor; fakat zamanla daha hızlı yanıtlar ve daha verimli enerji kullanımı konusunda kayda değer ilerlemelerin kaydedileceğini söylemek doğru olur.
