Zaman Yolcusu: 1800-1875 Dönemine Ait Verilerle Eğitilmiş Bir Dil Modelinin İncelenmesi
Günümüzde yaygın olarak kullanılan ChatGPT ve Gemini gibi büyük dil modelleri, kullanıcılarla kurdukları iletişimi adeta sanal bir arama motoru deneyimine dönüştürüyor. Ancak yakın zamanda yapay zekâ alanında gerçekleşen gelişmeler, daha özgün ve karakteristik yapay zekâların da geleceklerinde rol alacağını gösteriyor. Örneğin Meta, şirketlerin kurumsal kimliklerini yansıtacak özelleştirilmiş yapay zekâ çözümleri geliştirmeyi planlıyor ve kullanıcılar da yapay zekâları kendi tercihlerine göre şekillendirebilme imkânına kavuşuyorlar.
TimeCapsuleLLM adını taşıyan bir proje, bu dönemden farklı bir deneyim olarak karşımıza çıkıyor. Reddit’teki r/LocalLLaMA topluluğundan bir geliştirici, yalnızca 1800 ile 1875 yılları arasına ait metinleri kullanarak sıfırdan bir büyük dil modeli inşa etmiş. Böylece, günümüzün gelişmelerinden habersiz, geleceğe dair görünümleri “gören” bir yapay zekâ ortaya çıkmış oluyor. Modelin kendisiyle yapılan sohbetler ise hem eğlenceli hem de düşündürücü sonuçlar doğuruyor.
TimeCapsuleLLM yaklaşık 1,2 milyar parametre ile çalışıyor ve yaklaşık 90 GB’lık bir veri kümesi üzerinde eğitildi. Bu veri seti dönemin kitapları, akademik dergileri, hukuki metinleri, dini yazılar ve tıbbi makaleler gibi çeşitli kaynaklardan oluşuyor. Ayrıca yalnızca model değil, kullanılan tokenizer da aynı tarihsel veriler üzerinde özel olarak eğitildi; böylece model dili hem kelime düzeyinde, hem de o dönemin yazım biçimi ve kavram dünyasıyla öğrenmiş durumda. Eğitim süreci yaklaşık 182 bin adım sürmüş ve bu süreç için bulut üzerinden H100 SXM GPU kiralanmış. Teknik olarak bakıldığında bu, günümüzün dev modellerine kıyasla daha mütevazı bir ölçek anlamına geliyor; ancak esas dikkat çekici olan tarihsel veri setinin modelin “dünyayı algılayış biçimini” nasıl şekillendirdiği.
Telefon kavramıyla ilgili ilginç bir sonuç ise modelin dikkat çekici özelliklerinden biri. Telefonun 1876 yılında icat edildiğini bilen modern bağlamı, bu model için belirsiz ve gizemli bir kavram olarak ele alınıyor. Kullanıcılar bu kelimeyle ilgili bir komut verdiklerinde, model bazen gizli bir diplomatik aygıt ya da devletler arası haberleşmede kullanılan esrarengiz bir cihaz gibi açıklamalar yapabiliyor. Böylece modern anlamını bilmediği bir kavramı kendi tarihsel bağlamı içinde “mantıklı” bir yere oturtmaya çalışıyor. Bu durum, ilk bakışta eğlenceli olsa da aslında yapay zekâların “düşünme” biçimlerine dair değerli ipuçları sunuyor. Günümüzdeki modeller genellikle veri kaynaklarına veya internetteki bilgilere bel bağlarken, bu tarihi yapay zekâ kendi çıkarımlarını yaparak kavramları anlamlandırmaya çalışıyor.
Bu proje, farklı eğitim yaklaşımlarının yapay zekânın kullanım alanlarına dair yeni fikirler vermesi açısından da ilham verici olabilir. Tarihsel simülasyonlar veya sınırlı bilgiyle eğitilmiş yapay zekâların, oyunlar veya simülasyonlar gibi alanlarda kullanımını düşündürücü kılıyor. Sadece 19. yüzyılı “ bilen” bir yapay zekayla sohbet etmek, o dönemin düşünce yapısını ve dünyayı algılama biçimini anlamak için eşsiz bir deneyim sunuyor. Projenin GitHub sayfasına buradan ve Hugging Face sayfasına buradan erişebilirsiniz.
