SAM 3 ve SAM 3D: Görselde Nesneleri Akıllı Parçalama ve 3D Yenidenİnşa Devrimi
Meta, Segment Anything model ailesini genişleterek iki yeni sürümü piyasaya sürd: SAM 3 ve SAM 3D. Bu modeller, nesneleri tespit ederken doğruluğu artırıyor ve 2D görüntülerden gerçekçi 3D modellere dönüşüm yapabiliyor.
Güncellenen SAM 3, görüntü ve videolardaki nesneleri yazılı komutlar aracılığıyla izleyebiliyor. Kullanıcılar sadece “kırmızı şapka takan kişi” gibi ifadelerle ilgili nesneleri işaretleyebiliyor; bu, önceki sürümlere göre daha yüksek doğruluk sunuyor. Basit ve karmaşık nesne tanımlamalarını anlayan sistem, fotoğraflardaki öğeleri seçip düzenlemeyi kolaylaştırıyor; örneğin birinin üzerindeki gömleğin rengini değiştirmek artık daha pratik hale geliyor. Doğal dil ve görsel bağlantılar alanında iyileştirmeler, uzun ve daha ayrıntılı komutları da doğru şekilde eşleştirebiliyor.
Meta’ya göre, SAM 3 multimodal büyük dil modelleriyle çalışarak daha uzun komutları çözümleyebiliyor ve video düzenleme uygulaması Edits ile birlikte test ediliyor. Ayrıca kısa bir yapay zekâ destekli video uygulaması olan Vibes için de entegrasyonlar sürüyor.
Üç boyutlu yeniden inşa: SAM 3D ile nesneler, insanlar ve hayvanlar gerçekçi 3D modellere dönüştürülebiliyor. Bu teknoloji, bir fotoğraflardan başlayıp sanal gerçeklik veya videolara entegre edilen modeller oluşturmayı mümkün kılıyor. Örneğin, yüklenen bir fotoğraftaki kişinin 3D modelini elde etmek veya bir oda tasarımını gerçekçi biçimde görüntülemek mümkün hale geliyor.
SAM 3D’nin iki ana alt modeli bulunuyor: SAM 3D Objects, sahnelerin ve nesnelerin 3D rekonstrüksiyonunu sağlar; SAM 3D Body ise tek bir 2D fotoğraftan insan vücudunun biçimini ve duruşunu hesaplayarak 3D insan modelleri üretir. Bu teknolojinin robotik, bilimsel araştırmalar, spor tıbbı, oyun geliştirme ve artırılmış gerçeklik gibi pek çok alanda önemli uygulama alanları bulunuyor. Ayrıca Facebook Marketplace’teki “Odanızda Görünüm” özelliğini güçlendirerek mobilyaların 3D görünümünü sunuyor.
Herkese açık deneyim: Segment Anything Playground ile SAM 3 ve SAM 3D herkesin kullanımı için erişilebilir hale getiriliyor. Kullanıcılar şu imkanlara sahip olacak:
- bir görüntü veya video yükleyip metin komutlarıyla nesne çıkarabilme,
- sahneyi farklı açılardan inceleme,
- nesneleri yeniden düzenleyip özel efektler ekleme,
- 3D modelleri farklı perspektiflerden görme.
Açık kaynak paylaşımları ve yeni veri setleri konusunda SAM 3’ün ağırlıkları ve kodu açık olarak yayımlanıyor. Ayrıca “açık kelime haznesi segmentasyonu” adlı yeni bir veri seti ve değerlendirme kriteri mevcut araştırmacılarla paylaşılıyor. SAM 3D ise tamamen açık kaynak değildir; fakat modelin kontrol noktaları, çıkarım kodu ve 3D rekonstrüksiyon için özel olarak hazırlanmış veri seti paylaşılıyor.
