Türkçe dilinde görüntü altyazısı: veritabanı ve model

OpenAlex Türkçe

Otomatik görüntü altyazısı, yapay zekânın hem bilgisayarla görme hem de doğal dil işleme alanlarını kapsayan bir konudur. Makine çevirisi alanındaki gelişmelerden ilham alan ve bu alanda başarılı sonuçlar veren kodlayıcı-kod çözücü tekniği, şu anda İngilizce görüntü altyazısı konusunda kullanılan mevcut yöntemlerden biridir. Bu çalışmada, Türkçe dili için otomatik görüntü altyazısı oluşturan bir model sunulmaktadır. Bu çalışma, verilen görüntülerin özelliklerini çıkarmaktan sorumlu olan bir CNN kodlayıcıyı, altyazı oluşturmaktan sorumlu olan bir RNN kod çözücüsü ile birleştirilerek, Türkçe MS COCO veri tabanını üzerinde Türkçe görüntü altyazısı kodlayıcı-kod çözücü modelini test etmektedir. Üretken modelin performansı yeni oluşturulan veri tabanında hem BLEU, METEOR, ROUGE ve CIDEr gibi en yaygın değerlendirme ölçütleri hem de insan tabanlı yöntemler kullanılarak değerlendirilmiştir. Sonuçlar, önerilen modelin performansının hem niteliksel hem de niceliksel olarak tatmin edici olduğunu göstermektedir. Çalışma sonunda hazırlanan, herkesin kullanımına açık bir Web uygulaması uygulaması[1] sayesinde Türkçe dili için MS COCO görüntülerine ait Türkçe girişlerin yapıldığı bir ortam kullanıcıya sunulmuştur. Tüm görüntüler tamamlandığında, Türkçe’ye özgü ve karşılaştırmalı çalışmaların yapıldığı bir veri kümesi tamamlanmış olacaktır. [1] http://mscococontributor.herokuapp.com/website/