Anlam Çözümleme Modelleri İle Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması

Abstract

Günlük hayatta insanlar; duygularını, düşüncelerini ve yaşantılarını dili kullanarak ya da kullanmaksızın çevrelerindeki insanlara aktararak iletişime geçerler. Dilsel ve işitsel yetisi olmayan kişiler ise çevreleriyle bu iletişimi işaret dilini kullanarak gerçekleştirirler. İşaret dili ise, engelli kişilerin hem kendi aralarında hem de bu dili bilen engelsiz kişilerle jest, mimik ve vücut hareketleriyle anlaşmalarını sağlayan bir dil olarak tanımlanır. Bu anlamda Nesnelerin İnterneti üzerinden anlam çözümlenme modelleri ile web (ağ) ortamında çalışmasına yönelik geliştirilen bu çalışma, duyma ve konuşma bozukluğu olan kişilerle işaret dilini bilmeyenler arasındaki iletişimi sağlayan bir Türkçe İşaret Dili Çeviri Sistemidir. Gerçekleştirilen bu sistemle; işaret dilini gösteren el hareketleri, derinlik kamerasıyla yakalanmış, MQTT (Message Queuing Telemetry Transport /Sıralı Telemetri Mesaj İletimi) sunucusuna gönderilmiştir. Gönderilen bu görüntüler Üç Boyutlu Modelleme ve Hareket Analizinde kullanılan yapay sinir ağları algoritmaları ve makine öğrenmesi yöntemleri ile analiz edilmiştir. Analiz edilen görüntülerden elde edilen sözcüklerin gerçek anlamları ise, Biçimsel Kavram Analizi Teorisi ile hazırlanan tematik rollerden oluşan gerçeklik modelleriyle bulunmuştur. Gerçek anlamları bulunan bu kelimeler, içinde geçtiği cümle ile birlikte lokal ağ ortamında yayınlanmıştır. Böylece, engelli bir kişi aynı veya farklı mekanlarda yer alan kişi veya kişilerle iletişim kurabilmiştir.