RLSE Aktivasyon Fonksiyonu Tasarımının Derin Sinir Ağlarının Performansındaki Etkisi

Abstract

Translate Article

Take Notes

Aktivasyon fonksiyonu derin sinir ağlarının performansı üzerinde kritik etkisi olan bir bileşendir. Bu çalışmada, derin sinir ağlarında, yüksek sınıflandırma doğruluğu ve düşük kayıp elde etmek için yeni bir aktivasyon fonksiyonu önerilmektedir. Önerilen RLSE (ReLu-LIP-Sigmoid-ELU kombinasyonu) aktivasyon fonksiyonu ile, kaybolan gradyan sorunu ve ölmekte olan ReLU probleminin üstesinden gelinmesi hedeflemektedir. RLSE aktivayon fonksiyonunun performansı MNIST ve Fashion-MNIST veri kümeleri üzerinde değerlendirilmiş ve literatürde bulunan yeni geliştirilmiş aktivasyon fonksiyonlarıyla karşılaştırılmıştır. RLSE aktivasyon fonksiyonunun kullanılması ile, bu çalışmada tasarlanan Evrişimsel Sinir Ağı (ESA) mimarisinde MNIST veri kümesi için %99,04 ve Fashion MNIST veri kümesi için %90,40 doğruluk oranları elde edilmiştir. Sonuçlar, RLSE aktivasyon foksiyonunun diğer aktivasyon fonksiyonlarından daha iyi performans gösterdiğini ortaya koymaktadır.