Aktivasyon Fonksiyonlarının Etkileri

Derin Öğrenme içerisinde aktivasyon fonksiyonları, kilit bir rol oynayarak başarı oranlarına doğrudan etki ederler. Bunun temel nedeni, sinir ağları içerisindeki çıkış katmanlarında başarı değerlerine ulaşmadan önce, belirlenen katsayıların ve ağırlıkların değişimi ile başarı değerinin değişimine aktivasyon fonksiyonu sayesinde erişebiliriz. Genellikle fonksiyonların yapıları lineer ve lineer olmayan şeklinde değişiklik gösterir. Bu da kümeleme, regresyon gibi yapılar için hangisinin başarısının daha iyi olduğuna modeller üzerinde denenerek bulunabilir ya da halihazırda kaynaklar kısmına bıraktığım linkler aracılığıyla ulaşabilirsiniz. Her aktivasyon fonksiyonu için farklı şekilde formüller vardır ve bunlar için kurulacak olan kod dizinlerini dikkatli şekilde oluşturmalıyız. Nöron işlemleri için formül, ağırlıklar ve bias (yanlılık) değerinden meydana gelir. İstatistik bilgisi, bu işlemler bünyesinde en önemli noktalardan birisidir. Göz önünde çok bulundurulmayıp genelde kod yazım kritik rol gibi gözükse bile, asıl önemli olan şey ne yaptığını bilmektir. Matematik ve İstatistik bilgisi göz ardı edilemeyecek kadar mühim bir konudur. Veri Bilimi, Derin Öğrenme ve Makine Öğrenmesi süreçlerinin tamamında matematik ve istatistik önemli rol oynamaktadır.

 

 

Üstteki formülde de gördüğünüz gibi, beta olarak bilinen ek hata parametresi aslında bias yani yanlılıktır. İstatistik eğitimi boyunca öğretilen en önemli yapılardan birisi yanlılık yapısıdır. Kullandığımız ve işlediğimiz sinir ağları yapısında da yanlılık son derece değerli bir konudur ve göz ardı edilemez. Aktivasyon fonksiyonları, sinir ağları üzerinde etkin bir şekilde çıkış ve giriş kısımlarında sonuç için seçimi çok önemlidir. Öğrenme katkısı sağlayan bu fonksiyonların görüntüsü, girdi başına ve seçilen parametreler, katsayılar boyunca değişiklik göstermektedir. Alt tarafta sunduğum görüntü, aktivasyon fonksiyonlarının girdileri ve çıktıları olarak değerlendirilen durumu içermektedir. Bu kodlara erişmek isteyenler için son kısımda link olarak bırakacağım. Her aktivasyon fonksiyonun kendi içerisinde başarı kriterleri değişkenlik göstermektedir. Çıkış katmanında başarısı ve daha mantıklı geldiği için çoğunlukla Softmax kullanılmaktadır. Yaygın olarak bilinen iki isim vardır. Bunlar için örnek softmax ve sigmoid söylenebilir. Bu alanda kariyer yolculuğuna girişen çoğu insan, bu iki aktivasyon fonksiyonunu sık bir şekilde duymaktadır. Sinir ağları üzerine çalışan veri bilimciler, ilk başlangıç adımında ReLU ile denemeler yapmaktadır.

 

 

Aktivasyon fonksiyonları, x ve y eksenleri boyunca başarı parametrelerine göre değişiklik gösterir. Hedeflenen asıl başarı oranı, y ekseni boyunca veri arttıkça tepe noktasına denk gelmektir. Bunu sağlamak için hem parametre değerleri hem katsayı ayarlaması hem de yapılan işlemler boyunca seçilen aktivasyon fonksiyonu etkilidir. Back propagation – forward propagation olarak bilinen ileri ve geri yayılım sayesinde katsayıların tekrardan belirlenip optimum seviyede tutulması sinir ağları boyunca inanılmaz bir yeri vardır. Bu işlemler tamamen matematik ile bağlantılıdır. Türev konusunda bilgi sahibi olmalısınız ve bu alanda çalışıyorsanız önemli olan kod yazmak değil, tam olarak ne yaptığınızı bilerek yapmaktır. Alt tarafta bıraktığım şekilde gözlemleyebilirsiniz, zaten geriye doğru dönüş için sürekli türevsel işlemler yapıyoruz. Burada matematik altyapısı üzerine kurulan bir sinir ağları vardır. Bu işlemler sonrası aktivasyon fonksiyonları çıkış kısmında en uygun olanı bularak başarısını gözlemleyebiliriz. Böylece model için optimum fonksiyonu bulup onun kullanım durumlarını da proje bazlı denedikçe rahatlıkla görebiliriz. Bu durumlar sonucunda başarı durumları değişkenlik gösterir.

 

 

Son kısımda aktivasyon fonksiyonlarını anlatıp ne işe yaradıklarından kısaca bahsedeceğim. Step Fonksiyonu, Doğrusal Fonksiyon, Sigmoid Fonksiyonu, Hiperbolik Tanjant Fonksiyonu, ReLU, Leaky ReLU, Swish, Softmax Fonksiyonu aktivasyon fonksiyonları için örnek verilebilir.

Step Fonksiyonu: Eşik değeri ile ikili sınıflandırma yapar.

Doğrusal Fonksiyon: Birkaç aktivasyon değeri üretir fakat türevi sabittir.

Sigmoid Fonksiyonu: Hemen herkesin bildiği fonksiyondur ve [0,1] aralığında çıktı verir.

Hiperbolik Tanjant Fonksiyonu: [-1,1] aralığında çıktı veren non-linear bir fonksiyondur.

ReLU Fonksiyonu: Esasında doğrusal olmayan bir fonksiyondur. ReLU fonksiyonun özelliği, negatif girdiler için 0 değeri ve pozitif değerleri sonsuza kadar alır. [0, + ∞ )

Leaky ReLU Fonksiyonu: Leaky ReLU ayırıcı özellik, 0 değerine yakın eksenler ile geçiş yapmış fakat 0 a orijin üzerinde temas etmesi ve ReLU’daki kaybolan gradyanları negatif bölge ile bünyesinde tutar.

Swish Fonksiyonu: Bu fonksiyon, girdiler ile sigmoid fonksiyonunun çarpımını çıktı olarak üretmektedir.

Softmax Fonksiyonu: Çoklu sınıflandırma problemleri için kullanılan bu fonksiyon, verilen her bir girdinin bir alt sınıfa ait olma olasılığını gösteren [0,1] arası çıktılar üretmektedir.

 

 

Aldığım görselleri ve tanımlarından faydalandığım kısımları references bölümünde yazdım. Yazımı sevdiyseniz geri bildirimde bulunursanız çok sevinirim.

 

References :

-https://www.derinogrenme.com/2018/06/28/geri-yayilim-algoritmasina-matematiksel-yaklasim/

-https://medium.com/smlr-center/sinir-a%C4%9Flar%C4%B1-ve-derin-%C3%B6%C4%9Frenme-vi-hesaplama-grafi%C4%9Fi-1caf57ec03f9

-https://ayyucekizrak.medium.com/derin-%C3%B6%C4%9Frenme-i%C3%A7in-aktivasyon-fonksiyonlar%C4%B1n%C4%B1n-kar%C5%9F%C4%B1la%C5%9Ft%C4%B1r%C4%B1lmas%C4%B1-cee17fd1d9cd

-http://buyukveri.firat.edu.tr/2018/04/17/derin-sinir-aglari-icin-aktivasyon-fonksiyonlari/

-https://www.aliozcan.org/ai/aktivasyon-fonksiyonlari/

-https://globalaihub.com/degisken-secimi-hakkinda-temel-bilgiler/

-https://globalaihub.com/basic-information-about-feature-selection/