Take the First Step to Artificial Intelligence with the Best! | Certified Introduction to AI, Robotics and Data course is now Free

Join Global AI Hub Now!

x

Home Forums Forum: Derin Öğrenmeye Giriş 3. güne soru Reply To: 3. güne soru

  • Irem Kömürcü

    Member
    September 13, 2021 at 11:44 am

    ReLU diğer aktivasyon fonksiyonları olan sigmoid ve tanh’a göre 2 avantaja sahiptir:

    1. ReLU’nun hesaplanması çok basittir, çünkü yalnızca girdisi ile 0 değeri arasında bir karşılaştırma içerir.

    2. Ayrıca girdisinin sırasıyla negatif olup olmamasına bağlı olarak 0 veya 1 türevine sahiptir.

    Backpropagation’da türev işlemi yapıldığından 2.madde kritiktir. Bir nöronun gradyanını hesaplamanın performans olarak ucuz olduğu anlamına gelir. Sigmoid veya tanh fonksiyonları ise tam tersine genellikle bu özelliğe sahip değildir.

    ReLU kullanımı, sinir ağını çalıştırmak için gereken hesaplamada üstel büyümeyi önlemeye yardımcı olur. CNN boyut olarak ölçeklenirse, fazladan ReLU eklemenin hesaplama maliyeti doğrusal olarak artar.

    ReLU’lar ayrıca sigmoid veya tanh fonkisyonlarının kullanımında ortaya çıkan “Vanishing Gradient” sorununun ortaya çıkmasını da engeller.

    Sigmoid ve tanh fonksiyonlarının pozitif sonsuza yaklaştıkça 0’a yönelen türevleri olsa da, ReLU her zaman sabit 1’de kalır. Bu, aktivasyon fonksiyonuna girişin yüksek değerleri için bile hatanın geri yayılmasını(backpropagation) ve öğrenmenin devam etmesini sağlar