もっと詳しく

3つの要点 ?? 活性化関数は、5種類（シグモイド系、ReLU系、ELU系、学習系、その他）に分類され、それぞれの課題を抱えている。 ?? 「最高の活性化関数」などは存在せず、データやモデルごとに最適な活性化関数がある。 ?? まずはReLUで良いが、Swish, Mish, PAUも試す価値がある。 A Comprehensive Su…