由谷哥大腦與deepmind攜手推出新論文,透過基於進化算法來搜索出可以兼具將標準化以及活化函數功能的新的神經網路層,這個被找出來的新結構稱之為EvoNorm,論文中做了多種視覺任務的測試都呈現出更高的精確度以及模型泛用性。
Evolving Normalization-Activation Layers
https://arxiv.org/pdf/2004.02967.pdf
為了確認這個EvoNorm是否該納入經常性的使用,因此我做了一下簡單的測試,我原本用了mnist數據集,總共做了(1)只有卷積、活化函數與全連接層(2)加入batch normalization (3)加入batch normalization與dropout(4)使用EvaNormB0
以上皆是卷積層3層,卷積核皆為(3,3),第一層strides為1其餘為2,活化函數為leaky_relu,在優化器為adam,學習速率1e-3,批次大小128,跑了2000個批次的結果。
從圖上看來,EvoNorm前段比較普普,後段在四種架構中的確是損失最低評價最高。若是利用center loss圖來觀察這幾個模型的決策空間(每個顏色是指0~9數字在特徵空間的分佈,顏色交疊意味著分類錯誤),EvoNorm的中心點比較空洞,這表示分類案例重疊誤判的狀況是最輕微的。
同時也有10000部Youtube影片,追蹤數超過62萬的網紅Bryan Wee,也在其Youtube影片中提到,...
「activation函數」的推薦目錄:
- 關於activation函數 在 DeepBelief.ai 深度學習 Facebook
- 關於activation函數 在 Bryan Wee Youtube
- 關於activation函數 在 Travel Thirsty Youtube
- 關於activation函數 在 スキマスイッチ - 「全力少年」Music Video : SUKIMASWITCH / ZENRYOKU SHOUNEN Music Video Youtube
- 關於activation函數 在 python-深度學習4-神經網路常見問題-激活函數怎麼選 - YouTube 的評價
- 關於activation函數 在 網路上關於Activation ReLU-在PTT/MOBILE01/Dcard上的升學 ... 的評價
- 關於activation函數 在 網路上關於Activation ReLU-在PTT/MOBILE01/Dcard上的升學 ... 的評價
- 關於activation函數 在 網路上關於Activation ReLU-在PTT/MOBILE01/Dcard上的升學 ... 的評價
activation函數 在 Bryan Wee Youtube 的評價
activation函數 在 Travel Thirsty Youtube 的評價
activation函數 在 スキマスイッチ - 「全力少年」Music Video : SUKIMASWITCH / ZENRYOKU SHOUNEN Music Video Youtube 的評價
activation函數 在 網路上關於Activation ReLU-在PTT/MOBILE01/Dcard上的升學 ... 的八卦
2022Activation ReLU討論資訊,在PTT/MOBILE01/Dcard上的升學考試資訊整理,找relu函數,Activation ReLU,激活函數sigmoid在Instagram影片與照片(Facebook/Youtube)熱門 ... ... <看更多>
activation函數 在 網路上關於Activation ReLU-在PTT/MOBILE01/Dcard上的升學 ... 的八卦
2022Activation ReLU討論資訊,在PTT/MOBILE01/Dcard上的升學考試資訊整理,找relu函數,Activation ReLU,激活函數sigmoid在Instagram影片與照片(Facebook/Youtube)熱門 ... ... <看更多>
activation函數 在 python-深度學習4-神經網路常見問題-激活函數怎麼選 - YouTube 的八卦
python-深度學習4-神經網路常見問題-激活 函數 怎麼選-演算法怎麼挑(how to choose activation & optimizer in neural network). Watch later. ... <看更多>