Damped Newton Stochastic Gradient Descent Method for Neural Networks Training
First-order methods such as stochastic gradient descent (SGD) have recently become popular optimization methods to train deep neural networks (DNNs) for good generalization; however, they need a long training time. Second-order methods which can lower the training time are scarcely used on account o...
Հիմնական հեղինակներ: | Jingcheng Zhou, Wei Wei, Ruizhi Zhang, Zhiming Zheng |
---|---|
Ձևաչափ: | Հոդված |
Լեզու: | English |
Հրապարակվել է: |
MDPI AG
2021-06-01
|
Շարք: | Mathematics |
Խորագրեր: | |
Առցանց հասանելիություն: | https://www.mdpi.com/2227-7390/9/13/1533 |
Նմանատիպ նյութեր
-
Adaptive Stochastic Gradient Descent Method for Convex and Non-Convex Optimization
: Ruijuan Chen, և այլն
Հրապարակվել է: (2022-11-01) -
The Improved Stochastic Fractional Order Gradient Descent Algorithm
: Yang Yang, և այլն
Հրապարակվել է: (2023-08-01) -
Recent Advances in Stochastic Gradient Descent in Deep Learning
: Yingjie Tian, և այլն
Հրապարակվել է: (2023-01-01) -
A Geometric Interpretation of Stochastic Gradient Descent Using Diffusion Metrics
: Rita Fioresi, և այլն
Հրապարակվել է: (2020-01-01) -
Stochastic gradient descent with random label noises: doubly stochastic models and inference stabilizer
: Haoyi Xiong, և այլն
Հրապարակվել է: (2024-01-01)