Damped Newton Stochastic Gradient Descent Method for Neural Networks Training

Damped Newton Stochastic Gradient Descent Method for Neural Networks Training

First-order methods such as stochastic gradient descent (SGD) have recently become popular optimization methods to train deep neural networks (DNNs) for good generalization; however, they need a long training time. Second-order methods which can lower the training time are scarcely used on account o...

সম্পূর্ণ বিবরণ

গ্রন্থ-পঞ্জীর বিবরন
প্রধান লেখক:	Jingcheng Zhou, Wei Wei, Ruizhi Zhang, Zhiming Zheng
বিন্যাস:	প্রবন্ধ
ভাষা:	English
প্রকাশিত:	MDPI AG 2021-06-01
মালা:	Mathematics
বিষয়গুলি:	stochastic gradient descent damped Newton convexity
অনলাইন ব্যবহার করুন:	https://www.mdpi.com/2227-7390/9/13/1533

অনুরূপ উপাদানগুলি

Adaptive Stochastic Gradient Descent Method for Convex and Non-Convex Optimization
অনুযায়ী: Ruijuan Chen, অন্যান্য
প্রকাশিত: (2022-11-01)

The Improved Stochastic Fractional Order Gradient Descent Algorithm
অনুযায়ী: Yang Yang, অন্যান্য
প্রকাশিত: (2023-08-01)

Recent Advances in Stochastic Gradient Descent in Deep Learning
অনুযায়ী: Yingjie Tian, অন্যান্য
প্রকাশিত: (2023-01-01)

A Geometric Interpretation of Stochastic Gradient Descent Using Diffusion Metrics
অনুযায়ী: Rita Fioresi, অন্যান্য
প্রকাশিত: (2020-01-01)

Stochastic gradient descent with random label noises: doubly stochastic models and inference stabilizer
অনুযায়ী: Haoyi Xiong, অন্যান্য
প্রকাশিত: (2024-01-01)

Distributed Stochastic Gradient Descent With Compressed and Skipped Communication
অনুযায়ী: Tran Thi Phuong, অন্যান্য
প্রকাশিত: (2023-01-01)

Modified‎ ‎Step‎ ‎Size‎ ‎for‎ ‎Enhanced‎ ‎Stochastic Gradient Descent‎: ‎Convergence and Experiments
অনুযায়ী: Mahsa Soheil shamaee, অন্যান্য
প্রকাশিত: (2024-09-01)

Pipelined Stochastic Gradient Descent with Taylor Expansion
অনুযায়ী: Bongwon Jang, অন্যান্য
প্রকাশিত: (2023-10-01)

A Novel Sine Step Size for Warm-Restart Stochastic Gradient Descent
অনুযায়ী: Mahsa Soheil Shamaee, অন্যান্য
প্রকাশিত: (2024-12-01)

Mutual Information Based Learning Rate Decay for Stochastic Gradient Descent Training of Deep Neural Networks
অনুযায়ী: Shrihari Vasudevan
প্রকাশিত: (2020-05-01)

Adaptive Gradient Estimation Stochastic Parallel Gradient Descent Algorithm for Laser Beam Cleanup
অনুযায়ী: Shiqing Ma, অন্যান্য
প্রকাশিত: (2021-05-01)

Smoothing gradient descent algorithm for the composite sparse optimization
অনুযায়ী: Wei Yang, অন্যান্য
প্রকাশিত: (2024-11-01)

Stochastic Gradient Descent for Kernel-Based Maximum Correntropy Criterion
অনুযায়ী: Tiankai Li, অন্যান্য
প্রকাশিত: (2024-12-01)

Design of Momentum Fractional Stochastic Gradient Descent for Recommender Systems
অনুযায়ী: Zeshan Aslam Khan, অন্যান্য
প্রকাশিত: (2019-01-01)

Adaptive Stochastic Conjugate Gradient Optimization for Backpropagation Neural Networks
অনুযায়ী: Ibrahim Abaker Targio Hashem, অন্যান্য
প্রকাশিত: (2024-01-01)

Counterexamples for Noise Models of Stochastic Gradients
অনুযায়ী: Vivak Patel
প্রকাশিত: (2023-12-01)

Fast Iterative Hybrid Precoding and Combining With Momentum Gradient Descent and Newton’s Method for Millimeter Wave MIMO Systems
অনুযায়ী: Mohamed Alouzi, অন্যান্য
প্রকাশিত: (2023-01-01)

Public Security Video Surveillance Image Restoration Based on Stochastic Gradient Descent Algorithm
অনুযায়ী: Yuxiao MENG, অন্যান্য
প্রকাশিত: (2022-11-01)

Accelerated Singular Value Decomposition (ASVD) using momentum based Gradient Descent Optimization
অনুযায়ী: Sandeep Kumar Raghuwanshi, অন্যান্য
প্রকাশিত: (2021-05-01)

Determination of accelerated factors in gradient descent iterations based on Taylor's series
অনুযায়ী: Petrović Milena, অন্যান্য
প্রকাশিত: (2017-01-01)

Semi-Stochastic Gradient Descent Methods
অনুযায়ী: Jakub Konečný, অন্যান্য
প্রকাশিত: (2017-05-01)

Estimation of simultaneous equation models by backpropagation method using stochastic gradient descent
অনুযায়ী: Belén Pérez-Sánchez, অন্যান্য
প্রকাশিত: (2024-10-01)

Performance Evaluation of Gradient Descent Optimizers in Estuarine Turbidity Estimation with Multilayer Perceptron and Sentinel-2 Imagery
অনুযায়ী: Naledzani Ndou, অন্যান্য
প্রকাশিত: (2024-10-01)

Stochastic gradient descent algorithm preserving differential privacy in MapReduce framework
অনুযায়ী: Yihan YU, অন্যান্য
প্রকাশিত: (2018-01-01)

Stochastic gradient descent algorithm preserving differential privacy in MapReduce framework
অনুযায়ী: Yihan YU, অন্যান্য
প্রকাশিত: (2018-01-01)

A Method for Transforming Non-Convex Optimization Problem to Distributed Form
অনুযায়ী: Oleg O. Khamisov, অন্যান্য
প্রকাশিত: (2024-09-01)

Newton's method in the context of gradients
অনুযায়ী: John W. Neuberger, অন্যান্য
প্রকাশিত: (2007-09-01)

Hybrid Distributed Optimization for Learning Over Networks With Heterogeneous Agents
অনুযায়ী: Mohammad H. Nassralla, অন্যান্য
প্রকাশিত: (2023-01-01)

On some stochastic mirror descent methods for constrained online optimization problems
অনুযায়ী: Mohammad S. Alkousa
প্রকাশিত: (2019-04-01)

Gradient Descent Batch Clustering for Image Classification
অনুযায়ী: Jae-Sam Park
প্রকাশিত: (2023-07-01)

Adaptive Human–Machine Evaluation Framework Using Stochastic Gradient Descent-Based Reinforcement Learning for Dynamic Competing Network
অনুযায়ী: Jinbae Kim, অন্যান্য
প্রকাশিত: (2020-04-01)

Distributed stochastic gradient descent for link prediction in signed social networks
অনুযায়ী: Han Zhang, অন্যান্য
প্রকাশিত: (2019-01-01)

Belief-Rule-Base Inference Method Based on Gradient Descent With Momentum
অনুযায়ী: Yu Guan, অন্যান্য
প্রকাশিত: (2021-01-01)

Training Neural Networks by Time-Fractional Gradient Descent
অনুযায়ী: Jingyi Xie, অন্যান্য
প্রকাশিত: (2022-09-01)

Function approximation method based on weights gradient descent in reinforcement learning
অনুযায়ী: Xiaoyan QIN, অন্যান্য
প্রকাশিত: (2023-08-01)

Function approximation method based on weights gradient descent in reinforcement learning
অনুযায়ী: Xiaoyan QIN, Yuhan LIU, Yunlong XU, Bin LI
প্রকাশিত: (2023-08-01)

Restoration of Degraded Images Using Pupil-Size Diversity Technology With Stochastic Parallel Gradient Descent Algorithm
অনুযায়ী: Zongliang Xie, অন্যান্য
প্রকাশিত: (2016-01-01)

Phase Optimized Computer-Generated Holographic Video Calculation With Frame Interpolation Using Gradient Descent Algorithm
অনুযায়ী: Gyeongsu Jin, অন্যান্য
প্রকাশিত: (2024-01-01)

Forest fire risk assessment model optimized by stochastic average gradient descent
অনুযায়ী: Zexin Fu, অন্যান্য
প্রকাশিত: (2025-01-01)

aSGD: Stochastic Gradient Descent with Adaptive Batch Size for Every Parameter
অনুযায়ী: Haoze Shi, অন্যান্য
প্রকাশিত: (2022-03-01)