Investigating individual learning rates on standard optimizers for ANN training
Användningen av artificiell intelligens har exploderat under de senaste fem åren. Artificiell intelligens kan utvecklas på flera sätt. Ett av de vanligaste sätten är att använda ett neuralt nätverk, vilket kan liknas vid en digital hjärna. För att förstå hur ett neuralt nätverk fungerar kan följande tankeexperiment användas. Föreställ dig att du försöker lära en robot att åka skidor. I början harS-Rprop is an extension of resilient backpropagation (Rprop), which introduces mini-batch learning to the Rprop algorithm. This is done by using two different mini-batch sizes, one for the learning rate and one for the weight updates, allowing for an accurate learning-rate update whilst gaining the fast weight updates of the stochastic gradient descent (SGD) optimizer. In this paper, the concept o
