Résumé:
Il existe plusieurs algorithmes d'optimisation stochastique. Dans la plupart des cas, choisir le meilleur optimizer pour un problème donné n'est pas une tâche facile car chacune de ces solutions donne généralement de bons résultats. Ainsi, au lieu de chercher un autre meilleur optimizer absolu, accélérer ceux qui existent déjà dans le contexte actuel pourrait être grandement bénéfique. Nous présenterons une technique simple et intuitive qui, lorsque appliquée aux algorithmes d'optimisation de premier ordre (et dont la convergence est assurée), est capable d'améliorer la vitesse de convergence et atteindre un meilleur minimum pour la fonction de perte par rapport aux algorithmes d'origine. La solution proposée modifie la règle de mise à jour des paramètres d'apprentissage en fonction du changement de la direction du gradient. Nous avons mené plusieurs tests comparatifs avec les solutions de l'état de l'art (SGD, AdaGrad, Adam et AMSGrad) sur des fonctions convexes et non convexes de base (tels que x^2 et x^3) et sur des problèmes réels avec des ensembles de données publics (MNIST, IMDB, CIFAR10). Ces tests ont été menés sur différentes architectures de réseaux de neurones (Logistic Regression, MLP et CNN). Les résultats montrent que la technique proposée améliore considérablement les performances des optimizers existants et fonctionne bien dans la pratique.

Biographie:
Ange Tato est une étudiante (en rédaction de thèse) au Doctorat en informatique à l'Université du Québec à Montréal.
Elle s’intéresse à la recherche fondamentale sur les algorithmes d'apprentissage machine appliqués entre autre à la modélisation des utilisateurs dans les systèmes intelligents. Elle a obtenue un diplôme d'ingénieur d'état en systèmes d'information en 2014 à l'École Mohammédia des ingénieurs. Elle a ensuite obtenue une maîtrise en informatique à l'UQAM en 2015 dont le sujet portait sur le développement d'un système tutoriel intelligent pour l'apprentissage de la logique. Depuis 3 ans, elle travaille à :
l'amélioration des algorithmes d'optimisation de premier ordre (avec descente du gradient);
l'amélioration des architectures de réseaux de neurones pour des données multimodales pour prédire ou classifier les comportements des utilisateurs (joueurs, apprenants, etc.) de systèmes intelligents adaptatifs;
l'intégration de connaissances expertes dans les modèles de deep learning pour améliorer leur pouvoir prédictif et leur traçabilité.