L'optimisation des hyperparamètres est un processus important de l'apprentissage automatique qui consiste à sélectionner le meilleur ensemble d'hyperparamètres pour un modèle donné. Plusieurs techniques peuvent être utilisées pour optimiser les hyperparamètres, et le choix de la technique dépend du cas d'utilisation spécifique. Cette revue de la littérature donne un aperçu de certaines des techniques qui ont été proposées dans la littérature pour l'optimisation des hyperparamètres, ainsi que certains des défis qui se posent lors de l'optimisation des hyperparamètres.

L'une des techniques les plus populaires pour l'optimisation des hyperparamètres est l'optimisation bayésienne. L'optimisation bayésienne est une technique d'optimisation séquentielle basée sur un modèle qui utilise un modèle probabiliste pour guider la recherche du meilleur ensemble d'hyperparamètres. Le modèle probabiliste est généralement un processus gaussien, utilisé pour modéliser la fonction objective à optimiser. Le principal avantage de l'optimisation bayésienne est qu'elle peut traiter des fonctions objectives bruitées et coûteuses à évaluer, ce qui la rend bien adaptée à l'optimisation des hyperparamètres dans l'apprentissage automatique. [1]

Une autre technique populaire pour l'optimisation des hyperparamètres est la recherche aléatoire. La recherche aléatoire consiste à échantillonner des hyperparamètres à partir d'un espace de recherche prédéfini et à évaluer les performances du modèle pour chaque ensemble d'hyperparamètres. L'avantage de la recherche aléatoire est qu'elle est simple à mettre en œuvre et qu'elle peut être facilement parallélisée. D'un autre côté, la recherche aléatoire peut être inefficace si l'espace de recherche est grand ou si la fonction objective est bruitée. [1]

L'optimisation basée sur le gradient est une autre technique qui peut être utilisée pour l'optimisation des hyperparamètres. L'optimisation basée sur le gradient implique le calcul du gradient de la fonction objective par rapport aux hyperparamètres et l'utilisation de ce gradient pour mettre à jour les hyperparamètres. L'optimisation basée sur le gradient peut être plus efficace que la recherche aléatoire, mais elle exige que la fonction objective soit différentiable par rapport aux hyperparamètres. Cela peut constituer un défi dans certains modèles d'apprentissage automatique. [1]

Les hyperparamètres peuvent être continus, entiers ou catégoriels, et chaque type d'hyperparamètre nécessite une technique d'optimisation différente. Pour les hyperparamètres continus, l'optimisation bayésienne et la recherche aléatoire sont des techniques populaires, tandis que pour les hyperparamètres entiers et catégoriels, les méthodes basées sur les arbres, telles que les forêts aléatoires et les estimateurs de Parzen (TPE), sont couramment utilisées. [1]

L'optimisation des hyperparamètres pose certains problèmes. L'un d'entre eux est que l'espace de recherche des hyperparamètres peut être très vaste, ce qui rend difficile la recherche du meilleur ensemble d'hyperparamètres. Un autre problème est que la fonction objective peut être bruitée, ce qui peut rendre difficile l'évaluation précise des performances de différents ensembles d'hyperparamètres. Enfin, il peut y avoir des interactions entre les différents hyperparamètres, ce qui peut rendre difficile leur optimisation indépendante. [1]

En conclusion, l'optimisation des hyperparamètres est un processus important de l'apprentissage automatique qui implique la sélection du meilleur ensemble d'hyperparamètres pour un modèle donné. Plusieurs techniques peuvent être utilisées pour l'optimisation des hyperparamètres, notamment l'optimisation bayésienne, la recherche aléatoire et l'optimisation basée sur le gradient. Le choix de la technique dépend du cas d'utilisation spécifique, et chaque technique a ses propres avantages et inconvénients. L'optimisation des hyperparamètres pose également des problèmes, tels que le vaste espace de recherche, la fonction objective bruitée et les interactions entre les hyperparamètres.