7. Évaluation

Le but de l'évaluation est de s'assurer que le modèle généralise bien.

On dit qu’un modèle généralise bien si ses prédictions sur les données de test sont aussi bonnes que celles sur le jeu d’entraînement.

Surapprentissage	Sous-apprentissage
Bonnes prédictions sur les données d'entraînement	Mauvaises prédictions sur les données d'entraînement
Mauvaises prédictions sur les données de test	Mauvaises prédictions sur les données de test

Comment sélectionner le modèle final ?

Après avoir essayé différentes approches, il faut à présent choisir la meilleure.

Ce choix se fait suivant un critère ou un score:

• Le taux de bonnes prédictions,
• La précision,
• La valeur de la fonction de coût...

Pour un problème de classification, le taux de bonnes prédictions est un bon critère. Mais attention si certaines sont surreprésentées.

Validation croisée

Tester différentes valeurs des hyperparamètres et sélectionner la combinaison qui donne les meilleurs résultats.

1. Partitionner le jeu de données
2. Entraîner le modèle avec les différentes combinaisons
3. Évaluer le modèle
4. Sélectionner la combinaison qui obtient le meilleur résultat moyen