Ce blog montre comment évaluer la performance d’un modèle via Accuracy, Precision, Recall & F1 score metrics in Azure ML et fournit une brève explication des « Confusion Metrics”. Dans cette expérience, j’ai utilisé un algorithme D’Arbre de décision boosté à deux classes et mon objectif est de prédire la survie des passagers du Titanic.
une Fois que vous avez construit votre modèle, la question la plus importante qui se pose est quel est ton modèle?, L’évaluation de votre modèle est donc la tâche la plus importante du projet de science des données qui définit la qualité de vos prédictions.
la figure suivante montre les résultats du modèle que j’ai construit pour le projet sur lequel j’ai travaillé pendant mon stage chez Exsilio Consulting cet été.
Fig. Résultats de l’évaluation pour le modèle de classification
approfondissons tous les paramètres présentés dans la figure ci-dessus.,
la première chose que vous verrez ici est la courbe ROC et nous pouvons déterminer si notre courbe ROC est bonne ou non en regardant L’AUC (aire sous la courbe) et d’autres paramètres qui sont également appelés métriques de Confusion. Une matrice de confusion est une table souvent utilisée pour décrire les performances d’un modèle de classification sur un ensemble de données de test dont les valeurs vraies sont connues. Toutes les mesures, à l’exception de L’AUC, peuvent être calculées en utilisant les quatre paramètres les plus à gauche. Alors, parlons d’abord de ces quatre paramètres.,
de Vrais positifs et vrais négatifs sont les observations qui sont correctement prédites et donc affichée en vert. Nous voulons minimiser les faux positifs et les faux négatifs afin qu’ils soient affichés en couleur rouge. Ces termes sont un peu déroutants. Prenons donc chaque terme un par un et comprenons-le pleinement.
True positifs (TP) – ce sont les valeurs positives correctement prédites, ce qui signifie que la valeur de la classe réelle est oui et la valeur de la classe prédite est également Oui. E. g., si la valeur de classe réelle indique que ce passager a survécu et que la classe prévue vous indique la même chose.
True Negatives (TN) – ce sont les valeurs négatives correctement prédites, ce qui signifie que la valeur de la classe réelle est no et que la valeur de la classe prédite est également no. Par exemple, si la classe réelle dit que ce passager n’a pas survécu et que la classe prédite vous dit la même chose.
faux positifs et faux négatifs, ces valeurs se produisent lorsque votre classe réelle contredit la classe prédite.
faux positifs (FP) – lorsque la classe réelle est non et la classe prédite est oui. E. g., si la classe réelle dit que ce passager n’a pas survécu, mais la classe prédite vous indique que ce passager survivra.
faux négatifs (FN) – lorsque la classe réelle est oui mais la classe prédite dans non. Par exemple, si la valeur de classe réelle indique que ce passager a survécu et que la classe prévue vous indique que le passager mourra.
Une fois que vous comprenez ces quatre paramètres, nous pouvons calculer la précision, la précision, le rappel et le score F1.
précision – la précision est la mesure de performance la plus intuitive et c’est simplement un rapport entre l’observation correctement prédite et le total des observations., On peut penser que, si nous avons une grande précision, Notre modèle est le meilleur. Oui, la précision est une excellente mesure, mais seulement lorsque vous avez des ensembles de données symétriques où les valeurs de faux positifs et de faux négatifs sont presque les mêmes. Par conséquent, vous devez examiner d’autres paramètres pour évaluer les performances de votre modèle. Pour notre modèle, nous avons 0.803 qui signifie que notre modèle est d’environ. 80% précis.
précision = TP+TN/TP+FP+FN+TN
précision – la précision est le rapport entre les observations positives correctement prédites et le total des observations positives prédites., La question à laquelle cette réponse métrique est de tous les passagers étiquetés comme ayant survécu, combien ont réellement survécu? Haute précision concerne le faible taux de faux positifs. Nous avons une précision de 0,788, ce qui est assez bon.
Precision = TP/TP+FP
rappel (sensibilité) – le rappel est le rapport entre les observations positives correctement prédites et toutes les observations de la classe réelle – Oui. La question des réponses de recall est: de tous les passagers qui ont vraiment survécu, combien avons-nous étiquetés? Nous avons un rappel de 0.631, ce qui est bon pour ce modèle car il est supérieur à 0.5.,
Recall = TP/TP+FN
score F1 – le Score F1 est la moyenne pondérée de la précision et du rappel. Par conséquent, ce score prend en compte à la fois les faux positifs et les faux négatifs. Intuitivement, ce n’est pas aussi facile à comprendre que la précision, mais F1 est généralement plus utile que la précision, surtout si vous avez une distribution de classe inégale. La précision fonctionne mieux si les faux positifs et les faux négatifs ont un coût similaire. Si le coût des faux positifs et des faux négatifs est très différent, il est préférable de regarder à la fois la précision et le rappel. Dans notre cas, le score F1 est de 0,701.,
F1 Score = 2*(Recall * Precision)/(Recall + Precision)
donc, chaque fois que vous construisez un modèle, Cet article devrait vous aider à comprendre ce que ces paramètres signifient et à quel point votre modèle a fonctionné.
j’espère que vous avez trouvé ce blog utile. S « il vous plaît laisser des commentaires ou envoyez-moi un e-mail si vous pensez que j » ai manqué des détails importants ou si vous avez d » autres questions ou commentaires sur ce sujet.
**Veuillez noter que les résultats et l’analyse des nombres ci-dessus sont basés sur le modèle Titanic., Vos chiffres et vos résultats peuvent varier selon le modèle sur lequel vous travaillez et votre cas d’utilisation spécifique.
vidéos Connexes: https://www.youtube.com/channel/UC9jOb7yEfGwxjjdpWMjmKJA
Par: Renuka Joshi (Stagiaire au Exsilio)