Este blog demonstra como avaliar o desempenho de um modelo através de Exatidão, Precisão, Recall & F1 Pontuação métricas no Azure ML e fornece uma breve explicação sobre a “Confusão Métricas”. Neste experimento, eu usei o algoritmo Da Árvore de decisão impulsionada de duas classes e meu objetivo é prever a sobrevivência dos passageiros no Titanic.
Uma vez que você tenha construído o seu modelo, a questão mais importante que surge é o quão bom é o seu modelo?, Então, avaliar o seu modelo é a tarefa mais importante no projeto de ciência dos dados que define quão boas são suas previsões.
A figura seguinte mostra os resultados do modelo que construí para o projeto em que trabalhei durante o meu programa de estágio na Exsilio Consulting neste verão.
Fig. Resultados de avaliação para o modelo de classificação
vamos cavar profundamente em todos os parâmetros mostrados na figura acima.,
a primeira coisa que você verá aqui é a curva ROC e podemos determinar se a nossa curva ROC é boa ou não olhando para a AUC (área sob a curva) e outros parâmetros que também são chamados de métricas de confusão. Uma matriz de confusão é uma tabela que é frequentemente usada para descrever o desempenho de um modelo de classificação em um conjunto de dados de teste para os quais os valores verdadeiros são conhecidos. Todas as medidas, excepto a AUC, podem ser calculadas utilizando a maioria dos quatro parâmetros à esquerda. Então, vamos falar sobre esses quatro parâmetros primeiro.,
verdadeiro positivo e verdadeiro negativo são as observações que são corretamente previstas e, portanto, mostradas em verde. Queremos minimizar falsos positivos e falsos negativos para que sejam mostrados em vermelho. Estes termos são um pouco confusos. Então vamos pegar cada termo um por um e entendê-lo completamente.
True Positives ( TP) – estes são os valores positivos previstos corretamente, o que significa que o valor da classe real é sim e o valor da classe prevista também é sim. E. g., se o valor real da classe indica que este passageiro sobreviveu e a classe prevista diz-lhe a mesma coisa.
verdadeiros negativos ( TN) – estes são os valores negativos corretamente previstos, o que significa que o valor da classe real é não e o valor da classe prevista também é não. Por exemplo, se a classe real diz que este passageiro não sobreviveu e a classe prevista diz-lhe a mesma coisa.
falsos positivos e falsos negativos, estes valores ocorrem quando a sua classe real contradiz a classe prevista.
falso positivo – FP) – quando a classe real é não e a classe prevista é sim. E. g., se a classe real diz que este passageiro não sobreviveu, mas a classe prevista diz-lhe que este passageiro vai sobreviver.
falsos negativos – FN) – quando a classe real é sim, mas a classe prevista em não. Por exemplo, se o valor real da classe indicar que este passageiro sobreviveu e a classe prevista diz que o passageiro vai morrer.
Uma vez que você entenda estes quatro parâmetros, então podemos calcular a precisão, Precisão, Recall e pontuação F1.a precisão-Precisão é a medida de desempenho mais intuitiva e é simplesmente uma razão de observação corretamente prevista para o total das observações., Pode-se pensar que, se temos alta precisão, então o nosso modelo é o melhor. Sim, a precisão é uma grande medida, mas apenas quando você tem conjuntos de dados simétricos onde os valores de falsos positivos e falsos negativos são quase os mesmos. Portanto, você tem que olhar para outros parâmetros para avaliar o desempenho do seu modelo. Para o nosso modelo, temos 0,803 o que significa que o nosso modelo é aprox. 80% de precisão.
exatidão = TP+TN/TP+FP+FN+TN
Precisão – Precisão é a razão entre observações positivas corretamente previstas e as observações positivas totais previstas., A pergunta de que esta resposta métrica é de todos os passageiros que rotularam como sobreviventes, quantos realmente sobreviveram? Alta precisão relaciona-se com a baixa taxa falso positivo. Temos uma precisão de 0,788, o que é bastante bom.
precisão = TP/TP+FP
Recall (Sensitivity) – Recall is the ratio of correctly predicted positive observations to the all observations in actual class – yes. A pergunta recorda respostas é: de todos os passageiros que realmente sobreviveram, quantos nós rotulamos? Temos a memória de 0,631, o que é bom para este modelo, já que está acima de 0,5.,
Recall = TP/TP+FN
F1 score – F1 Score is the weighted average of Precision and Recall. Portanto, esta pontuação leva em conta tanto falsos positivos como falsos negativos. Intuitivamente não é tão fácil de entender como precisão, mas F1 é geralmente mais útil do que precisão, especialmente se você tem uma distribuição de classe desigual. A precisão funciona melhor se falsos positivos e falsos negativos têm custos semelhantes. Se o custo de falsos positivos e negativos falsos são muito diferentes, é melhor olhar tanto para a precisão quanto para a memória. No nosso caso, a pontuação F1 é 0,701.,
F1 Score = 2*(Recall * Precision) / (Recall + Precision)
assim, sempre que você construir um modelo, este artigo deve ajudá-lo a descobrir o que esses parâmetros significam e como o seu modelo tem sido bom.
espero que tenha achado este blog útil. Por favor, deixe comentários ou envie-me um e-mail se você acha que eu perdi quaisquer detalhes importantes ou se você tem quaisquer outras perguntas ou comentários sobre este tópico.
**Por favor, Note que os resultados acima e a análise dos números é baseada no modelo titânico., Seus números e resultados podem variar em que modelo você trabalha e seu caso de uso de negócio específico.
vídeos Relacionados: https://www.youtube.com/channel/UC9jOb7yEfGwxjjdpWMjmKJA
Por: Renuka Joshi (Estagiária Exsilio)