Acest blog demonstrează modul de a evalua performanța unui model prin Acuratețe, Precizie, Amintim & F1 Înscrie valori în Azure ML și oferă o scurtă explicație a „Confuzia de Valori”. În acest experiment, am folosit algoritmul arborelui decizional cu două clase, iar scopul meu este să prezic supraviețuirea pasagerilor de pe Titanic.odată ce ați construit modelul dvs., cea mai importantă întrebare care apare este cât de bun este modelul dvs.?, Așadar, evaluarea modelului dvs. este cea mai importantă sarcină din proiectul data science, care delimitează cât de bune sunt predicțiile dvs.figura de mai jos prezintă rezultatele modelului pe care l-am construit pentru proiectul la care am lucrat în timpul programului meu de internship la Exsilio Consulting din această vară.
Fig. Rezultatele evaluării pentru modelul de clasificare
să săpăm adânc în toți parametrii prezentați în figura de mai sus.,
primul lucru pe care îl veți vedea aici este curba ROC și putem determina dacă curba noastră ROC este bună sau nu, analizând ASC (zona de sub curbă) și alți parametri care sunt numiți și metrici de confuzie. O matrice de confuzie este un tabel care este adesea folosit pentru a descrie performanța unui model de clasificare pe un set de date de testare pentru care sunt cunoscute valorile reale. Toate măsurile, cu excepția ASC, pot fi calculate utilizând cei mai mulți parametri rămași. Deci, să vorbim mai întâi despre acești patru parametri.,
adevăratele pozitive și adevăratele negative sunt observațiile care sunt corect prezise și, prin urmare, afișate în verde. Vrem să minimizăm falsele pozitive și falsele negative, astfel încât acestea să fie afișate în culoarea roșie. Acești termeni sunt puțin confuzi. Deci, să luăm fiecare termen unul câte unul și să-l înțelegem pe deplin.
true Positives (TP) – acestea sunt valorile pozitive prezise corect, ceea ce înseamnă că valoarea clasei reale este da și valoarea clasei prezise este, de asemenea, da. De exemplu., dacă valoarea reală a clasei indică faptul că acest pasager a supraviețuit și clasa a prezis vă spune același lucru.
true negative (TN) – acestea sunt valorile negative prezise corect, ceea ce înseamnă că valoarea clasei reale este no și valoarea clasei prezise este, de asemenea, no. De exemplu, dacă clasa reală spune că acest pasager nu a supraviețuit și clasa prezisă vă spune același lucru.fals pozitive și fals negative, aceste valori apar atunci când clasa dvs. reală contrazice clasa prezisă.
fals pozitive – FP) – atunci când clasa reală este nu și clasa prezis este da. De exemplu., dacă clasa reală spune că acest pasager nu a supraviețuit, dar clasa prezisă vă spune că acest pasager va supraviețui.
fals negative – FN) – atunci când clasa reală este da, dar clasa prezis în Nr. De exemplu, dacă valoarea reală a clasei indică faptul că acest pasager a supraviețuit și clasa prezisă vă spune că pasagerul va muri.odată ce ați înțeles acești patru parametri, atunci putem calcula precizia, precizia, rechemarea și scorul F1.precizia-precizia este cea mai intuitivă măsură de performanță și este pur și simplu un raport dintre observația corect prevăzută și observațiile totale., S-ar putea crede că, dacă avem o precizie ridicată, atunci modelul nostru este cel mai bun. Da, precizia este o mare măsură, dar numai atunci când aveți seturi de date simetrice în care valorile fals pozitive și fals negative sunt aproape aceleași. Prin urmare, trebuie să vă uitați la alți parametri pentru a evalua performanța modelului dvs. Pentru modelul nostru, avem 0.803 ceea ce înseamnă că modelul nostru este de aprox. 80% exacte.
precizie = TP + TN/TP+FP+FN+TN
precizie – precizia este raportul dintre observațiile pozitive prezise corect și observațiile pozitive totale prezise., Întrebarea că acest răspuns metric este al tuturor pasagerilor care au etichetat ca supraviețuitori, câți au supraviețuit de fapt? Precizia ridicată se referă la rata scăzută fals pozitivă. Avem 0.788 de precizie, care este destul de bun.
precizie = TP/TP+FP
rechemare (sensibilitate) – rechemarea este raportul dintre observațiile pozitive prezise corect și toate observațiile din clasa reală – da. Răspunsul la întrebarea rechemare este: Dintre toți pasagerii care au supraviețuit cu adevărat, câți am etichetat? Ne-am amintit de 0.631, care este bun pentru acest model, deoarece este peste 0.5.,
rechemare = TP/TP+fn
scorul F1-scorul F1 este media ponderată a preciziei și rechemării. Prin urmare, acest scor ia în considerare atât falsele pozitive, cât și falsele negative. Intuitiv nu este la fel de ușor de înțeles ca precizia, dar F1 este de obicei mai util decât precizia, mai ales dacă aveți o distribuție inegală a clasei. Precizia funcționează cel mai bine dacă fals pozitive și fals negative au costuri similare. Dacă costul falselor pozitive și falselor negative sunt foarte diferite, este mai bine să te uiți atât la precizie, cât și la rechemare. În cazul nostru, scorul F1 este de 0,701.,scorul F1 = 2 * (Recall * Precision)/(Recall + Precision)
Deci, ori de câte ori construiți un model, Acest articol ar trebui să vă ajute să vă dați seama ce înseamnă acești parametri și cât de bine a performat modelul dvs.sper că ați găsit acest blog util. Vă rugăm să lăsați comentarii sau trimite-mi un e-mail dacă credeți că am ratat orice detalii importante sau dacă aveți orice alte întrebări sau feedback-ul cu privire la acest subiect.vă rugăm să rețineți că rezultatele de mai sus și analiza numerelor se bazează pe modelul Titanic., Numerele și rezultatele dvs. pot varia în funcție de modelul pe care lucrați și de cazul dvs. specific de utilizare a afacerii.
video Legate de: https://www.youtube.com/channel/UC9jOb7yEfGwxjjdpWMjmKJA
De: Renuka Joshi (Stagiar la Exsilio)