Tämä blogi osoittaa, miten mallin suorituskykyä arvioidaan tarkkuuden, tarkkuuden, takaisinkutsun &F1-pistemittarit Azure ML: ssa ja antaa lyhyen selityksen ”Sekamittareille”. Tässä kokeessa olen käyttänyt kahden luokan tehostettua Päätöspuun algoritmia ja tavoitteeni on ennustaa Titanicin matkustajien selviytymistä.
kun olet rakentanut mallisi, herää tärkein kysymys, kuinka hyvä mallisi on?, Joten, arviointiin malli on tärkein tehtävä data science hanke, joka määrittelee kuinka hyvä ennusteet ovat.
seuraavassa kuvassa on esitetty tulokset mallista, jonka olen rakentanut projektin olen työskennellyt aikana minun työharjoittelu ohjelma Exsilio Consulting tänä kesänä.
Kuva. Luokitusmallin
arviointitulokset kaivetaan syvälle kaikkiin yllä olevassa kuvassa esitettyihin parametreihin.,
ensimmäisenä näet tässä ROC-käyrän ja voimme määrittää, onko ROC-käyrämme hyvä vai ei tarkastelemalla AUC: tä (käyrän alla oleva alue) ja muita muuttujia, joita kutsutaan myös Sekamittareiksi. Sekaannusta matriisi on taulukko, jota käytetään usein kuvaamaan suorituskykyä luokittelu malli on joukko testituloksia, joiden todelliset arvot ovat tiedossa. Kaikki toimenpiteet AUC: tä lukuun ottamatta voidaan laskea käyttämällä jäljelle jääneitä neljää muuttujaa. Puhutaan ensin niistä neljästä muuttujasta.,
True positive ja true negatives ovat havaintoja, jotka on ennustettu oikein ja siten esitetty vihreinä. Haluamme minimoida vääriä positiivisia ja vääriä negatiiveja, joten ne näkyvät punaisella värillä. Nämä termit ovat hämmentäviä. Otetaan siis jokainen termi yksi kerrallaan ja ymmärretään se täysin.
– Totta Positiivisia (TP) – Nämä ovat oikein ennusti myönteisiä arvoja, mikä tarkoittaa, että arvo todellinen luokka on kyllä ja arvo ennustettu luokka on myös kyllä. Esim., jos todellinen luokka-arvo osoittaa, että tämä matkustaja selvisi ja ennustettu luokka kertoo saman asian.
todelliset negatiivit (TN) – nämä ovat oikein ennustettuja negatiivisia arvoja, mikä tarkoittaa, että todellisen luokan arvo ei ole ja ennustetun luokan arvo on myös ei. Esim. Jos oikea luokka sanoo, että tämä matkustaja ei selvinnyt ja ennustettu luokka kertoo saman asian.
väärät positiiviset ja väärät negatiivit, nämä arvot ilmenevät, kun todellinen luokkasi on ristiriidassa ennustetun luokan kanssa.
väärät positiiviset (FP) – kun todellinen luokka on ei ja ennustettu luokka on kyllä. Esim., jos todellinen luokka sanoo, että tämä matkustaja ei selvinnyt, mutta ennustettu luokka kertoo, että tämä matkustaja selviää.
väärät negatiivit (Fn) – kun todellinen luokka on kyllä, mutta ennustettu luokka ei. Esim. Jos todellinen luokka-arvo osoittaa, että tämä matkustaja selvisi ja ennustettu luokka kertoo matkustajan kuolevan.
kun ymmärrät nämä neljä parametria, voimme laskea tarkkuuden, tarkkuuden, takaisinkutsun ja F1-pisteet.
Tarkkuus – Tarkkuus on kaikkein intuitiivinen suorituskyky mitata ja se on yksinkertaisesti suhde oikein ennusti havainto yhteensä havaintoja., Joku voi ajatella, että jos meillä on korkea tarkkuus niin mallimme on paras. Kyllä, tarkkuus on suuri mitta, mutta vain silloin, kun on symmetrisiä aineistoja, joissa väärien positiivisten ja väärien negatiivien arvot ovat lähes samat. Siksi, sinun täytyy tarkastella muita parametreja arvioida suorituskykyä mallin. Mallillemme olemme saaneet 0,803 eli mallimme on n. 80% tarkka.
tarkkuus = TP+TN/TP+FP+FN+TN
tarkkuus – tarkkuus on oikein ennustettujen positiivisten havaintojen suhde ennustettuihin positiivisiin kokonaishavaintoihin., Kysymys, että tämä metrinen vastaus on kaikista matkustajista, jotka on merkitty säilyneiksi, kuinka moni todella selvisi? Suuri tarkkuus liittyy alhaiseen väärään positiivisuuteen. Tarkkuus on 0,788, mikä on aika hyvä.
Precision = TP/TP+FP
Palauta (Herkkyys) – Muistaa, on suhde oikein ennusti myönteisiä havaintoja kaikki havainnot todellinen luokka – kyllä. Kysymyksen takaisinkutsuva vastaus kuuluu: kuinka monta todella hengissä olleista matkustajista leimasimme? Takaisinkutsu on 0,631, mikä on hyvä tälle mallille, sillä se on yli 0,5.,
Recall = TP/TP+FN
F1 score – F1 Score on tarkkuuden ja takaisinkutsun painotettu keskiarvo. Siksi tässä pisteessä otetaan huomioon sekä väärät positiiviset että väärät negatiivit. Intuitiivisesti sitä ei ole yhtä helppo ymmärtää kuin tarkkuutta, mutta F1 on yleensä tarkkuutta hyödyllisempi, varsinkin jos luokkajakauma on epätasainen. Tarkkuus toimii parhaiten, jos väärillä positiivisilla ja väärillä negatiiveilla on samanlaiset kustannukset. Jos väärien positiivisten ja väärien negatiivien kustannukset ovat hyvin erilaiset, on parempi tarkastella sekä tarkkuutta että takaisinkutsua. Meidän tapauksessamme F1-pisteet ovat 0,701.,
F1 Score = 2*(Recall * Precision)/(Recall + Precision)
so, when you build a model, this article should help you to figure out what these parameters mean and how good your model has performed.
toivottavasti löysit tämän blogin hyödylliseksi. Jätä kommentteja tai lähetä minulle sähköpostia, jos luulet, että minulta jäi tärkeitä tietoja tai jos sinulla on muita kysymyksiä tai palautetta tästä aiheesta.
**huomaa, että edellä esitetyt tulokset ja numeroiden analyysi perustuvat Titanic-malliin., Numerosi ja tuloksesi voivat vaihdella sen mukaan, minkä mallin parissa työskentelet ja minkä tietyn liiketoiminnan käyttötapauksesi mukaan.
aiheeseen Liittyvät videot: https://www.youtube.com/channel/UC9jOb7yEfGwxjjdpWMjmKJA
By: Renuka Joshi (Intern Exsilio)