Receiver Operator Characteristic (ROC) käyrä on graafinen juoni, jota käytetään osoittamaan diagnostinen kyky binary luokittelijoita. Sitä käytettiin aluksi signaalinilmaisuteoriassa, mutta nykyisin sitä käytetään monilla muilla aloilla, kuten lääketieteessä, radiologiassa, luonnonvaaroissa ja koneoppimisessa. Tässä postauksessa näytän, miten ROC-käyrä luodaan ja miten Roc-käyrää tulkitaan.,
alla on esimerkki:
ROC-käyrän luominen
ROC-käyrä on muodostettu piirtämällä todellinen positiivinen korko (TPR) väärälle positiiviselle tasolle (FPR). Todellinen positiivinen luku on niiden havaintojen osuus, jotka oli oikein ennustettu positiivisiksi kaikista positiivisista havainnoista (TP/(TP + FN)). Vastaavasti väärä positiivinen luku on niiden havaintojen osuus, joiden on virheellisesti ennustettu olevan positiivisia kaikista negatiivisista havainnoista (FP/(TN + FP))., Esimerkiksi lääketieteellisissä testeissä todellinen positiivinen luku on se, missä määrin ihmiset tunnistetaan oikein testaamaan positiivista kyseiselle taudille.
diskreetti luokittelija, joka palauttaa vain ennustetun luokan, antaa yhden pisteen ROC-avaruudelle. Mutta probabilistinen valitsimen, joka antaa todennäköisyyden tai pisteet, joka heijastaa sitä, missä määrin esimerkiksi kuuluu yksi luokan sijaan toinen, voimme luoda käyrä vaihtelemalla kynnysarvoa pisteet., Huomaa, että monet diskreetit luokittelijat voidaan muuntaa pisteytys luokittaja ’katsoa sisälle’ niiden instanssi tilastot. Esimerkiksi päätöspuu määrittää lehtisolmun luokan solmussa olevien instanssien osuudesta.
ROC-käyrän tulkitseminen
ROC – käyrä osoittaa herkkyyden (tai TPR: n) ja spesifisyyden (1-FPR: n) välisen kaupan. Luokittajat, jotka antavat kaarteita lähemmäs vasenta yläkulmaa, kertovat paremmasta suorituksesta. Lähtötilanteena satunnaisluokittelijan odotetaan antavan diagonaalin suuntaisia pisteitä (FPR = TPR)., Mitä lähemmäksi käyrä tulee ROC-avaruuden 45 asteen lävistäjää, sitä epätarkempi testi on.
Huomaa, että ROC ei riipu luokan jakelu. Tästä on hyötyä arvioitaessa luokittelijoita, jotka ennustavat harvinaisia tapahtumia, kuten sairauksia tai katastrofeja. Sen sijaan suorituskyvyn arviointi tarkkuudella (TP +
TN) / (TP + TN + FN + FP) suosisi luokittelijoita, jotka ennustavat aina harvinaisten tapahtumien negatiivisen tuloksen.
käyrän alle jäävä alue (AUC)
eri luokittelijoiden vertailemiseksi voi olla hyödyllistä tiivistää kunkin luokittajan suoritustaso yhteen mittaan., Yksi yhteinen lähestymistapa on laskea ROC-käyrän alle jäävä pinta-ala, joka lyhenee AUC: ksi. Se vastaa todennäköisyyttä, että satunnaisesti valittu positiivinen instanssi sijoittuu satunnaisesti valittua negatiivista instanssia korkeammalle eli se vastaa kahta näytettä Wilcoxon rank-sum statistic.
luokittaja, jonka AUC on suuri, voi occassionaalisesti saada huonomman tuloksen tietyllä alueella kuin toinen luokittelija, jonka AUC on pienempi. Käytännössä AUC toimii kuitenkin hyvin yleisenä ennustetarkkuuden mittarina.
Rekisteröidy Displayr