Ez a blog bemutatja, hogyan értékeli a teljesítményét a modell keresztül Pontosság, Precizitás, Emlékszem, hogy a & F1 Pontszám mutatók az Azure ML, amely egy rövid magyarázat a “Zűrzavar Mutatók”. Ebben a kísérletben kétosztályos, megerősített döntési algoritmust használtam, és a célom az, hogy megjósoljam az utasok túlélését a Titanicon.
miután elkészítette a modelljét, a legfontosabb kérdés, hogy mennyire jó a modell?, Tehát a modell értékelése a legfontosabb feladat az adattudományi projektben, amely felvázolja, mennyire jók az előrejelzéseid.
az alábbi ábra annak a modellnek az eredményeit mutatja be, amelyet a nyáron az Exsilio Consulting szakmai programjában dolgoztam.
ábra. Értékelési eredmények osztályozási modell
nézzük ásni mélyen az összes paraméter látható a fenti ábrán.,
az első dolog, amit itt látni fog, a ROC görbe, és meghatározhatjuk, hogy a ROC görbe jó-e vagy sem, az AUC (a görbe alatti terület) és más paraméterek, amelyeket zavart Mérőszámoknak is neveznek. A zavarmátrix olyan táblázat, amelyet gyakran használnak egy osztályozási modell teljesítményének leírására olyan vizsgálati adatkészleten, amelyre a valódi értékek ismertek. Az AUC kivételével minden intézkedést a bal oldali legtöbb négy paraméter segítségével lehet kiszámítani. Tehát először beszéljünk erről a négy paraméterről.,
a valódi pozitív és igaz negatívok azok a megfigyelések, amelyeket helyesen jósoltak meg, és ezért zöld színnel jelennek meg. Minimalizálni akarjuk a hamis pozitívokat és a hamis negatívokat, hogy piros színben jelenjenek meg. Ezek a kifejezések egy kicsit zavaróak. Vegyük tehát az egyes kifejezéseket egyenként, és értsük meg teljesen.
True Positives (TP) – ezek a helyesen előre jelzett pozitív értékek, ami azt jelenti, hogy a tényleges osztály értéke igen, és az előre jelzett osztály értéke is igen. Pl., ha a tényleges osztályérték azt jelzi, hogy ez az utas túlélte és az előre jelzett osztály ugyanezt mondja.
True Negatives (TN) – ezek a helyesen megjósolt negatív értékek, ami azt jelenti, hogy a tényleges osztály értéke nem, az előre jelzett osztály értéke pedig nem. Például, ha a tényleges osztály azt mondja, hogy ez az utas nem élte túl, és az előre jelzett osztály ugyanezt mondja.
False positives and false negatives, these values occur when your actual class contrants with the predicted class.
False Positives (FP) – ha a tényleges osztály nem, és az előre jelzett osztály igen. Pl., ha a tényleges osztály azt mondja, hogy ez az utas nem élte túl, de az előre jelzett osztály azt mondja, hogy ez az utas túléli.
hamis negatívok (Fn) – ha a tényleges osztály igen, de előre jelzett osztály nem. Pl. ha a tényleges osztályérték azt jelzi, hogy ez az utas túlélte, és az előre jelzett osztály azt mondja, hogy az utas meghal.
ha megérted ezt a négy paramétert, akkor kiszámolhatjuk a pontosságot, a pontosságot, a visszahívást és az F1 pontszámot.
pontosság-a pontosság a leginkább intuitív teljesítménymérés, amely egyszerűen a helyesen előre jelzett megfigyelés aránya a teljes megfigyelésekhez., Azt gondolhatjuk, hogy ha nagy pontosságunk van, akkor a modellünk a legjobb. Igen, a pontosság nagyszerű intézkedés, de csak akkor, ha szimmetrikus adathalmazok vannak, ahol a hamis pozitív és hamis negatív értékek majdnem azonosak. Ezért meg kell vizsgálnia más paramétereket a modell teljesítményének értékeléséhez. Modellünkhöz 0.803 van, ami azt jelenti, hogy modellünk kb. 80% pontos.
pontosság = TP + TN / TP+FP+FN + TN
pontosság-a precizitás a helyesen előre jelzett pozitív megfigyelések aránya a teljes előre jelzett pozitív megfigyelésekhez képest., A kérdés, hogy ez a metrikus válasz minden olyan utasról szól, aki túlélte, hány ténylegesen túlélte? A nagy pontosság az alacsony hamis pozitív arányhoz kapcsolódik. 0.788 pontosságot kaptunk, ami elég jó.
Precision = TP / TP+FP
visszahívás ( érzékenység) – a visszahívás a helyesen előre jelzett pozitív megfigyelések aránya a tényleges osztályban szereplő összes megfigyeléshez-igen. A kérdés megválaszolása: az összes utas közül, akik valóban túlélték, hányat címkéztünk fel? 0,631-et kaptunk, ami jó erre a modellre, mivel 0,5 felett van.,
Recall = TP / TP+FN
F1 score – F1 pontszám a pontosság és a visszahívás súlyozott átlaga. Ezért ez a pontszám mind a hamis pozitívokat, mind a hamis negatívokat figyelembe veszi. Intuitív módon nem olyan könnyű megérteni, mint a pontosság, de az F1 általában hasznosabb, mint a pontosság, különösen akkor, ha egyenetlen osztályeloszlás van. A pontosság akkor működik a legjobban, ha a hamis pozitívumok és a hamis negatívok hasonló költségekkel járnak. Ha a hamis pozitívok és a hamis negatívok költsége nagyon eltérő, akkor jobb, ha mind a pontosságot, mind a visszahívást nézzük. Esetünkben az F1 pontszám 0,701.,
F1 Score = 2 * (Recall * Precision)/(Recall + Precision)
tehát, amikor egy modellt építesz, ez a cikk segít kitalálni, hogy ezek a paraméterek mit jelentenek, és mennyire jó a modelled.
remélem, hasznosnak találta ezt a blogot. Kérjük, hagyjon megjegyzéseket, vagy küldjön nekem egy e-mailt, ha úgy gondolja, hogy elmulasztottam minden fontos részletet, vagy ha bármilyen más kérdése vagy visszajelzése van a témáról.
* * Felhívjuk figyelmét, hogy a fenti eredmények és a számok elemzése a Titanic modellen alapul., A számok és eredmények eltérőek lehetnek attól függően, hogy melyik modellen dolgozik, valamint az adott üzleti felhasználási eset.
kapcsolódó videók: https://www.youtube.com/channel/UC9jOb7yEfGwxjjdpWMjmKJA
By: Renuka Joshi (Intern at Exsilio)