Eine ROC-Kurve (Receiver Operator Characteristic) ist ein grafisches Diagramm, das verwendet wird, um die Diagnosefähigkeit von binären Klassifikatoren anzuzeigen. Es wurde zuerst in der Signaldetektionstheorie verwendet, wird aber jetzt in vielen anderen Bereichen wie Medizin, Radiologie, Naturgefahren und maschinellem Lernen verwendet. In diesem Beitrag zeige ich Ihnen, wie eine ROC-Kurve erstellt wird und wie die ROC-Kurve interpretiert wird.,
Ein Beispiel ist unten dargestellt:
Erstellen einer ROC-Kurve
Eine ROC-Kurve wird durch Zeichnen der True Positive Rate (TPR) gegen die False positive Rate (FPR) erstellt. Die wahre positive Rate ist der Anteil der Beobachtungen, bei denen korrekt vorhergesagt wurde, dass sie von allen positiven Beobachtungen positiv sind(TP/(TP + FN)). In ähnlicher Weise ist die falsch positive Rate der Anteil der Beobachtungen, die fälschlicherweise als positiv von allen negativen Beobachtungen vorhergesagt werden(FP/(TN + FP))., In medizinischen Tests ist die wahre positive Rate beispielsweise die Rate, in der Personen korrekt identifiziert werden, um positiv auf die betreffende Krankheit zu testen.
Ein diskreter Klassifikator, der nur die vorhergesagte Klasse zurückgibt, gibt einen einzelnen Punkt auf dem ROC-Raum an. Für probabilistische Klassifikatoren, die eine Wahrscheinlichkeit oder einen Score angeben, der den Grad widerspiegelt, zu dem eine Instanz eher zu einer Klasse als zu einer anderen gehört, können wir jedoch eine Kurve erstellen, indem wir den Schwellenwert für den Score variieren., Beachten Sie, dass viele diskrete Klassifikatoren in einen Bewertungsklassifikator konvertiert werden können, indem sie ihre Instanzstatistiken „einsehen“. Beispielsweise bestimmt ein Entscheidungsbaum die Klasse eines Blattknotens aus dem Anteil der Instanzen am Knoten.
Interpretation der ROC-Kurve
Die ROC-Kurve zeigt den Kompromiss zwischen Empfindlichkeit (oder TPR) und Spezifität (1 – FPR). Klassifikatoren, die Kurven näher an der oberen linken Ecke geben, weisen auf eine bessere Leistung hin. Als Basislinie wird erwartet, dass ein zufälliger Klassifikator Punkte entlang der Diagonale liefert (FPR = TPR)., Je näher die Kurve der 45-Grad-Diagonale des ROC-Raums kommt, desto weniger genau ist der Test.
Beachten Sie, dass der ROC nicht von der Klassenverteilung abhängt. Dies macht es nützlich für die Bewertung von Klassifikatoren, die seltene Ereignisse wie Krankheiten oder Katastrophen vorhersagen. Im Gegensatz dazu würde die Bewertung der Leistung mit Genauigkeit (TP +
TN)/(TP + TN + FN + FP) Klassifikatoren begünstigen, die immer ein negatives Ergebnis für seltene Ereignisse vorhersagen.
Bereich unter Kurve (AUC)
Um verschiedene Klassifikatoren zu vergleichen, kann es nützlich sein, die Leistung jedes Klassifikators in einem einzigen Maß zusammenzufassen., Ein gängiger Ansatz besteht darin, die Fläche unter der ROC-Kurve zu berechnen, die mit AUC abgekürzt wird. Es entspricht der Wahrscheinlichkeit, dass eine zufällig ausgewählte positive Instanz höher eingestuft wird als eine zufällig ausgewählte negative Instanz, dh es entspricht der Wilcoxon-Rang-Summe-Statistik mit zwei Stichproben.
Ein Klassifikator mit hoher AUC kann in einer bestimmten Region gelegentlich schlechter abschneiden als ein anderer Klassifikator mit niedrigerer AUC. In der Praxis ist die AUC jedoch ein gutes Maß für die Vorhersagegenauigkeit.
Für Displayr anmelden