Anomaly Detection Modelle

In der Datenanalyse wird unter Anomalieerkennung (auch als Ausreißererkennung und manchmal auch als Neuheitserkennung bezeichnet) im Allgemeinen die Identifizierung seltener Elemente, Ereignisse oder Beobachtungen verstanden, die erheblich von der Mehrheit der Daten abweichen und nicht mit einer genau definierten Norm übereinstimmen. Ein plötzlicher Anstieg oder Rückgang einer Kennzahl ist ein anomales Verhalten und erfordert in beiden Fällen Aufmerksamkeit. Die Erkennung von Anomalien kann durch überwachte Lernalgorithmen gelöst werden, wenn wir vor der Modellierung Informationen über anomales Verhalten haben, aber zunächst ohne Feedback ist es schwierig, diese Punkte zu identifizieren. Deshalb modellieren wir dies als ein unbeaufsichtigtes Problem, indem wir Algorithmen wie Isolation Forest, One Class SVM* und LSTM** verwenden. Meistens identifizieren wir Anomalien mithilfe des Isolationswaldes.

Die Anomalieerkennung mit Isolation Forest (s.o.) ist ein Prozess, der aus zwei Hauptphasen besteht:
1- In der ersten Phase wird ein Trainings-datensatz zum Erstellen von iTrees verwendet.
2- In der zweiten Stufe durchläuft jede Instanz im Testsatz diese iTrees und der Instanz wird ein ordnungsgemäßer „Anomalie-Score“ zugewiesen.
Sobald allen Instanzen im Testsatz ein Anomaliewert zugewiesen wurde, ist es möglich, jeden Punkt als „Anomalie“ zu markieren, dessen Wert über einem vordefinierten Schwellenwert liegt, der von der Domäne abhängt, auf die die Analyse angewendet wird.
*SVM=Support Vector Machines; ** LSTM= ....