TransferLab:Practical Anomaly Detection

In diesem Modul beschäftigen wir uns eingehend mit der Anomalieerkennung und ihren praktischen Anwendungen. Gemeinsam werden wir die Herausforderungen und die verschiedenen Arten von Anomalien untersuchen. Anschließend diskutieren wir das Kontaminations-Framework und schließen mit der Vorstellung von Bewertungsmetriken, die speziell auf die Anomalieerkennung zugeschnitten sind, wobei wir auch das Problem der Klassenungleichgewichte behandeln.

In diesem Modul konzentrieren wir uns auf die Kernel-Dichteabschätzung (KDE) als generisches Beispiel für eine Methode zur Dichteabschätzung. Wenn die Trainingsdaten möglicherweise unerkannte Anomalien enthalten, ist Robustheit eine wichtige Eigenschaft des Abschätzungsverfahrens. Aus diesem Grund werden wir uns mit robusten KDE-Varianten befassen und diese auf einen realen Datensatz mit falsch beschrifteten Daten anwenden.

In diesem Modul lernen wir einen baumbasierten Ansatz zur Anomalieerkennung kennen: den Isolation-Forest-Algorithmus. Er basiert auf der Annahme, dass Anomalien selten und isoliert auftreten. Er hat in den letzten Jahren viel Aufmerksamkeit auf sich gezogen und gilt als modernster Algorithmus zur Anomalieerkennung mit hervorragender Leistung in einer Vielzahl von Benchmarks. Wir verwenden den Isolation Forest zur Erkennung von Netzwerkintrusionen im KDD99-Datensatz.

Die Anomalieerkennung ist besonders schwierig, wenn es sich um hochdimensionale Daten handelt. Die zuvor vorgestellten Methoden leiden unter dem Fluch der Dimensionalität und verlieren in der Regel schnell an Leistungsfähigkeit, sobald die Dimension über einige Dutzend hinausgeht. In diesem Video lernen wir Autoencoder kennen, mit denen Anomalien erkannt werden können, indem der Rekonstruktionsfehler der Originaldaten mit dem Rekonstruktionsfehler der anomalen Daten verglichen wird. Wir wenden Autoencoder auf den MNIST-Datensatz an, um beschädigte Bilder zu erkennen.

In diesem Modul werden wir die Herausforderungen der Anomalieerkennung in Zeitreihen diskutieren und einige Hintergrundinformationen zur Zeitreihenanalyse geben, die für die Anomalieerkennung nützlich sind. Anschließend stellen wir das SARIMA-Modell als einfaches Prognosemodell vor, das zur Erkennung von Anomalien in Zeitreihen verwendet werden kann. Abschließend wenden wir das SARIMA-Modell auf den New Yorker Taxidatensatz an, um Anomalien in der Anzahl der Taxifahrten zu erkennen.

In diesem Modul stellen wir die Extremwerttheorie (EVT) als Methode zur Ermittlung von Schwellenwerten für die Anomalieerkennung vor. Die EVT basiert auf der Annahme, dass die Werte anomaler Punkte deutlich höher sind als die Werte nominaler Punkte. Sie schätzt den Randbereich der Wertverteilung und nutzt diesen, um einen probabilistisch interpretierbaren Schwellenwert zu ermitteln. Wir wenden die EVT auf den New Yorker Taxidatensatz an, um einen Schwellenwert für die Erkennung von Anomalien in der Anzahl der Taxifahrten zu ermitteln.