binary

Microsoft Exchange Server sind weltweit das Ziel von Hackern geworden

Im heutigen Interview berichtet Michael Rickert, CEO und Gründer von bitminder, über seine Erfahrung mit der aktuellen Exchange Sicherheitslücke.

Herr Rickert – wie und wann haben Sie von dieser Sicherheitslücke erfahren?
Das war letzte Woche Mittwoch in der Früh. Wir haben diverse Quellen, aus denen wir solche Informationen ziehen bzw. die wir verfolgen – in diesem Fall sind wir unter anderem über unseren Partner PaloAlto Networks darauf aufmerksam geworden. PaloAlto Networks informiert seine Partner und Kunden per E-Mail, wenn die Firewall Filter z. B. neue Bedrohungen erkennen. Diese Nachrichten werden von uns täglich gesichtet und bewertet, da wir bei vielen Kunden den Betrieb der Firewalls verantworten und ggf. reagieren müssen. Die zweite Quelle war ein Hinweis der Amerikanischen Cybersecurity and Infrastructure Security (CISA), die ebenfalls entsprechende Warnungen veröffentlichten. Bei der Recherche haben wir dann auch ziemlich schnell herausgefunden, dass Microsoft bereits am 6. Januar 2021 über diesen Exploit informiert worden war.

Wie ging es dann weiter?
Dafür haben wir eingespielte Prozesse.
Nach dem wir uns kurz im Consulting abgestimmt haben, wie kritisch die Situation einzustufen ist, wird quasi Alarmstufe Rot ausgelöst. Wir informieren alle Kunden, bei denen wir den Betrieb verantworten, über die Sicherheitslücke und vereinbaren eine außerplanmäßige Downtime zum Einspielen des Patches.
Ein Consultant aus dem Team sammelt parallel alle Informationen zusammen, die für uns relevant sind: wie funktioniert das technisch, wie kann die Lücke ausgenutzt werden, welche Interims-Gegenmaßnahmen gibt es, wie kann man erkennen, ob die Lücke bereits ausgenutzt wurde, und was kann man dann dagegen unternehmen. Alle diese Fragen, die sich dann im IT Betrieb stellen. Für den vorliegenden Fall wird dann im Intranet ein Blogeintrag erstellt, in dem diese ganzen Informationen zusammenfließen. So hat jeder im Team jederzeit den Überblick über die aktuelle Entwicklung.

Wie werden die Kunden informiert?
Wir rufen unser Ansprechpartner beim Kunden immer direkt an – damit ist sichergestellt, dass die Nachricht auch ankommt, und man kann gleich die Downtime vereinbaren. Eine E-Mail wäre uns als Benachrichtigung zu unsicher. Unser Backoffice hat damit erst mal alle Hände voll zu tun, die Kunden müssen erreicht und die Downtime im Betrieb eingetaktet werden.

Welche Kunden informieren Sie?
Wir informieren immer alle Kunden, von denen wir wissen, dass sie die betroffene Technologie einsetzen – für uns spielt es keine Rolle, ob wir beim Kunden für den IT-Betrieb verantwortlich sind oder vielleicht nur alle paar Jahre mal ein Projekt zusammen machen.

Wie werden die Systeme dann gepatcht?
Da gibt es zwei Varianten, die wir anbieten. Alle Kunden, die unsere Managed Patchmanagement Lösung gebucht haben, bekommen den außerplanmäßigen Patch dann zum vereinbarten Zeitpunkt eingespielt. Dazu muss unser Betriebsteam zuvor prüfen, welche Abhängigkeiten der Patch hat, ob es also etwas zu beachten gibt oder ob der Patch einfach nur ausgerollt werden muss. Danach wird kontrolliert, ob der Patch erfolgreich installiert wurde, und falls etwas nicht funktioniert haben sollte, wird manuell eingegriffen. Das kann dann bedeuten, dass der Patch erneut ausgerollt wird oder ein Techniker den Patch manuell einspielt. Die zweite Variante ist die manuelle Installation – dazu muss sich ein Techniker auf das System aufschalten und die Installation von Hand durchführen. Das ist natürlich viel aufwendiger, als es automatisiert durchzuführen, und damit auch teurer. Oft bekommt man erst nach 18:00 Uhr eine Downtime und dann wird’s gern auch mal später für den Betrieb. Mit unserer Managed Patchmanagement Lösung patchen wir jeden Monat effizient Hunderte von Systemen – da muss man zum Glück nicht mehr so oft persönlich Hand anlegen.

War das ein Problem, dass bei diesem Patch der Exchange Server einen aktuellen CU-Stand haben musste, bevor der Patch eingespielt werden kann?
Ein Problem nicht – die Systeme der Betriebskunden sind in der Regel immer auf dem aktuellen Exchange CU. Bei den Projektkunden ist dann schon mal der ein oder andere dabei, der einen älteren Patchlevel fährt – da kannst noch so viel reden. Das ist gerade bei Exchange Servern etwas aufwendiger, weil beim CU der Exchange ja teilweise deinstalliert und wieder neu installiert wird. An sich ein cooler Prozess – die Konfig des Servers liegt im AD und wird vom Installer des CUs dann verwendet, um die Installation durchzuführen. Das dauert dann gerne mal 60 Minuten und wenn was schiefgeht, auch länger. Gerade bei Exchange werde wir immer wieder mal gefragt, ob wir den Server nicht auf das aktuelle CU bringen können und den Patch einspielen. Das macht man dann – ist ja klar.

Was passierte als Nächstes?
In diesem Fall mussten die Systeme von einem Techniker überprüft werden. Der verantwortliche Consultant hat zuvor ja schon ermittelt, wie vorzugehen ist. In diesem Fall haben wir ein PowerShell Script verwendet, das auf GitHub veröffentlicht wurde. Das Skript wurde zuvor begutachtet und zuerst auf unseren eigenen Systemen getestet. Zusätzlich wurden die Systeme dann noch einer Kontrolle durch den Techniker unterzogen.

Wurde die Sicherheitslücke auf vielen Systemen ausgenutzt?
Nein, da waren wir ganz gut aufgestellt. Ich kenne Exchange noch aus einer Zeit, da hätte man den Server niemals direkt über das Internet erreichbar gemacht. Microsoft hatte da ein Produkt im Portfolio, den ISA Server, bzw. später dann das Threat Management Gateway (TMG) – manche werden sich sicher noch daran erinnern. Das TMG hat man als Reverse Proxy zwischen das Internet oder besser die Firewall und den Exchange Server gestellt, um den Zugriff dort erst zu authentifizieren. Eine etwas größere Exchange-Umgebung ohne Pre-Authentifizierung über TMG war unvorstellbar. Als die Reise dann langsam Richtung Exchange in der Cloud ging und sich mit Exchange 2010 in der Architektur einiges geändert hatte, wurde das TMG eingestellt. Exchange oder besser der Zugriff über den IIS mit dem Frontend-/Backend-Konzept galt ja dann als sicher. Wir hatten zum Ende vom TMG nach einer Alternative gesucht und damals schon etwas Erfahrung mit den KEMP LoadMastern gesammelt.
Die KEMP brachte dann bald das Edge Security Pack (ESP) als Funktion, mit dem man die TMGs gut ablösen konnte. Wir setzen die KEMP LoadMaster mit dem ESP bei vielen Kunden vor den Exchange- Servern ein, selbst wenn der Kunde gar kein LoadBalancing nutzt, nur um die Zugriffe abzusichern. Bei dieser Sicherheitslücke hat sich das absolut ausgezahlt – auf keinem der so geschützten Systeme konnten wir einen erfolgreichen Angriff feststellen.

Wie lange dauert die Aktion?
Ach, das reine Patching war noch am Mittwoch abgeschlossen – es haben wie immer alle zusammengeholfen und wie schon erwähnt – das meiste läuft automatisiert über unsere Patchlösung, an die viele Kunden angebunden sind. Die Nachsorge bei den Systemen, ob die Lücke nicht doch ausgenutzt wurde, war dann allerdings schon aufwendiger, da man hier manuell Hand anlegt.Je nach dem wie die Infrastruktur des Kunden aufgebaut ist, wurden auch andere Systeme oder Bereiche des Active Directory bzw. die Sicherheitseinstellungen der Systeme überprüft. Für diesen Incident hatte ich den Hut auf. Neben den ganzen operativen Themen bei bitminder und dem Support der Kollegen hat man dann auch immer ziemlich viel Kontakt mit Kollegen aus anderen Unternehmen oder auch Kunden, von denen man eher selten mal was hört. Sie können sich’s sicher vorstellen – viele E-Mails, Chats und Telefonate.
Eigentlich wollten wir schon am vergangenen Donnerstag einen Blog-Eintrag veröffentlichen, weil man in Deutschland zu diesem Thema noch fast nichts gefunden hat, aber wir haben es einfach zeitlich nicht früher hinbekommen. So haben wir uns jetzt entschieden, stattdessen unsere Erfahrungen damit als Interview zu bloggen – ließt sich halt auch etwas schöner.

Haben Sie für solche Fälle immer freie Ressourcen?
(lacht) Nein, in der IT kann sich das niemand leisten, dass man Ressourcen vorhält – wir sind ja kein Großkonzern. Wir sind Dienstleister und versuchen den Kunden immer flexibel zur Seite zu stehen, auch wenn das wie in diesem Fall für mein Team und mich einen ziemlich langen Arbeitstag bedeutet. Zumindest im normalen Betrieb kommt das ja sehr selten vor. Wenn die Systeme sauber nach Best-Practice aufgesetzt wurden, ordentlich gewartet werden und das Monitoring passt, dann passiert da selten was Ungeplantes und die Leute können pünktlich in den Feierabend.
An den Citrix NetScaler Exploit CVE-2019-19781 kurz nach Weihnachten 2019 kann ich mich sehr gut erinnern, das war ein ähnliches Desaster wie der Exploit im Exchange Server jetzt hier. Damals hatte es deutlich mehr Kunden bzw. Systeme erwischt.

Wie kann ich mein System besser vor solchen Angriffen schützen?
IT-Sicherheit ist ein ziemlich umfangreiches Thema, aber eigentlich auch nicht so kompliziert – sagen wir mal zumindest bis zu einer gewissen Unternehmensgröße. Man muss auch nicht gleich Unsummen investieren, um sich oder seine IT besser aufzustellen. In diesem Fall würde ich es vielleicht mal auf drei Punkte einschränken wollen:

1. Patchen, patchen, patchen – alles, was eine IP-Adresse und eine Netzwerkverbindung hat, muss regelmäßig gepatcht werden. Am besten über eine Software oder mit einem Dienstleister, der das für Sie übernimmt. Wichtig ist: Die Anwendung muss Ihnen melden, wo Patches fehlen, Ihnen anzeigen, ob ein Patch erfolgreich installiert wurde, und sie sollte in der Lage sein, innerhalb kürzester Zeit (Minuten) einen Patch ausrollen zu können.
2. Informieren Sie sich tagesaktuell über neue Sicherheitslücken, z. B. bei der BSI, oder suchen Sie sich einen IT-Dienstleister, der Sie da unterstützt oder Ihnen eine passende Lösung oder Service anbietet. Zeit ist hier oft ein großer Vorteil – wir waren hier sehr schnell und konnten viele Systeme patchen, bevor diese angegriffen wurden.
3. Externe Zugriffe immer zusätzlich absichern – in diesem Fall KEMP LoadMaster mit aktiviertem ESP immer vor den Exchange – fürs kleine Budget gibt es die sogar als Free-LoadMaster vom Hersteller quasi umsonst mit ein paar Einschränkungen.

Ein Wort zum Schluss?
Das hat mir jetzt richtig Spaß gemacht und das Format hat mir auch gefallen – warten wir mal aufs Feedback und dann ich könnte mir gut vorstellen, dass wir das in dieser Form noch häufiger machen 🙂

Einen Ausug zu unserer Linksammlung zu diesem Thema:

Infos und Mitigation
https://www.volexity.com/blog/2021/03/02/active-exploitation-of-microsoft-exchange-zero-day-vulnerabilities/
https://www.microsoft.com/security/blog/2021/03/02/hafnium-targeting-exchange-servers/
https://msrc-blog.microsoft.com/2021/03/05/microsoft-exchange-server-vulnerabilities-mitigations-march-2021/
https://us-cert.cisa.gov/ncas/alerts/aa21-062a
https://www.experts-exchange.com/articles/35796/Exchange-HAFNIUM-Mitigations.html

Latest Updates from MS
HowTo CU + Patch Update Path, Known-Issued, Investigation, Remidiation, Mitigation

Researcher DEVCORE
https://twitter.com/orange_8361
https://proxylogon.com/

Time Line
https://proxylogon.com/#timeline

Downloads
Test-ProxyLogon PowerShell Script
MS Security Scanner

Kemp Free Edition
Free LoadMaster – Kemp Support