Crowdstrike - Name ist Programm

[dummzeuch]

Ich war selten so froh, nicht als Systemadmin für eine große Firma zu arbeiten wie jetzt. Man stelle sich vor: An einem Freitag rebooten plötzlich alle Windows-Systeme (incl. Server) in einen BSOD und jeder Reboot schlägt fehl. Es stellt sich heraus, dass die einzige Lösung ist, zu jedem Rechner zu gehen, dort in den abgesicherten Modus zu booten und eine Datei zu löschen.
Und das dann in einer Firma mit hunderten solcher PCs. Keine Fernwartung möglich, da ja Windows nicht bootet. Ganz besonders klasse für Windows Server, die headless arbeiten. (OK, einige wenige Fernwartungstools sind im BIOS implementiert oder als Hardware ausgeführt, aber die Regel dürfte das nicht sein.)

Da werden einige Leute ein arbeitsreiches Wochenende haben.

[TUhr]

Richtig ! Passende Temperaturen gibt es auch noch dazu....

[haentschman]

Viel blöder ist aber, das die meinsten Chef´s die Verantwortung, die wir auch in der Anwendungsentwicklung tragen, nicht erkennen/schätzen. :? Eine falsche Zeile und es kommt sowas bei raus...:wink:
Ausnahme: Man arbeitet in einer Softwarebude. :lol:

Haben die keine "Testabteilung"? Bei so kritischen Systemen sollte das bei "Unittests (oder wie man das in diesem Falle nennt)", auffallen. :gruebel:

[Sherlock]

Ich habe mich bei heise belehren lassen müssen, daß es bei 0-days auf jede Sekunde ankäme, und deshalb Signaturupdates, und darum geht es hier, mehrmals am Tag rausgehauen und automatisch eingespielt werden.

Das diese Signaturen nicht zum ersten Mal mehr Schaden als Nutzen, scheint keinen zu kümmern. Wie es zu einem BSOD kommen kann, obwohl nur eine Signatur eingespielt wurde, ist aber wohl Betriebsgeheimnis der Weisen von Crowdstrike.

Auch scheint sich herauszustellen, daß der Einsatz solcher Produkte (gehässig als Schlangenöl bekannt) primär als Absicherung gegen eventuelle Regressansprüche genutzt wird. Frei nach dem Motto "Ich habe doch Tool XY installiert, es kann nichts passieren". Wenn doch was passiert, lehnt man sich zurück, und sagt man habe ja alles menschenmögliche getan.

Insgesamt trennt sich an diesem Vorfall die Spreu vom Weizen. ITler, die das Glück hatten, kein vom Management aufgedrücktes Produkt zweifelhaften Nutzens verwenden zu müssen, freuen sich über ein weiteres ruhiges Wochenende. Die anderen...nunja.

[himitsu]

Weltweit schön Überstunden ... da freuen sich alle :)


Nunja, der andere Fall wird damit aber auch gut abgefangen, indem Sicherheitslücken/Probleme schnellstmöglich behoben werden, hoffentlich bevor etwas passiert.

Wenn ein Krankenwagen schön schnell in die Ambulanz fährt, ist es eigentlich schön, auch wenn es manchmal passieren kann, dass auch er selbst 'nen Unfall hat.


Witzig war in England der eine Nachrichtensender.
Wollte grade eben berichten, wie in Australien überall Systeme ausfallen und blub peng, war er selbst weg.

Und dann schön dem Sonnenaufgang hinterherrennend hatten immer mehr ihren Spaß.
Immerhin schnell genug bemerkt und reagiert, noch bevor es einmal rundum war.

[haentschman]

Mich würde mal die Höhe der weltweiten Regressansprüche interessieren...:wink:

[himitsu]

die Untersuchungen laufen noch.

Wenn da jemand grob fahrlässig gehandelt hat (so wie in dem humoristischen Post angedeutet) .... na dannnnnnnn ohohoooooo



Die Firma selbst hat sich garantiert mit genug Ausschlussregeln abgesichert.

[jaenicke]

Zitat:

Zitat von dummzeuch (Beitrag 1539066)

An einem Freitag rebooten plötzlich alle Windows-Systeme (incl. Server) in einen BSOD und jeder Reboot schlägt fehl. Es stellt sich heraus, dass die einzige Lösung ist, zu jedem Rechner zu gehen, dort in den abgesicherten Modus zu booten und eine Datei zu löschen.

Bei mir kamen zum Glück nur zwei BSOD, danach lief alles normal. Das ist also nicht überall so gewesen.

Das größte Problem finde ich daran aber genau das:
Wie kann es sein, dass Windows erkennt und anzeigt, welcher Treiber schuld ist, aber dennoch immer wieder genau diesen Treiber lädt und erneut crasht?

Denn ansonsten würde der Rechner ja wieder starten und bekäme automatisch Updates. Diese Not-Fehlerbehebung könnte man ja auf gerade aktualisierte Treiber einschränken, aber grundsätzlich würde das viel erleichtern...

[dummzeuch]

Zitat:

Zitat von Sherlock (Beitrag 1539070)

Wie es zu einem BSOD kommen kann, obwohl nur eine Signatur eingespielt wurde, ist aber wohl Betriebsgeheimnis der Weisen von Crowdstrike.

Wenn die Datei fehlerhaft ist und der Fehler nicht abgefangen wird, crasht das Programm. Und in diesem Fall war das Programm wohl ein Treiber, der dann das Betriebssystem gleich mit nahm.

[himitsu]

Drum ist es für vieles besser, wenn UserMode-Treiber genutzt werden, anstatt einem KernelModeDriver, welcher gleich den Kernel mit sich reist.

Wie Damals, als alle Programme sich noch den Arbeitsspeichert geteilt hatten und ein Bufferoverrun oder ungültiger Zeiger ein anderes Programm schrotten konnte.

[zeras]

Zitat:

Zitat von Sherlock (Beitrag 1539070)

Auch scheint sich herauszustellen, daß der Einsatz solcher Produkte (gehässig als Schlangenöl bekannt) primär als Absicherung gegen eventuelle Regressansprüche genutzt wird. Frei nach dem Motto "Ich habe doch Tool XY installiert, es kann nichts passieren". Wenn doch was passiert, lehnt man sich zurück, und sagt man habe ja alles menschenmögliche getan.

Insgesamt trennt sich an diesem Vorfall die Spreu vom Weizen. ITler, die das Glück hatten, kein vom Management aufgedrücktes Produkt zweifelhaften Nutzens verwenden zu müssen, freuen sich über ein weiteres ruhiges Wochenende. Die anderen...nunja.

Aber wenn man keines installiert hat, ist doch wie Harakiri. Oder sehe ich das falsch? Gerade bei Firmen, die viele Mitarbeiter haben. Da gibt es bestimmt immer welche, die aus irgendwelchen Gründen auf einen Link klicken.

[himitsu]

Bei kam letztens auch mal wieder eine Mail mit einer ZIP an, wo angeblich was vom Anwalt drin war.
Es war eine JavaScript-Datei, anstatt einer EXE, damit man wohl auch im Linux was von hat. :stupid:

[QuickAndDirty]

Zitat:

Zitat von jaenicke (Beitrag 1539076)

Wie kann es sein, dass Windows erkennt und anzeigt, welcher Treiber schuld ist, aber dennoch immer wieder genau diesen Treiber lädt und erneut crasht?

Crowdstrike hat den Treiber von Microsoft überprüfen und Signieren lassen und es hat ihn als "boot treiber" markiert. D.h. Für windows sieht der Treiber aus wie ein Treiber der für das booten von Windows notwendig ist. Trieber die nicht so markiert sind lässt Windows automatisch aus wenn sie beim booten ?x? mal Fehler verursachen.

Das Problem mit dem Crowdstrike Update war, dass NICHT der Treiber ein Update erfuhr. Der Treiber kann P-code ausführen... lol
Crowdstrike schiebt einfach immer wieder neue Dateien mit P-code durch.
Die letzte war eine leere Datei, bzw. die payload war einfach ein haufen Nullen.
Anscheinend kommt deren P-Code interpreter mit so einem Szenario nicht klar.

Das ist der Grund warum man den Fehler beheben kann in dem man die dumme P-Code Datei löscht.

Stellt euch vor ihr seid der Typ bei Crowdstrike der diese Updatedatei hochgeladen hat. Ich meine das muss ja ein versehen gewesen sein. Irgend eine bescheuerte Verwechslung. Ein Canary Release hätte das Probelm begrenzt.

Noch so eine Sache....Anti-Cheat-Software sitzt oft genau an der selben stelle im Betriebsystem....Und ich glaube wenn der Support eingestellt wird , wird die AntiCheat Software nicht mal sauber entfernt.

[Uwe Raabe]

Zitat:

Zitat von QuickAndDirty (Beitrag 1539098)

Die letzte war eine leere Datei, bzw. die payload war einfach ein haufen Nullen.

Merkwürdig - seit ein paar Tagen bekomme ich Dateien zugeschickt, die nur aus 0-Bytes bestehen, und ich soll feststellen, warum die von meiner Software nicht geladen werden können. Namen, Extension und Größe sind plausibel, nur der Inhalt eben nicht. Schwirrt vielleicht irgend so ein Virus rum, der Dateien mit Nullen überschreibt?

[QuickAndDirty]

Zitat:

Zitat von Uwe Raabe (Beitrag 1539100)

Merkwürdig - seit ein paar Tagen bekomme ich Dateien zugeschickt, die nur aus 0-Bytes bestehen, und ich soll feststellen, warum die von meiner Software nicht geladen werden können. Namen, Extension und Größe sind plausibel, nur der Inhalt eben nicht. Schwirrt vielleicht irgend so ein Virus rum, der Dateien mit Nullen überschreibt?

Wir dürfen ja spekulieren. Und wenn das Crowdstrike passiert ist , wäre die Ironie einfach göttlich!
Wo können wir diese Story verbreiten?
Guck mal hier
https://finance.yahoo.com/quote/CRWD/
und auf "5D" klicken....

[himitsu]

Bei einem Kunden wurde mitten im Betrieb unsere EXE vom Virenscanner gesperrt.
irgendwas von TrendMicro

Dann brauchten dir erstmal umständlich einen SHA1-Hash davon, um die Datei entsprerren zu können.
(von der Datei selbst ging ja nicht, da gesperrt, also mußten wir erstmal suchen genau diese Version zu finden)

Am Ende ging immernoch nichts. Nachdem wir die Datei aktualisiert hatten und es wieder ging, sah ich mir die Unterschiede an und da war der erste Cluster genullt.

[QuickAndDirty]

Kann das nicht auch an den ganzen komischen festplatten verfahren liegen wie "Shingled Magenetic Recording" , das einfach mal was verloren geht bei den ganzen Terrabytes?
Ansonsten ist es natürlich ein klarer Hinweiß der die These von Uwe Rabe untermauert. Und wir brauchen ja nicht nur ne Story sondern auch "Beweise".

[himitsu]

nur wenn Stromausfall mittendrin

bzw. wie bei meinem NAS vor Kurzem, wo das Netzteil einen Defekt langsam bekam, die Spannung über Tage/Wochen langsam zusammenbrach, bis es so aussah, als wenn erst eine und dann alle HDDs im RAID sich verabschiedeten, bis auf die SATA-SSD und die beiden NVMe und dann mitten in der Fehlersuche *knallpengblitzallestot* (zu dem Zeitpunkt waren aber alle Patten und die eine SSD grade ausgebaut)