Utólagos értékelés a TanStack npm ellátási lánc váltságdíjas eseményéről: Nem volt jogosulatlan hozzáférés az ügyfélszolgálati rendszerekhez.

Május 27-én befejeztük a legutóbbi TanStack ellátási láncú váltságdíj-esettel kapcsolatos belső vizsgálatunkat, és megerősítettük kezdeti megállapításainkat: Az eset szigorúan korlátozódott a Grafana Labs GitHub környezetére. Nem történt jogosulatlan hozzáférés az ügyfél termelési rendszereihez, és a Grafana Cloud platform sem volt érintett. Független audit céljából a kiberbiztonság és az eseménykezelés terén vezető Mandiant céget vontuk be. API-hozzáférést biztosítottunk számukra a Grafana Labs napló környezetéhez, hogy vizsgálatuk során lekérdezéseket végezzenek rendszereinkben, ami június 1-én kezdődött. A Mandiant megerősítette, hogy "nincs bizonyíték kódmódosításra vagy repozitórium mérgezésre a nyilvános szervezetekben vagy a végfelhasználóknak szánt termelési repozitóriumokban." Az incidens felfedezése óta a Grafana Labs biztonsági csapatai párhuzamosan két munkafolyamatot hajtottak végre: a vizsgálat befejezése és a biztonsági műveleteink megerősítése. E blogot a transzparencia szellemében publikáljuk, hogy részletesebben megosszuk incidens kezelésünket és helyreállítási erőfeszítéseinket. Összegzés és hatás Ha a rövid verziót keresed a korábbi frissítéseink helyett, itt van a TL;DR: A TanStack ellátási lánc támadása május 11-én érte el cégünket a Mini Shai-Hulud kampány során. Akkor úgy gondoltuk, hogy sikeresen rotáltuk az összes érintett hitelesítőt. Egyet kihagytunk. Ezt a figyelmetlenséget nem a felfuvalkodottságra fogom; az akkor rendelkezésünkre álló adatok egyszerűen azt a hihetetlent sugallták, hogy a rotációnk kimerítő volt. Tévedtünk. Egy rossz szándékú szereplő kihasználta azt az elhanyagolt hitelesítőt, hogy lemásolja az egész repozitórium-kollekciónkat. Majd május 16-án kapcsolatba lépett velünk, váltságot követelve a kód kiszivárgásának megakadályozására. Mivel a Grafana Labs nyílt forráskódú cég, lehet, hogy kíváncsi vagy, miért jelent ez aggályt. Bár a forrásszűk többsége nyilvános, fenntartunk privát repozitóriumokat belső eszközök és a specifikus Grafana Cloud funkciók számára. Nehéz döntés volt, de ragaszkodtunk elveinkhez és az FBI dokumentált útmutatásához: Nem fizettünk. Azonnal megkezdtük a mérséklési erőfeszítéseinket, és megerősítettük, hogy nem történt jogosulatlan hozzáférés az ügyfél termelési rendszereihez, és a Grafana Cloud platform sem volt érintett. Azt is megerősítettük, hogy bár a kódunk letöltésre került, nem módosították. Ügyfeleinknek és az open source felhasználóknak nincs szüksége cselekvésre. A Grafana Labs válasza Az incidensről egy szombaton értesültünk, és a vállalat minden csapata gyorsan és határozottan lépett. (Vagy, hogy idézzek az egyik kedvenc rapperemtől, Big Daddy Kanetől, a Grafana Labsnél nincs féligazság.) Válaszul a Grafana Labs felfüggesztette az összes GitHub alkalmazást május 17-én, globális kódlezárást indított május 18-án, és keresztszelektivitási auditot végzett a Vault, GitHub, Okta, Kubernetes, AWS, GCP és a gazda naplóin, hogy ellenőrizze, hogy nem sérült ügyféladat. Az ezt követő hetekben mérnöki csapataink hozzájárultak egy átfogó audithoz, amely többek közt a következőket tartalmazta: 1,500 biztonságra összpontosító PR-ellenőrzés befejezése, 280 GitHub alkalmazás auditálása, jogosultságok megvonása és több eltávolítása, 1,200 repozitórium átvizsgálása a manipuláció nyomaiért, 2,300 PR-ellenőrzés végrehajtása, keresve jogosulatlan változásokat egyetlen kritikus repozitóriumban, az infrastruktúra auditok befejezése és a régi rendszerek nyugdíjazása, széleskörű új hozzáférés auditok végrehajtása. Ez hatalmas vállalkozás volt, de minden csapat példamutató módon lépett fel, hogy teljesítse a feladatát. A mérnöki, biztonsági és keresztfunkcionális partnerek fáradhatatlanul dolgoztak a válaszadás érdekében, bemutatva azt az együttműködést és közös elköteleződést, amelyet mindig is értékeltem a Grafana Labsnál. Az első értékelés után azt találtuk, hogy a forráson kívül a letöltött tartalom többek között GitHub repozitóriumokat is tartalmazott, amelyeket néhány Grafana Labs csapat használ a belső működési információk és más üzleti részletek tárolására és együttműködésére. Ez magában foglalja például az üzleti kapcsolattartó nevét és e-mail címét, amelyeket professzionális környezetben cserélnek, valamint olyan e-mail címeket, amelyeket néhány korábbi marketingkampány során használtak. Ez nem olyan információ volt, amelyet termelési rendszerek használata során vagy a Grafana Cloud platformon keresztül nyertek volna ki vagy dolgoztak volna fel. Ha szeretnéd tudni, hogy az email címedhez kapcsolódó címek azonosításra kerültek-e, kérlek, lépj kapcsolatba a Grafana Labs támogatásával. Incidens idővonala Minden időpont UTC szerint 19:21 11. május - Az első rosszindulatú kód végrehajtása a saját gazdájú futtatókon a Shai Hulud fenyegetői által, hitelesítők kiszivárgása. Hitelesítők rotálása. 07:21 14. május - Az első rosszindulatú kötelezés a fenyegető által a grafana-delivery-bot használatával, a Shai Hulud támadói által kiszivárgott. 13:28 14. május - A repozitóriumok adatkitermelése elkezdődik. 20:57 15. május - Az adatok kényszerítő fenyegetője közzéteszi zsaroló követelését. 08:30 16. május - A Grafana Labs biztonsági csapata értesül a kért váltságról, és megerősítést keres. 17:39 16. május - A kompromittálódás megerősítve; incidens kihirdetve. 19:33 16. május - Minden ismert érintett hitelesítő és GitHub alkalmazás felfüggesztve/rotálva. A többi GitHub alkalmazás és elérhető hitelesítők felfüggesztése és rotálása megkezdődik. 21:10 16. május - Az összes GitHub alkalmazás felfüggesztése befejeződik. 16:40 17. május - Minden kódváltozás, amelyet a fenyegető által használt GitHub alkalmazásfiókok végeztek, azonosítva és visszaállítva. 16:52 17. május - A gyökérok, a kompromittálódás támadási lánca azonosítva. 17:21 17. május - A DockerHub hitelesítők kompromittálódásának megállapítása. 17:51 17. május - Minden rosszindulatú munkafolyamat futás azonosítva. Az érintett titkok végső listája összeállítva és rotálva. Az összes többi ci/common titok rotálása az érintett repozitóriumokból folytatódik. 23:23 17. május - Az utolsó potenciálisan hozzáférhető hitelesítők megerősített rotálása vagy felfüggesztése. 03:08 18. május - Minden nem kritikus kód- és telepítési változtatás felfüggesztése kezdődik. 08:00 25. május - Az összes mérnöki biztonsági megerősítési hét megkezdődik. 10:58 26. május - Kötelezés-ellenőrzés befejezve, a szolgáltatás olvadása kezdődik. Egy repozitóriumot teljesen fel kell vizsgálni és át kell alakítani ahhoz, hogy GitHub alkalmazás token brókerrel használja az rövid távú, finoman beállított hitelesítőket, mielőtt olvadásra kerülne. 10:54 27. május - Az átmenet a repozitóriumok közvetlen képfeltöltéséről a DockerHub-ra a Google Cloud Artifact Registryre történik. 27. május - Belső vizsgálat befejezve. További támadási tevékenységet vagy kompromittált hitelesítőt nem találtunk. 08:00 2. június - Az összes mérnöki biztonsági megerősítési hét befejeződik. 20:43 3. június - A repozitóriumok adatvesztésének felülvizsgálata befejezve. 18. június - A Mandiant vizsgálata befejeződött, megerősítette a belső vizsgálatot. Mi következik Most a vizsgálat lezárult, de a Grafana Labs biztonsági működésének javítása érdekében végzett munkánk folytatódik. Dosztojevszkij egyszer azt mondta: "amikor az ész kudarcot vall, az ördög segít!" A "Bűn és bűnhődés" idézésével szeretném hangsúlyozni filozófiánkat: Csak olyan változtatásokat akartunk bevezetni, amelyek valóban elősegítik a biztonságot. Az elmúlt hónapot magas hatású intézkedések végrehajtásával töltöttük, beleértve a token brókert, finoman beállított hozzáférés-ellenőrzéseket, további figyelmeztetéseket és statikus elemzést. Emellett eltávolodtunk bizonyos GitHub Actions-től, és most szorosabban beállított, rövid élettartamú tokeneket használunk. Elkezdődött a GitHub szervezeteink szétválasztásának folyamata is, és minden archív repozitóriumot egy dedikált szervezetbe izolálunk, amelynek műveletei letiltva. A közeljövőben megosztjuk a válaszadásunk áttekintését és a technikai részleteket arról, hogyan javítottuk biztonsági helyzetünket a poszt-incident áttekintésünk keretében.