statusStav služeb Roští

Všechny služby běží.

Kontrola dnes 10:5221 / 21 služeb v pořádku

OdebíratRSS feed

Vaše aplikace nefunguje a tady o tom nic není? Monitoring hlídá jen část infrastruktury. Ozvěte se, podíváme se na to. Kontaktovat podporu

Aktuálně

Probíhající incidenty a plánované práce.

Nic neřešíme a nemáme naplánované žádné práce.

Stav infrastruktury

Základní přehled monitorovaných služeb.

21 / 21 OK

Administrace a síť

2/2 OK
  • AdminV pořádku
  • Load balancerV pořádku

Databáze

10/10 OK
  • MariaDB store3.rosti.czV pořádku
  • MariaDB store4.rosti.czV pořádku
  • MariaDB store5.rosti.czV pořádku
  • MariaDB store6.rosti.czV pořádku
  • MariaDB store7.rosti.czV pořádku
  • PostgreSQL store3.rosti.czV pořádku
  • PostgreSQL store4.rosti.czV pořádku
  • PostgreSQL store5.rosti.czV pořádku
  • PostgreSQL store6.rosti.czV pořádku
  • PostgreSQL store7.rosti.czV pořádku

Aplikace

4/4 OK
  • Monitorovaná aplikace 1V pořádku
  • Monitorovaná aplikace 2V pořádku
  • Monitorovaná aplikace 3V pořádku
  • Monitorovaná aplikace 4V pořádku

E-mail

1/1 OK
  • SMTP serverV pořádku

Datacentra

4/4 OK
  • DC Praha networkV pořádku
  • DC Praha powerV pořádku
  • DC Brno networkV pořádku
  • DC Brno powerV pořádku

Monitoring zachycuje jen část naší infrastruktury. Červená metrika sama o sobě nemusí znamenat výpadek. Pokud vám služba nefunguje, může ale pomoci určit příčinu.

Historie

Vyřešené incidenty za posledních 30 dní.

RSS
  • VyřešenoNízký dopad

    Výpadek node 01 pro stacky

    bez aktualizací
    Průběh

    V noci, kolem 4:00, došlo ke krátkému výpadku node 01 pro stacky. Výpadek byl způsoben starým zálohovacím procesem, který se nám znovu zapnul po restartu serveru.

    Časy uvádíme v časovém pásmu Praha.Odkaz na incident
  • VyřešenoNízký dopad

    Aktualizace všech serverů

    14 aktualizací
    Průběh

    Jak jsme informovali v předchozím incidentu, musíme aktualizovat všechny servery kvůli úniku klíčů společnosti eMudhra. Tento incident bude obsahovat informace o celé akci.

    Celkově půjde o 4 fyzické servery a VMka na nich běžící. Servery jsou to:

    • 🟢 Mars
    • 🟢 Merkur
    • 🟢 Neptun
    • 🟢 Uran

    K aktualizaci a restartu bude docházet po půlnoci v následujících dnech.

    Máme hotovo, incident uzavíráme.

    🟡 Dnes poslední server - Merkur. Než jsme stihli dokončil kolečko oprav, tak se objevila nová kritická bezpečnostní chyba CVE-2026-98432. Naštěstí Debian, který používáme, je jedna z distribucí, která ji má již opravenou.

    Připomenu ještě, že budeme aktualizovat server, kde běží následující:

    • app nody 22, 23, 25, 28, 29
    • stack nody 1 a 2
    • brána pro komunikaci do internetu - během restartu nepojede nic ven

    Máme hotovo. Zbývá Merkur. Zítra ho nedáme, takže se do něj pustíme v noci ze čtvrtka na pátek. Na něm máme následující:

    • app nody 22, 23, 25, 28, 29
    • stack nody 1 a 2
    • brána pro komunikaci do internetu - během restartu nepojede nic ven

    🟡 Dnes pokračujeme serverem Uran. Na něm běží:

    • store 3, 4 a 5.
    • stack node 2
    • app node 24
    • SMTP pro appky
    • admin

    A během aktualizace dojde k několika různě dlouhým výpadkům, ne delším než několik minut.

    🟡 Dnes v noci je na řadě server Uran. Tam běží:

    • store 3, 4 a 5.
    • stack node 2
    • app node 24
    • SMTP pro appky
    • admin

    Máme hotovo. Pro dnešek končíme.

    Jsme v DC a jdeme na restart serveru Mars kvůli zaseklému remote managementu. Na Marsu běží jen naše interní služby.

    Mám hotovo. Zítra tedy DC a vrátíme se k serveru Mars.

    • 🟢 Mars
    • 🔴 Merkur
    • 🟢 Neptun
    • 🔴 Uran

    Server naběhl, ještě všechno projdeme a dnes to uzavřeme.

    Restartujeme.⏳

    🔧 Aktualizujeme VM na Neptunu. Může docházet ke krátkým výpadkům.

    Za chvilku restartujeme celý stroj.

    🟡 Dnes to bude server Neptun. Běží na něm databáze store 6 a 7, aplikační nody 30, 31 a 32 a všechny pages.

    🛠️Kvůli včerejším problémům s Marsem pojedeme zítra večer (26.10.) do datacentra. Server běží bez problémů, ale zasekl se mu remote management a protože tu máme nové systémové disky pro všechny stroje, tak to uděláme obojí najednou. Nové disky zatím jen vložíme do serverů a nebudeme nic vypínat ani restartovat.

    Server Mars je aktualizovaný. Narazili jsme u něj ale na problém KVM, což nás trochu zdrželo a budeme ho muset řešit přímo v datacentru. Výpadek byl velmi krátký a netýkal se žádné aplikace, stacku nebo jiné klientské služby. Pouze interních systémů. Dnes prozatím hotovo.

    Začínáme se serverem Mars, kde téměř nic neběží.

    Časy uvádíme v časovém pásmu Praha.Odkaz na incident
  • VyřešenoKritický dopad

    Bezpečnostní problémy

    9 aktualizací
    Průběh

    Během následujících dnů budeme aktualizovat všechny naše servery. Jak fyzické, tak ty virtuální. Důvodem jsou kritické bezpečnostní chyby nalezené v PHP a únik privátních klíčů certifikační autority eMudhra.

    U PHP čekáme na detaily a budeme se snažit minimálně potlačit možné zneužití. Pravděpodobně budeme zasahovat i do konfigurace PHP u jednotlivých aplikací, ale zatím netušíme o co vlastně jde.

    Snad dnes večer nebo zítra vydáme nový Runtime pro aplikace, který bude mít oba problémy odstraněny.

    V našich systémech PHP nepoužíváme, takže co se týče infrastruktury, tak řešíme "jen" únik klíčů společnosti eMudhra.

    Tento incident uzavíráme, protože už je delší a pro aktualizaci kvůli aktualizaci všech našich serverů otevřeme jiný.

    Dneska vyšlo doporučení od PHP Foundation k ponechání:

    session.upload_progress.enabled = off

    Za nás stále doporučujeme ponechat prozatím obojí.

    Co se týče eMudhra certifikátů, tak během víkendu budeme restartovat všechny 4 fyzické servery, stack nody, app nody, pages node a databáze. Způsobí to náhodné výpadky, které nepotrvají déle než pár minut. Začneme vždy po půlnoci a o progressu budeme informovat tady na statusu.

    Build Runtime s PHP 7.0 úspěšně prošel a podařilo se nám do něj přidat i PHP 5.6. Nový Runtime 2026.10-3 s opravenými PHP 5.6, 7.x a 8.x, který pokrývá všechny verze PHP, které u nás hostují, je už k dispozici v administraci.

    Přímý upgrade je možné udělat ze všech rosti/runtime:* imagů. Pokud jede vaše aplikace na rosti/php:*, je potřeba vytvořit aplikaci novou na novém runtime, překopírovat data a přehodit domény.

    Pozor na následující direktivy:

    memory_limit = -1 # pro CVE-2026-109618
session.upload_progress.enabled = off # pro CVE-2026-109619
fatal_error_backtraces = Off # pouze u PHP 8.5

    Pokud není nutné je odstranit kvůli funkčnosti vaši aplikace, tak je doporučujeme prozatím zachovat. Opravy jsou totiž komplexní a zasahují do samotného nitra PHP a tak je velmi pravděpodobné, že nejsou finální a budou uvolněny další.

    Všechny aplikace už mají nasazenou zmíněnou mitigaci. Řešíme teď stacky a pro aplikace se ještě pokusíme vydat nový Runtime s PHP 7.x.

    Většina aplikací už v sobě má direktivy vypsané výše. Ještě řešíme pár výjimek a několik starých aplikací s PHP 5.6. Ty jsou totiž postavené úplně jinak než naše současná runtimes.

    Odeslali jsme email s upozorněním na obě chyby všem uživatelům. Nemůžeme u aplikací měnit runtime sami a v případě stacků funguje každý stack jinak. Proto prosíme, abyste co nejdříve aktualizovali na nový Runtime u aplikací a u stacků provedli aktualizaci kontejnerů, ve kterých běží PHP.

    Máme už skoro hotový nástroj, který nastaví direktivy ke zmínění dopadů obou chyb u aplikací:

    memory_limit = -1 # pro CVE-2026-109618
session.upload_progress.enabled = off # pro CVE-2026-109619
fatal_error_backtraces = Off # pouze u PHP 8.5

    A použijeme ho k nasazení během čtvrtka. U stacků nic takového udělat nemůžeme a je to na vás.

    Jediná spolehlivá cesta k zabezpečení webu je aktualizace PHP. Nastavení výše jen snižuje možnosti zneužití, ale chyby neopravuje.

    Runtime s opraveným PHP ve verzích 8.2.35, 8.3.36, 8.4.27 a 8.5.12 je už v administraci a můžete přepínat. Nese označení rosti/runtime:2026.10-2.

    Nový Runtime už se nám zbuildil a prošly testy. Na základě zpětné vazby ještě přidáváme PHP 8.3.36 a 8.2.35. Nový runtime 2026.10-2 bude k dispozici snad do půlnoci. Přepnutí runtime nemůžeme udělat za vás a musíte ho provést manuálně až bude k dispozici.

    V dalších hodinách a dnech budeme řešit mitigaci obou chyb, protože už je k dispozici více informací. Budeme minimálně vypínat upload progress v PHP a memory limit.

    Sestavujeme nový runtime s opraveným PHP (verze 8.5.12). Zatím jen testovací build. Po něm bude následovat produkční build.

    Časy uvádíme v časovém pásmu Praha.Odkaz na incident
  • VyřešenoNízký dopad

    Migrace na stack API v2

    5 aktualizací
    Průběh

    Migrujeme backend stacků na novou verzi API v2. Během migrace může docházet k výpadkům správy stacků v administraci. K výpadkům samotných stacků by dojít nemělo. V ideálním případně na konci migrace nepoznáte, že se něco změnilo.

    Máme hotovo.

    Jdeme na to, mělo by to trvat něco kolem hodiny a administrace během této doby vypadne.

    K migraci se dnes ještě vrátíme, protože musíme udělat nějaké čistky v databázích. Začneme někdy po 23:00. Během toho pravděpodobně vypadne administrace. Běžící stacky, pages a aplikace poběží bez přerušení.

    Migrace skončila cca ve 1:30. Kromě k očekávanému výpadku administrace k ničemu dalšímu nedošlo.

    Migrace je téměř u konce. Vypadá to, že vše běží jak má.

    Časy uvádíme v časovém pásmu Praha.Odkaz na incident
  • VyřešenoStřední dopad

    Výpadek LB

    bez aktualizací
    Průběh

    Krátký výpadek našeho load balanceru dnes ráno mezi 8:49 a 8:50 byl způsoben naší chybou při analýze logů.

    Časy uvádíme v časovém pásmu Praha.Odkaz na incident