AIscale › Bezpečnost AI › 7 rizik AI ve firmě

Jaká bezpečnostní rizika přináší AI ve firmě a co s nimi dělat

Sedm rizik, která má smysl hlídat ve firmě, jejíž lidé AI používají. U každého najdete, jak vypadá v praxi, a minimum, které stačí zavést. Nejde o seznam pro vývojáře, ale pro vedení, IT a každého, kdo rozhoduje o nástrojích.

Aktualizováno 7. 11. 2026 · Jiří Staněk · 9 min čtení

Stručně
  • Data a účty: nejvíc incidentů nevzniká útokem, ale tím, co lidé sami vloží do nástrojů bez smlouvy. Firemní verze a pravidlo „co do AI nepatří“ odstraní většinu rizika.
  • Přístupová práva: AI asistent napojený na firemní data najde všechno, co uživatel smí vidět. Špatně nasdílené složky se tím z teoretického problému stanou praktickým.
  • Prompt injection a agenti: AI, která čte cizí obsah a sama jedná, se dá zmanipulovat. Spolehlivá ochrana podle OWASP neexistuje, proto se omezují oprávnění a rizikové akce schvaluje člověk.
  • Výstupy a dodavatelé: AI se plete a nástroje mají dodavatele, kterým svěřujete data. Obojí se řeší procesem, ne technologií.
  • Bezpečnostní minimum v 8 bodech pokryje většinu rizik. Je ke stažení jako checklist s tím, co každý bod řeší a čím ho doložíte.

Stáhnout bezpečnostní minimum (checklist PDF)

Rizika níže vycházejí ze dvou zdrojů: z mezinárodního seznamu OWASP Top 10 pro aplikace s velkými jazykovými modely (2025), který je standardem pro bezpečnostní týmy, a z toho, co v praxi řeší firmy, které AI nevyvíjejí, ale používají. U rizik převzatých z OWASP uvádím jeho označení, aby se v něm IT mohlo rychle zorientovat.

1. Únik dat přes to, co lidé do AI vkládají

Zaměstnanec potřebuje shrnout smlouvu, odpovědět na reklamaci nebo vyčistit tabulku zákazníků. Vloží ji do AI asistenta, protože je to nejrychlejší cesta. Pokud jde o nástroj, se kterým firma nemá smlouvu, data tím opustila firmu bez jakékoli kontroly. OWASP to vede jako LLM02:2025 Sensitive Information Disclosure.

Minimum: jednoduché pravidlo, která data smí do jakého nástroje. Osvědčil se mi semafor (zelená, oranžová, červená), který podrobně popisuji v článku ChatGPT ve firmě a GDPR. Patří do interní AI směrnice a do školení.

2. Osobní účty a nástroje, o kterých firma neví

Když firma žádný AI nástroj neschválí, lidé používají vlastní. Bezplatné účty nemají zpracovatelskou smlouvu, firma nevidí, co se kam vkládá, a když zaměstnanec odejde, odchází s ním i historie konverzací s firemními daty. Tomu se říká shadow AI a je to v malých firmách nejčastější situace.

Minimum: zjistit, co lidé reálně používají, a nabídnout jim schválenou alternativu s firemním účtem. Jak na to krok za krokem, popisuji v samostatném článku Shadow AI (dotazník).

3. AI vidí víc, než by měla: přístupová práva

AI asistenti napojení na firemní systémy, například Microsoft Copilot, hledají odpovědi v dokumentech, e-mailech a chatech. Microsoft k Copilotu výslovně uvádí, že zobrazuje jen organizační data, ke kterým má uživatel alespoň oprávnění ke čtení, a doporučuje správně nastavit oprávnění například v SharePointu.

To zní bezpečně a z pohledu nástroje to tak je. V praxi ale většina firem má složky nasdílené „celé firmě“, staré odkazy pro kohokoli s odkazem a týmy, kde jsou všichni. Dřív o tom nikdo nevěděl, protože dokument musel člověk sám najít. AI asistent ho najde za něj: na dotaz „jaké jsou platy v obchodním oddělení“ odpoví z tabulky, kterou někdo před lety omylem nasdílel všem.

Minimum: před nasazením AI asistenta napojeného na firemní data projít, co je sdílené s celou organizací nebo přes veřejný odkaz, a začít tam, kde jsou mzdy, smlouvy, personální a zákaznická data. Podrobný postup pro Copilot připravuji jako samostatný článek.

4. Prompt injection: když AI poslechne cizí pokyn

Jazykový model nerozlišuje spolehlivě mezi pokynem od vás a textem, který zpracovává. OWASP to vede na prvním místě jako LLM01:2025 Prompt Injection a rozlišuje dvě varianty:

  • Přímá: uživatel sám napíše vstup, který změní chování modelu, například obejde pravidla firemního chatbota.
  • Nepřímá: pokyn je schovaný v obsahu z vnějšího zdroje, který AI zpracovává: webové stránce, e-mailu, PDF, životopisu. Asistent, kterého požádáte o shrnutí došlé pošty, si tak může „přečíst“ instrukci, kterou mu tam podstrčil odesílatel.

Důležité je, co k tomu OWASP říká o ochraně: vzhledem k tomu, jak modely fungují, není jasné, zda proti prompt injection existují spolehlivé metody prevence. Dopady se proto omezují, nikoli vylučují. Microsoft u Copilotu uvádí, že používá klasifikátory proti jailbreakům a nepřímé injekci, a zároveň že nemusí být k dispozici ve všech scénářích.

Minimum: u každého AI nástroje, který zpracovává cizí obsah (e-maily, web, nahrané dokumenty), se zeptat: co nejhoršího může udělat, když ho někdo zmanipuluje? Pokud jen napíše špatné shrnutí, riziko je malé. Pokud může poslat e-mail, sdílet soubor nebo zaplatit fakturu, platí bod 5. Podrobně, včetně checklistu před nasazením agenta, v článku Prompt injection a AI agenti.

5. AI agenti a příliš velká oprávnění

AI už nejen odpovídá, ale i jedná: posílá e-maily, zakládá úkoly, mění záznamy v CRM, volá další systémy. OWASP pro to má kategorii LLM06:2025 Excessive Agency a uvádí tři příčiny problémů:

  • příliš mnoho funkcí: nástroj umí víc, než úkol vyžaduje (asistent na čtení pošty umí i mazat a odesílat),
  • příliš velká oprávnění: napojení má širší práva, než je potřeba (zápis do celé databáze místo čtení jedné tabulky),
  • příliš velká samostatnost: akce s velkým dopadem proběhnou bez ověření člověkem.

Spouštěčem může být chyba modelu, prompt injection z bodu 4 nebo napadené rozšíření či agent. Výsledek je stejný: AI udělá něco, co nikdo neschválil, a udělá to s vašimi oprávněními.

Minimum: u každého agenta nebo automatizace s AI zapsat, k čemu má přístup a co smí udělat. Dávat jen nezbytná oprávnění, raději jen pro čtení. Akce, které nejdou vrátit (odeslání ven, platba, mazání, změna práv), nechat schvalovat člověkem.

6. Chybné výstupy a slepá důvěra

AI odpovídá přesvědčivě i tehdy, když se plete. Microsoft k Copilotu sám uvádí, že odpovědi generativní AI nejsou zaručeně ze 100 % fakticky správné a uživatel je má před odesláním posoudit. OWASP vede dvě související rizika: LLM09:2025 Misinformation (nepravdivé nebo vymyšlené výstupy, kterým lidé věří) a LLM05:2025 Improper Output Handling (výstup AI se bez kontroly použije dál, například vygenerovaný kód nebo dotaz do databáze se rovnou spustí).

Bezpečnostní rozměr to má hlavně tehdy, když výstup AI jde rovnou ven (zákazníkům, do smluv, do produkce), nebo když na něm stojí rozhodnutí o lidech.

Minimum: pravidlo, že za výstup odpovídá ten, kdo ho použil, ne AI. Co jde ven nebo do systémů, kontroluje člověk. Kód z AI prochází stejnou kontrolou jako kód od kolegy.

7. Dodavatelé, doplňky a rozšíření

Každý AI nástroj má dodavatele a často i jeho dodavatele (model od jiné firmy, hosting, doplňky). K tomu rozšíření prohlížeče „s AI“, která čtou obsah stránek, na kterých pracujete, a aplikace, kterým lidé jedním kliknutím povolí přístup k e-mailu nebo úložišti. Pro firmy, které AI vyvíjejí, to OWASP rozebírá jako LLM03:2025 Supply Chain. U firmy, která AI jen používá, jde hlavně o výběr a schvalování dodavatelů.

Že nejde o teorii, ukazuje varování NÚKIB z 10. 7. 2025 před produkty společnosti DeepSeek. Úřad v něm jako důvody uvádí mimo jiné nedostatečné zabezpečení přenosu dat a sběr údajů, které mohou vést k identifikaci uživatelů, a hrozbu hodnotí jako vysokou. Pro povinné osoby podle zákona o kybernetické bezpečnosti je varování u vymezených systémů závazné, ostatním úřad doporučuje použití pečlivě zhodnotit.

Minimum: vést registr AI nástrojů s dodavatelem, umístěním dat a smluvním základem. Nové nástroje, doplňky a rozšíření schvalovat dřív, než je lidé začnou používat. Jednou za čas v administraci Microsoft 365 nebo Google Workspace zkontrolovat, kterým aplikacím třetích stran uživatelé udělili přístup k firemním datům.

Bezpečnostní minimum pro každou firmu: 8 bodů

Pokud nemáte čas na nic jiného, tohle pokryje většinu rizik z tohoto článku:

  1. Seznam používaných AI nástrojů s dodavatelem a typem účtu (firemní, nebo osobní).
  2. Firemní verze tam, kde se pracuje s daty zákazníků nebo zaměstnanců, se zpracovatelskou smlouvou.
  3. Pravidlo pro data: co do AI smí, co jen do firemní verze a co nikdy.
  4. Přihlašování firemním účtem s vícefaktorovým ověřením a zrušení přístupu při odchodu zaměstnance.
  5. Revize sdílení dokumentů před nasazením AI asistenta napojeného na firemní data.
  6. Omezená oprávnění a lidské schválení u agentů a automatizací, které mohou jednat.
  7. Kontrola výstupů před tím, než jdou ven nebo do systémů.
  8. Postup při incidentu: komu hlásit, že se něco nepovedlo, a jak rychle (u osobních údajů běží lhůta 72 hodin). Vzor postupu a záznamu.

Stáhnout bezpečnostní minimum (checklist PDF)

Checklist má u každého bodu napsáno, které riziko řeší a čím ho doložíte. Projděte ho s IT nebo s externím správcem, co chybí, zapište s termínem a odpovědnou osobou.

Jak to souvisí s AI Actem: body 3, 7 a školení k nim jsou zároveň opatřeními k AI gramotnosti podle čl. 4 AI Actu. Kdo zavede bezpečnostní minimum a zdokumentuje ho, má velkou část souladu hotovou. → Checklist povinností firem

Co tento článek neřeší

Záměrně jsem vynechal rizika, která se týkají hlavně firem, které AI samy vyvíjejí nebo trénují (otrávení trénovacích dat, únik systémového promptu, slabiny vektorových databází). A také útoky, kde AI používá útočník: podvodné e-maily psané AI nebo deepfake hlasy vedoucích; těm se věnuji v článku Deepfake hlas a video. Co dělat, když se některé z rizik naplní, je v postupu při AI incidentu. Další průvodce přibývají v sekci Bezpečnost AI.

Zdroje

Stav k 6. 10. 2026. Funkce a podmínky nástrojů se mění, ověřujte je u dodavatele. Článek je informativní, nejde o právní poradenství.

Časté otázky

Jaké je největší bezpečnostní riziko AI ve firmě?

U běžné firmy, která AI používá a nevyvíjí, je to únik dat přes vstupy: zaměstnanci vkládají osobní údaje, smlouvy nebo interní dokumenty do nástrojů, se kterými firma nemá smlouvu, typicky do bezplatných osobních účtů. Řeší se firemní verzí nástroje, jasným pravidlem, co se do AI nesmí vkládat, a školením.

Co je prompt injection?

Útok, při kterém vstup změní chování AI modelu nežádoucím způsobem. Přímá varianta přichází od uživatele, nepřímá ze zdroje, který AI zpracovává: webové stránky, e-mailu nebo dokumentu se skrytým pokynem. Podle OWASP není jasné, zda proti němu existuje spolehlivá ochrana, proto se dopady omezují: minimálními oprávněními, oddělením cizího obsahu a lidským schválením rizikových akcí.

Vidí Microsoft Copilot všechny firemní dokumenty?

Ne všechny, ale všechny, ke kterým má daný uživatel alespoň oprávnění ke čtení. Microsoft uvádí, že Copilot zobrazuje jen organizační data, ke kterým má uživatel alespoň právo zobrazení, a doporučuje správně nastavit oprávnění například v SharePointu. Pokud jsou dokumenty nasdílené příliš široce, Copilot je uživateli najde.

Musí firma kvůli AI řešit kybernetickou bezpečnost podle NIS2?

Jen pokud spadá pod zákon č. 264/2025 Sb. o kybernetické bezpečnosti, účinný od 1. 11. 2025. Podmínky stanoví § 4 zákona a vyhláška č. 408/2025 Sb. o regulovaných službách, podrobně v článku AI a NIS2. Ostatním firmám zákon povinnosti neukládá, opatření z tohoto článku se ale vyplatí i jim.

Začněte tím, co lidé už používají

Většina rizik z tohoto článku začíná u nástrojů, o kterých firma neví. Stáhněte si checklist bezpečnostního minima a začněte tím, že zjistíte, co lidé používají.

Stáhnout checklist (PDF) Shadow AI krok za krokem