- Jazykový model spolehlivě nerozliší váš pokyn od textu, který zpracovává. Pokyn schovaný v e-mailu, na webu nebo v PDF proto může změnit, co AI udělá.
- Podle OWASP není jasné, zda proti prompt injection existuje spolehlivá prevence. Řeší se dopad, ne příčina: co nejhoršího může AI udělat, když ji někdo zmanipuluje?
- U AI agenta, který sám posílá zprávy, mění data nebo volá další systémy, rozhodují tři věci: co čte, co smí a jestli nevratné akce schvaluje člověk.
- Checklist 12 otázek před nasazením AI agenta je ke stažení jako A4 PDF. Hodí se i jako seznam otázek pro dodavatele.
Co je prompt injection a proč se jí nedá úplně zabránit
Když AI asistentovi napíšete „shrň mi tenhle e-mail“, dostane dva texty: váš pokyn a e-mail. Pro model je obojí jen text. OWASP, mezinárodní komunita, jejíž seznam Top 10 pro aplikace s velkými jazykovými modely používají bezpečnostní týmy po celém světě, vede prompt injection na prvním místě (LLM01:2025) a popisuje ji jako situaci, kdy vstup změní chování nebo výstup modelu nezamýšleným způsobem. Rozlišuje dvě varianty:
- Přímá: uživatel sám napíše vstup, který obejde pravidla. Typicky někdo zkouší firemního chatbota přimět, aby prozradil interní instrukce nebo odpovídal mimo své zadání.
- Nepřímá: pokyn je schovaný v obsahu z vnějšího zdroje, který AI zpracovává. OWASP výslovně jmenuje webové stránky a soubory. V praxi jde o e-mail, PDF, životopis, pozvánku v kalendáři nebo stránku, kterou si AI otevře při hledání.
Pokyn přitom nemusí být vidět. OWASP uvádí, že vstup může být pro člověka neviditelný, stačí, že ho model přečte: bílý text na bílém pozadí, text v metadatech souboru, poznámka drobným písmem na konci dokumentu.
A teď to podstatné. OWASP k ochraně píše, že vzhledem k tomu, jak modely fungují, není jasné, zda proti prompt injection existují spolehlivé metody prevence. Opatření, která doporučuje, dopad útoku omezují, ne vylučují. Stejně to říká Microsoft u Copilotu: používá klasifikátory proti jailbreakům a nepřímé injekci a zároveň uvádí, že nemusí být k dispozici ve všech scénářích. To není kritika dodavatelů. Je to vlastnost technologie, se kterou musíte počítat při rozhodování, k čemu AI pustíte.
Asistent, nebo agent: v čem je rozdíl
Dokud AI jen odpovídá a výsledek použije člověk, je dopad prompt injection omezený: špatné shrnutí, zavádějící odpověď, v horším případě text, který vás přiměje k chybnému rozhodnutí. Pořád je mezi AI a následkem člověk.
AI agent je něco jiného. Plánuje a sám provádí kroky v dalších systémech: čte poštu a odpovídá na ni, zakládá úkoly, mění záznamy v CRM, objednává, volá další nástroje. OWASP pro ně v prosinci 2025 vydal samostatný seznam Top 10 for Agentic Applications 2026. Na prvním místě je ASI01: Agent Goal Hijack, únos cíle agenta: útočník přes podstrčený obsah změní, co agent považuje za svůj úkol, a agent pak s vašimi oprávněními udělá něco, co nikdo neschválil. OWASP přitom zdůrazňuje, že agenti nemohou spolehlivě rozlišit legitimní pokyny od obsahu, který ovládá útočník.
Tři příklady, které OWASP v tomto dokumentu uvádí, protože se opravdu staly nebo byly veřejně předvedeny:
Všimněte si společného rysu: útočník nepotřebuje prolomit heslo ani síť. Potřebuje jen, aby se jeho text dostal tam, odkud ho AI čte. Došlá pošta, veřejný web a sdílené úložiště jsou přesně taková místa.
Tři otázky, které rozhodnou, jak velké riziko máte
Než začnete řešit nastavení, položte si u každého AI nástroje tři otázky. Odpovědi určí, jak moc se o něj musíte starat:
OWASP pro to má zásadu, kterou v agentním Top 10 nazývá Least-Agency, nejmenší samostatnost: nasazovat agentní chování jen tam, kde přidává hodnotu, protože zbytečná autonomie rozšiřuje plochu útoku, aniž by cokoli přinesla. Jinými slovy, než se ptát „jak agenta zabezpečit“, zeptejte se „potřebuje tohle vůbec být agent“.
Co nastavit: pět opatření, která OWASP doporučuje
Následující opatření vycházejí z doporučení OWASP k prompt injection (LLM01:2025), k nadměrné samostatnosti (LLM06:2025 Excessive Agency) a ke zneužití nástrojů agenta (ASI02: Tool Misuse and Exploitation). Přeložil jsem je do rozhodnutí, která může udělat firma, jež AI nevyvíjí, ale nasazuje:
- Nejmenší oprávnění, nejlépe jen pro čtení. OWASP radí dát agentovi jen ty funkce, které úkol vyžaduje, a uvádí přímo příklad: asistent, který shrnuje poštu, nemá mít právo odesílat ani mazat. Napojení na databázi: čtení jedné tabulky, ne zápis do celé. Pokud dodavatel nabízí jen „plný přístup“, je to důvod k otázce, ne k odkliknutí.
- Lidské schválení nevratných akcí. OWASP požaduje potvrzení člověkem u akcí s velkým dopadem a jmenuje mazání, převody a publikování. Doporučuje také, aby agent před provedením ukázal, co se chystá udělat. V praxi: agent připraví odpověď zákazníkovi, člověk klikne na odeslat.
- Oddělení cizího obsahu. OWASP doporučuje nedůvěryhodný obsah jasně označit a omezit jeho vliv na pokyny. To je hlavně úkol pro dodavatele nástroje, ale vy se na to můžete zeptat: jak nástroj zachází s obsahem e-mailů a příloh? Je oddělený od pokynů uživatele?
- Vlastní identita agenta a práce v kontextu uživatele. Agent má mít vlastní účet nebo token s minimálním rozsahem, ne sdílené heslo správce. A akce má provádět jako konkrétní uživatel, aby platila stejná oprávnění jako pro člověka. OWASP k tomu dodává, že oprávnění se mají vymáhat v cílovém systému, ne nechat na AI, aby rozhodla, co smí.
- Logy a někdo, kdo je čte. Logování OWASP uvádí jako opatření, které útoku nezabrání, ale omezí škodu. Pro firmu to znamená: vědět, co agent udělal, kdy a na čí pokyn, a mít určeného člověka, kterému se hlásí, když agent udělá něco divného.
Checklist: 12 otázek, než AI agenta pustíte k firemním datům
Dvanáct otázek pro nasazení jakéhokoli AI nástroje, který čte cizí obsah nebo může jednat: agenta, automatizace s AI, asistenta napojeného na poštu nebo dokumenty. Stejné otázky můžete poslat dodavateli; z odpovědí poznáte, jak vážně bezpečnost bere.
Co agent čte a co může udělat
- Je sepsáno, z jakých zdrojů agent čte (pošta, web, úložiště, CRM, nahrané soubory) a které z nich obsahují obsah od lidí mimo firmu?
- Je sepsáno, jaké akce agent může provést (odeslat, změnit, smazat, sdílet, zaplatit, spustit) a ke kterým systémům má napojení?
- Je jasné, co nejhoršího se stane, když agent poslechne cizí pokyn? Pokud je odpověď „pošle data ven“ nebo „zaplatí“, platí otázky 6 a 7.
- Byla zvážena varianta bez agenta: asistent, který jen připraví návrh a člověk ho provede?
Oprávnění a schvalování
- Má agent jen nezbytná oprávnění, nejlépe jen pro čtení, a je to nastaveno v cílovém systému, ne jen v instrukcích pro AI?
- Nevratné akce (odeslání ven z firmy, platba, mazání, změna práv, publikování) schvaluje člověk dřív, než proběhnou?
- Vidí schvalující člověk před potvrzením, co přesně agent udělá (komu, co, kolik), ne jen „agent chce pokračovat“?
- Má agent vlastní účet nebo token s omezeným rozsahem, ne sdílené heslo správce? Jde zrušit jedním krokem?
Provoz a lidé
- Je zapnuté logování toho, co agent udělal, kdy a na základě čeho? Je určeno, kdo logy kontroluje?
- Vědí lidé, komu hlásit, když agent udělá něco nečekaného, a jak ho rychle vypnout?
- Je agent zapsaný v registru AI nástrojů s dodavatelem, umístěním dat a rozsahem oprávnění a je s dodavatelem zpracovatelská smlouva, pokud agent pracuje s osobními údaji?
- Vědí lidé, že doporučení agenta není ověření, a platí u plateb, změn účtů a přístupů stejná kontrola jako u požadavku od člověka?
Pokud u otázek 5, 6 a 10 odpovíte ne, agenta zatím nenasazujte. Zbytek lze dotáhnout za provozu.
Jak to vypadá v běžné firmě
- Asistent na došlou poštu. Nejčastější nasazení a zároveň učebnicový příklad: čte obsah od cizích lidí a často umí i odpovídat a přeposílat. Rozumné nastavení: čte a navrhuje, odesílá člověk. Pokud má odesílat sám, tak jen interně a s logem.
- Chatbot na webu napojený na objednávky. Zákazník může psát cokoli, včetně pokusů o přímou injekci. Pokud chatbot umí jen vyhledat stav objednávky podle čísla a e-mailu, dopad je malý. Pokud umí vracet peníze nebo měnit adresu doručení, patří k tomu lidské schválení. OWASP uvádí přesně tento případ: bot pro zákaznickou podporu, který měl číst historii objednávek, vydával i refundace, protože měl plný přístup k finančnímu rozhraní.
- Automatizace „když přijde faktura, zapiš ji a připrav platbu“. Faktura je cizí obsah. Zápis do účetnictví ať agent udělá, platební příkaz ať připraví, ale schválení platby a kontrola čísla účtu zůstává na člověku, stejně jako u podvodů s deepfake hlasem.
- Rozšíření prohlížeče s AI. Čte každou stránku, na které pracujete, včetně interních systémů, a často má oprávnění, která nikdo nečetl. Patří do schvalování nástrojů, které popisuji v článku o shadow AI.
Jak to souvisí s předpisy
AI Act firmě, která agenta jen používá, neukládá samostatnou „bezpečnostní“ povinnost. Opatření z tohoto článku ale spadají do opatření k AI gramotnosti podle čl. 4, protože lidé, kteří s agentem pracují, musí rozumět tomu, co umí a kde se plete. Poskytovatelé vysoce rizikových systémů musí podle čl. 15 zajistit odolnost proti pokusům změnit použití, vstupy nebo výkonnost systému, a prompt injection je přesně takový pokus. Pokud agent pracuje s osobními údaji, platí GDPR a únik dat přes zmanipulovaného agenta je porušením zabezpečení, které se může hlásit ÚOOÚ. Co dělat, když se to stane, je v průvodci postup při AI incidentu.
Zdroje
- OWASP: LLM01:2025 Prompt Injection (definice, přímá a nepřímá varianta, doporučená opatření, věta o neexistenci spolehlivé prevence)
- OWASP: LLM06:2025 Excessive Agency (nadměrná funkčnost, oprávnění a samostatnost; doporučená opatření)
- OWASP Top 10 for Agentic Applications 2026 (prosinec 2025; ASI01 Agent Goal Hijack, ASI02 Tool Misuse and Exploitation, ASI09 Human-Agent Trust Exploitation, zásada Least-Agency, uvedené scénáře)
- Microsoft: Data, Privacy, and Security for Microsoft 365 Copilot (klasifikátory proti jailbreakům a nepřímé injekci)
- Nařízení (EU) 2024/1689 (AI Act), čl. 4 a čl. 15 (EUR-Lex, česky)
Stav k 28. 10. 2026. Funkce a podmínky nástrojů se mění, ověřujte je u dodavatele. Stránka je informativní, nejde o právní poradenství.
Časté otázky
Co je prompt injection?
Útok, při kterém vstup změní chování AI modelu jinak, než uživatel zamýšlel. Přímá varianta přichází od uživatele, nepřímá z obsahu, který AI zpracovává: z webové stránky, e-mailu, PDF nebo životopisu se skrytým pokynem. Jazykový model spolehlivě nerozliší, co je pokyn od vás a co je jen text ke zpracování. Podrobně výše.
Dá se prompt injection spolehlivě zabránit?
Podle OWASP Top 10 pro aplikace s velkými jazykovými modely (2025) není jasné, zda proti prompt injection existují spolehlivé metody prevence. Proto se neřeší vyloučení útoku, ale omezení jeho dopadu: minimální oprávnění AI nástroje, oddělení cizího obsahu a lidské schválení akcí, které nejdou vrátit.
Jaký je rozdíl mezi AI asistentem a AI agentem?
Asistent odpovídá a výsledek použije člověk. Agent plánuje a sám provádí kroky v dalších systémech: čte poštu, zakládá úkoly, mění záznamy, odesílá zprávy. OWASP pro agenty vydal v prosinci 2025 samostatný seznam Top 10 for Agentic Applications a doporučuje zásadu nejmenší samostatnosti: nedávat AI autonomii tam, kde není potřeba.
Co nastavit, než AI agentovi dám přístup k firemním datům?
Sepsat, co agent čte, co smí udělat a s jakými oprávněními. Dávat jen nezbytná práva, nejlépe jen pro čtení. Akce, které nejdou vrátit (odeslání ven, platba, mazání, změna práv), nechat schvalovat člověkem. Zapnout logování toho, co agent udělal, a určit, kdo logy čte a komu se hlásí podezřelé chování. Dvanáct otázek výše a v checklistu ke stažení.
Než agenta pustíte k datům, projděte dvanáct otázek
Checklist si vytiskněte nebo pošlete dodavateli. Agent, který projde, patří do registru AI nástrojů.
Stáhnout checklist (PDF) Registr AI nástrojů (vzor)