Blog · AI nástroje · 6 min čtení

Kontextové okno a tokeny: proč AI zapomíná a jak šetřit

Kontextové okno je to, co AI v jednom chatu právě vidí, a tokeny jsou jednotky, ve kterých se počítá text i cena. Když se okno zaplní, AI začne zapomínat, a když pálíš tokeny, dojde ti limit. Sepsal jsem, co s tím dělám já a co jsme řešili v létě s lidmi z programu.

Letos v červenci mi za jednu noc z neděle na pondělí došlo celé předplatné za 200 dolarů. Nechal jsem agenta připravit zhruba 15 personalizovaných návodů pro účastníky programu a každý z nich prošel několika koly kontroly: čeština, kvalita a nakonec vizuální průchod. Běželo to na nejnáročnějším nastavení a s rychlým režimem, protože jsem ho zapomněl vypnout. Nástroje, které mi jinak tokeny šetří, mi tentokrát nepomohly.

V Vibe Coding Summer jsme řešili dvě věci, které spolu souvisejí a lidé si je pletou. Jedna je, proč AI uprostřed práce zapomene pravidla domluvená na začátku chatu. Druhá je, proč ti ve středu napíše, že máš vyčerpaný týdenní limit.

Kontextové okno a tokeny v AI

Tokeny jsou kousky textu, se kterými model pracuje. Krátké slovo může být jeden token, dlouhé slovo nebo kus kódu jich má víc. Podle tokenů se počítá, kolik textu model přečte a kolik napíše, a podle nich se ti odečítá i limit předplatného.

Kontextové okno je všechno, co má model v jednom chatu nebo jedné session k dispozici: tvoje zprávy, jeho odpovědi, nahrané soubory, a když pracuješ s agentem, taky všechno, co si přečetl na disku a co mu vrátil terminál. Okno má pevnou velikost. Co se do něj nevejde, model nevidí.

Proč AI při dlouhém chatu zapomíná

Dlouhá konverzace je zrádná, protože dlouho funguje dobře. Agent si načte přepis, udělá z něj poznámky a z poznámek e-mail, a ty nemusíš nic vysvětlovat znovu. Když se ale okno zaplní, model některé věci zapomene nebo je přestane vidět. Kolega na bonusové lekci o Claude Code a Codexu proto doporučoval stav okna průběžně sledovat.

Přesnější zadání na začátku tohle nevyřeší. Pomáhá dělit práci na menší kusy, kontrolovat je průběžně a hotové části držet odděleně v samostatných souborech.

Plné kontextové okno

Claude Code ukazuje zaplnění okna kolečkem přímo v rozhraní a podobný ukazatel si můžeš zapnout i v Codexu. Agent umí kontext sám shrnout, jenže při tom může vypadnout detail, na kterém ti záleží. Když vidíš, že se okno plní, máš dvě možnosti: nechat agenta shrnout dosavadní práci, nebo založit nový chat.

Já většinou zakládám nový. Předtím si nechám zapsat, kde práce stojí, do souboru, který si další chat přečte. Funguje to i mezi nástroji: Claude Code a Codex si paměť chatu nepředávají, oba ale vidí stejné soubory na disku. V Codexu si navíc můžeš zkopírovat ID session a vrátit se k ní.

Vyzkoušej

Funguje v Claude, ChatGPT i Copilotu. V Claude Code nebo Codexu nech výstup rovnou uložit do souboru.

Prompt
Tenhle chat je dlouhý a chci pokračovat v novém. Sepiš mi předání na jednu stránku: co je cílem práce, co je hotové, která rozhodnutí platí, co jsme zkusili a nefungovalo, a co je další krok. Nepiš nic, co v chatu nezaznělo. Na konec přidej první zprávu, kterou vložím do nového chatu.

Spotřeba tokenů a limity předplatného

Limit předplatného se počítá jinak než kontextové okno, a to v několika časových oknech zároveň. V den, kdy to kolega na lekci ukazoval, viděl v Usage zhruba čtyř- až pětihodinové okno, týdenní limit a u vyššího plánu ještě samostatný limit jednoho modelu. Dnes Claude Code i Codex počítají pětihodinové okno a týdenní limit, u nejvyšších plánů pětihodinové okno odpadá. Čísla se mění s každou verzí služby, takže víc než zapamatovat si je pomůže občas se do Usage podívat.

Nejvíc spotřebu ovlivňují tři nastavení: jaký model používáš, jak intenzivně nad úkolem přemýšlí a jestli máš zapnutý rychlý režim. V létě mi rychlý režim čerpal tokeny zhruba 1,5 až 2krát rychleji. Dnes OpenAI u Codexu uvádí, že rychlý režim bere z limitu předplatného 2,5krát víc, a v Claude Code se rychlý režim platí zvlášť z kreditů mimo předplatné. Nejvyšší úsilí (v Codexu Ultra, v Claude Code max) se vyplatí na velké a důležité úkoly s hodně soubory a daty, kde nevadí delší čekání. Na rychlou odpověď stačí nižší.

Pak přicházejí věci kolem modelu: agent hledá soubory, čte dlouhé logy z terminálu, píše dlouhé komentáře a někdy postaví víc, než úkol potřeboval. Když stačí strukturovaný text, je jednodušší Markdown. Word nebo PowerPoint agent vytvoří taky, jen k tomu může potřebovat další knihovny.

Spotřeba rozhodla i o našich nástrojích. V Aibility jsme dlouho pracovali v Cursoru, ale předplatné za 200 dolarů jsme při naší spotřebě dokázali vyčerpat za den až dva. Přešli jsme na Claude Code a Codex, protože za stejné peníze dostaneme víc tokenů. Kdybychom nespotřebovávali tolik, asi bychom zůstali.

Jak šetřit tokeny v Claude Code a Codexu

Když narážíš na limity, nejdřív zkontroluj model, úsilí a rychlý režim. Pluginy na šetření přidávej až potom, protože drahé nastavení žádný z nich nevyváží. Tu noc s návody jsem měl RTK i Caveman zapnuté a stejně nestačily.

Na lekcích zazněly čtyři nástroje a každý šetří jinde:

  • RTK filtruje výpisy z terminálu dřív, než se dostanou do kontextu, takže agent čte jen podstatné řádky.
  • Headroom zmenšuje širší vstup: soubory, logy a historii.
  • Caveman zkracuje komunikaci agenta, ale kód, příkazy a chybové hlášky nechává přesné.
  • Ponytail vede agenta k menšímu řešení, které ještě funguje.

RTK a Caveman používám od chvíle, kdy jsem je nainstaloval. Pokles kvality jsem nezaznamenal, a když nejedu na nejvyšším úsilí s rychlým režimem, na limity skoro nenarážím. Headroom znám jen z popisu a Ponytail sám nepoužívám, i když mi hodně lidí psalo, že je skvělý.

Jazyk promptu řeším málo. Velké zadání píšu anglicky, ale ze zvyku, ne kvůli úspoře, kterou bych si změřil.

Tokeny můžeš spálit i automatizací. Jednu agentní wiki nad repozitáři jsme regenerovali při každé změně kódu, a protože jsme jich dělali desítky denně, stály nás čtyři dny provozu 390 dolarů. Teď běží jednou v pátek večer a pořád stačí.

Paměť mimo chat

Dlouhá historie chatu není spolehlivá paměť projektu. Po každé pracovní session proto spouštím uložený příkaz „build log“. Agent shrne, co se změnilo, které soubory upravil a proč, a zapíše to do jednoho Markdown souboru. Když se k projektu vrátím, nový chat načte jen ten soubor místo celé historie.

Jeden kolega chtěl jít dál: aby Claude viděl jen poslední zprávu a všechno ostatní si bral z vlastního logu. To jsem netestoval. Sám kombinuju obojí, historii aktuální session a build log, a když se kontext natáhne, začnu novou session.

Kdo si to chce zkusit na vlastní práci, má v knihovně 15minutový AI Workout Šetři tokeny, který přesune práci z dlouhého chatu do nového. Na předání rozdělané práce je Předání rozdělané práce a na průběžný deník projektu Založ si worklog.

Vyzkoušej na své práci

Připrav handoff: předání rozdělané práce

AI Workout, 15 minut, předání, podle kterého nový chat naváže

Založ si worklog: deník projektu

AI Workout, 15 minut, deník projektu, ze kterého nový chat naváže

Často se ptáte

Co je kontextové okno?

Všechno, co model v jednom chatu nebo session vidí: zprávy, odpovědi, soubory a výstupy nástrojů. Má pevnou velikost, a co se do něj nevejde, model přestane brát v úvahu.

Co je token v AI?

Kousek textu, se kterým model pracuje. Podle tokenů se počítá, kolik model přečte a napíše, a tím i spotřeba tvého předplatného.

Proč ChatGPT nebo Claude zapomíná v dlouhém chatu?

Protože se zaplnilo kontextové okno nebo ho agent shrnul a detail vypadl. Pomůže rozdělit práci na menší kusy, hotové části držet v souborech a dlouhý chat vyměnit za nový s krátkým předáním.

Co dělat, když se kontextové okno v Claude Code zaplní?

Sleduj kolečko se zaplněním. Když se blíží k maximu, nech agenta zapsat stav práce do souboru a pokračuj v novém chatu, nebo ho nech dosavadní práci shrnout.

Jak šetřit tokeny v Claude Code?

Nejdřív zkontroluj model, úsilí a rychlý režim. Pak pomůžou nástroje jako RTK na výpisy z terminálu a Caveman na délku odpovědí.

Sdílí Claude Code a Codex kontext?

Paměť chatu ne. Oba ale pracují se stejnými soubory na disku, takže když stav práce zapíšeš do souboru, druhý nástroj na něj naváže.

Newsletter

Nechcete nic zmeškat?

Jednou za dva týdny posíláme souhrn toho nejlepšího z AI světa. Žádný spam, jen věci, které stojí za přečtení.

Superpowered Professional

Zjistěte, jak s AI pracujete

Krátký test AI dovedností trvá asi 2 minuty. Je zdarma a výsledek máte hned.