ŽďárAI #4 — Lokální AI asistent & Observabilita RAGu

Lokální modely s vlastním harnessem

Kamil Tomšík je full-stack softwarový vývojář a spoluzakladatel startupu BoxOptima. Za 18 let v oboru pracoval pro startupy, banky, pojišťovny i menší webové projekty a vytvořil několik open source knihoven. Vedle JavaScriptu a TypeScriptu se věnuje také jazykům Zig, Rust, PHP a Java. Poslední tři roky se zaměřuje na systémové programování a machine learning. V dubnu zrušil všechna předplatná cloudových AI služeb a od té doby při vývoji používá pouze lokální jazykové modely.

Kdykoliv si spustíte agenta typu Codex nebo Claude Code, běží u vás černá skříňka, které předáváte kontrolu nad vlastním počítačem. Ukážu, jak jsem si postavil vlastního AI asistenta od nuly – a proč to celé dává smysl nechat běžet na vašem hardwaru a lokálním modelu.

Agent řekl „nevím“. Ale proč? Observabilita a evals právního RAGu v praxi

Patrik Onderka je programátor a spoluzakladatel vývojářské komunity GDG Jihlava. Má dlouholeté zkušenosti s vedením týmů a rozvojem webových i mobilních projektů. Ve společnosti Commity.cz působí jako tech lead a RAG ambassador. Mimo práci je hrdým otcem čtyř dětí, sběratelem investičních rumů, zapáleným hráčem deskových her a spolu s manželkou také chovatelem labradorských a zlatých retrívrů.

Agent tvrdil, že paragraf nemá, přestože si ho sám načetl. Testy hlásily chybu, která byla ve skutečnosti v jejich zadání. A provoz stál dvakrát víc, než naměřily evaly. Volné pokračování přednášky z AI Monday, tentokrát techničtější: co nás naučilo rozšíření agentního RAGu pro právní rešerše z DPH na daně z příjmů a proč bez trasovacích dat a evals bychom o ničem z toho nevěděli. Ukážeme si i výsledky experimentu, jestli eval nástroje od Anthropicu dokáží rešerši zlevnit a zrychlit, aniž by utrpěla kvalita.