Produkty Poradenství O nás Blog Kontakt English
arrow_back Zpět na blog

Cestou k temné továrně: agent plní backlog

Cestou k temné továrně: agent plní backlog

4. díl z 5 v sérii „Towards the Dark Factory“ (Cestou k temné továrně)

V plánu temné továrny Saumyi Tyagiho je backlog napojený na generování specifikací: ticket označený pro bota se stane specifikací, aniž by ho někdo přepisoval. My jsme zapojení nejdřív vedli opačným směrem. Než mohli agenti backlog zpracovávat, museli ho napsat, a ukázalo se, že většina backlogu Sestavy je výstupem procesu samého: incidenty se stávají pravidly, revieweři odkládají nálezy, hlášení ze zařízení se stávají číslovanými issues a soubor se smlouvou se každý den přepisuje z retrospektivy.

První díl říkal, že za každý řádek sekce „práce s agenty“ v CLAUDE.md se zaplatilo incidentem. Tenhle díl ukazuje mechanismus.

Pravidlo o pravidlech

Soubor se smlouvou má sekci Neustálé zlepšování, dlouhou tři věty:

Každý incident, zaseknutí, předělávka nebo pomalý krok se ještě téhož dne zapíše do aktuálního docs/workflow-retrospective-<datum>.md a stane se jednou ze tří věcí: pravidlem v tomto souboru, změnou skillu nebo issue. Záznam retrospektivy bez žádné z těch tří je nedokončený. Úzká hrdla dostanou záznam také, s optimalizací, která byla zvážena, i když nebyla přijata.

To je celý mechanismus. Retrospektiva je tabulka se čtyřmi sloupci: číslo, co se stalo, co to stálo a co z toho vzniklo. K 30. září existují tři soubory: jeden založený 26. září, který v dalších dnech narostl na 37 řádků, jeden pro 29. září s 15 a soubor 30. září, otevřený celý den, který se při merge 1. října uzavřel na 29 řádcích. Každý soubor končí sekcí Úzká hrdla, u každého hrdla se zváženou optimalizací, a krátkým seznamem Co fungovalo a nemá se měnit, což je část, kterou lidé zapomínají psát.

Řádky píší agenti, většinou koordinátor, z deníků a z textů pull requestů, a poslední sloupec každého řádku se na konci dne kontroluje: žádné pravidlo, žádná změna skillu, žádné issue znamená, že řádek není hotový. Soubor dne odchází jako pull request jen s dokumentací, jeden ze dvou druhů (jen dokumentace a jen web), které smějí cestovat samy, protože přeskakuje swiftové brány.

Jak vypadá řádek

Několik řádků, každý v jedné nebo dvou větách, s pravidlem, které z něj vzniklo. Jsou to ty, které proces utvářely nejvíc.

git add -A ve sdíleném checkoutu smetlo neverzovaný koncept plánu jiného agenta do nesouvisejícího commitu a force-push, který to měl vrátit, byl, správně, odmítnut. Pravidlo: stagovat explicitní cesty; nikdy nepřepisovat pushnutou historii; opravovat dopředu.

Dva autoři plánů ověřovali své plány buildem plných kopií repozitáře. Jeden přepsal kopii druhého a 2,5 GB kopií zaplnilo disk. Pravidlo: jeden pracovní adresář na agenta, pojmenovaný po agentovi, smazaný při dokončení; žádná kopie repozitáře mimo git worktree; žádné mutační běhy v pracovních kopiích.

Brána proběhla před posledním commitem. Lighthouse prošel lokálně na větvi blogu, následovaly tři commity a CI selhalo na SEO skóre. Pravidlo: každá brána v tabulce pull requestu proběhla po posledním commitu větve a tabulka ten commit jmenuje.

Oprava byla ověřena v buildu, který se liší od produkce, třikrát za jeden den. Smoke build blogu měl koncepty, a tedy čtvrtý odkaz v horní liště; dvouřádkové rozložení testované jen tam se dostalo na každou produkční stránku. Pravidlo: změna sdíleného rozložení nebo šablony se porovná s main v produkčním buildu, každá stránka mimo funkci shodná, nebo každý rozdíl pojmenovaný.

Issue bylo založeno z kódu a teorie dřív, než se měřilo na zařízení („telefon nevibruje“); vlastníkův test ukázal tiknutí, které je cítit v ruce, ale ne v kapse, a titulek se měnil dvakrát. Pravidlo: issue z hlášení ze zařízení uvádí, co bylo pozorováno, a příčinu označuje jako domnělou, dokud se nezměří.

Zadání řeklo implementátorovi logovat na úrovni info, a zprávy úrovně info se drží jen v paměti, takže stopa napsaná kvůli hledání zamrznutí by nepřežila násilné ukončení. Review to chytilo. Pravidlo: diagnostický log pro zamrznutí nebo pád je notice nebo vyšší.

Zadání odporovalo zrevidovanému plánu. Implementátor se řídil plánem. Pravidlo: kde se zadání a zrevidovaný plán liší, vyhrává plán a hlášení to řekne.

První konfigurace Dependabotu seskupila jen minor a patch aktualizace, takže čtyři npm major verze otevřely každá vlastní pull request, okamžitě, a čtyři selhaly na známých nekompatibilních majorech. Pravidlo: jeden seskupený pull request na ekosystém, měsíčně, majory zvedané záměrně ve vlně.

Koordinátor odporoval zamergované specifikaci (kalorie u tréninků jen s telefonem), aniž by ji četl, a vlastník se špatným doporučením souhlasil. Pravidlo: doporučení vlastníkovi, které se dotýká zamergované specifikace, cituje její sekci.

Ne každý řádek se stane pravidlem. Řádek o volbách xcodebuild držených v jedné shellové proměnné (zsh nedělí necitovanou expanzi na slova; build hned skončil s kódem 64) se stal změnou skillu: volby jdou přímo do příkazu nebo do pole. Řádek o linuxové bráně, která odmítla chown na 914 souborů jen pro čtení z checkoutu mutačního runneru, se stal issue. Řádek o přechodném selhání klasifikátoru oprávnění se stal poznámkou s připsaným „kandidát na issue pro prostředí, ne pro repozitář“, což je také povolený výsledek, pokud je zapsaný.

Smlouva jako zhuštěné retrospektivy

Účinek na CLAUDE.md je vidět v jeho historii: 38 commitů za šest dní, z 201 slov na 1 435. Sekce „Práce s agenty“ jsou retrospektivy bez příběhů. Čtenář, který chce vědět, proč je „jeden nabootovaný simulátor najednou“ pravidlem, může jít po datu k řádku a od řádku k pull requestu.

Tohle je část Tyagiho článku, ve které jsme se poznali nejvíc, a udělali ji jinak. On popisuje soubory AGENTS.md a dokumentaci s postupným odkrýváním, nápad, který připisuje článku OpenAI Harness Engineering, jako způsob, jak továrna zná své konvence. U nás je to tentýž soubor, ale má editora, a tím editorem je retrospektiva. V té sekci pravidlo, za které se nezaplatilo incidentem, není; pravidlo, za které ano, v ní je ještě téhož dne.

Skill na zakládání issues

Druhý výstup řádku je issue a issues jsou zároveň roadmap. Zakládá se přes projektový skill filing-issues, protože první dny přinesly titulky s předponou typu místo oblasti, texty, které uváděly rozhodnutí bez možnosti poznat, kdy je hotové, a odkazy na soubory z paměti, které neexistovaly. Skill napravuje tvar:

  • Před založením: vyhledat duplikát (gh issue list --search se dvěma klíčovými slovy) a místo nového issue ho okomentovat; ověřit, že každá odkazovaná cesta existuje.
  • Titulek: <oblast>: <rozkazovací věta, pod 70 znaků>, oblast jedna z core, app, studio, site, format, ops.
  • Štítky, přesně dva nebo tři: jeden typ (roadmap, bug, enhancement, documentation, nebo from-review pro nález, který review odložilo) plus jeden area:*, plus štítek fáze, když to potřebuje backendovou fázi.
  • Text, tyto nadpisy v tomto pořadí, každý na jeden až čtyři řádky: Why, What, Done when (seznam, který reviewer může odškrtat), Depends on, Links, Origin (kdo rozhodl nebo nahlásil, kdy a kde).
  • Po založení: umístit na roadmapovou nástěnku jedním skriptem, který umístění provede třemi GraphQL voláními.

Hledání duplikátů přestalo být nepovinné v den, kdy dvě session Claude zakládaly issues ve stejnou chvíli ze dvou designových handoffů, a skript na nástěnku existuje, protože první úpravy nástěnky běžely jako jedno volání gh na každé pole každé položky; dělení na slova v zsh dvě z nich rozbilo, naplánovaný opakovaný pokus nikdy neproběhl a rozpočet GraphQL jednou narazil na limit. Obojí jsou řádky v retrospektivě.

Štítek, který stojí za jméno: needs-petr. Označuje issue, které čeká na vlastníka kvůli rozhodnutí, přihlášení nebo kontrole na zařízení, s jedním řádkem pod Why, co přesně. K 30. září ho nese 18 issues. To je fronta člověka a pátý díl (30. října) je o ní.

Revieweři odkládají, neblokují

Třetí zdroj backlogu je reviewer. Verdikt review má tři stupně: vyžaduje změny, schváleno s drobnostmi, schváleno. Drobnost merge neblokuje a ani nezmizí: skill říká, že odložený nález dostane vlastní issue, pojmenované jako nález, se štítkem from-review plus oblast, s vlastními slovy review pod Why, nejmenší opravou pod What a řádkem pull requestu pod Links. Jedno issue na nález, nikdy jedno na review.

K 30. září nese from-review 25 ze 120 issues. Několik pro představu o zrnitosti: review opravy horní lišty webu odložilo tři drobné nálezy (kontrast rámečku fokusu, fokus na zužující se liště, velmi velká písmena) do issue ještě před mergem. Review opravy startu z třetího dílu nechalo v textu pull requestu dva řádky „nepokryto“, ohraničené čekání, když zahřátí zvuku visí, a tentýž vzor mimo start, a z každého vzniklo issue před mergem. Reviewer mutačního runneru si všiml, že selhání buildu počítá jako zabití, což je špatně směrem, který skóre lichotí; i to je issue. Dekodér CSV má případy bez testu; issue.

Nejde o počet. Jde o to, že schválený merge nenechá žádný nález v přepisu chatu. Všechno, co si reviewer myslel a neopravil, je na nástěnce, ve tvaru, který další agent zvedne bez téhle konverzace.

Hlášení ze zařízení se stávají číslovanými issues

Vlastníkův průchod druhým buildem z TestFlightu přinesl jednoho dopoledne za necelou hodinu deset nálezů. Založily se jako jedno issue s číslovanými nálezy, každý uvádějící, co bylo pozorováno, s hypotézami označenými jako hypotézy („zatím neotestováno: (a) aktualizace živé aktivity po Pokračovat nebo při změně kroku se zahodí, když aplikace běží na pozadí […]“). Issue pak rostlo komentáři, jak se odbavovala každá kontrola ze seznamu: pass, nebo nový číslovaný nález. Tři samostatná issues vzešla z týchž průchodů, když se nález ukázal jako vlastní bug: haptika příliš slabá na to, aby byla cítit v kapse, souhrn, který neříká, proč se trénink neuložil, a Start, který po souhrnu může zůstat mrtvý. První opravil noční běh ze třetího dílu a mrtvý Start se opravil večer 30. září; souhrn byl v době psaní ještě ve frontě.

Jeden nález na tom seznamu vedl k rozhodnutí vlastníka, pak k opravě rozhodnutí a pak k pravidlu. Rozhodnutí říkalo, že aplikace neodhaduje kalorie u tréninku jen s telefonem. Odporovalo specifikaci zamergované téhož rána, o osm hodin dřív, která zvolila odhad označený jako „Odhad“. Koordinátor doporučil, aniž by specifikaci četl, a vlastník souhlasil; oprava přišla osmnáct minut po rozhodnutí. Rozhodnutí je na issue pozastavené, nic z něj se neimplementovalo a pravidlo o citování sekce specifikace vzniklo z něj.

Kde zapojení pořád vede přes člověka

Tyagiho zapojení promění označený ticket ve specifikaci automaticky. Naše ne, a chceme být přesní v tom, kde člověk je. Roadmapové issue se stane specifikací přes brainstorming s vlastníkem a adversariální review; vlastník specifikaci schválí. Ze specifikace se napíše a zreviduje plán; vlastník plán schválí. Odtud až k pull requestu běží agenti sami a bugové issue specifikaci přeskočí a jde rovnou do nočního běhu. Automatická část je tedy střed a konec; začátek, od ticketu ke specifikaci, pořád vede přes člověka, a u produktu si myslíme, že to je správné místo, kudy má vést.

Co jsme nečekali, je, kolik backlogu si proces píše sám. Ze 120 issues jich 25 přišlo z review, slušná část z průchodů na zařízení a z retrospektiv a zbytek z designových handoffů a plánu launche. Agenti backlog jen nezpracovávají; mnoho dní ho píší víc než kdokoli jiný a soubor se smlouvou, pod kterým pracují, je usazenina toho, co napsali.

Pátý díl, poslední, 30. října: k čemu je člověk pořád potřeba, co by tady potřeboval auto-merge a sázka z prvního dílu, vyhodnocená.


Toto je 4. díl série Towards the Dark Factory. 1. díl: Z úrovně 2 na úroveň 3 za týden. 2. díl: Zeď. 3. díl: Tempo určuje agent. 5. díl: Kde ještě zůstává člověk (vyjde 30. října).

Související: Jak používáme Claude Code Skills · Lintujeme promptovou vrstvu

Titulní foto: Homa Appliances na Unsplash.

Další z blogu