Co vlastní používání produktu odhalí — a co před vámi naopak skryje

Vlastní produkt nemusím nikoho nutit testovat. Používám ho při skutečné práci, takže každý zbytečný krok, nepřehledná obrazovka nebo nespolehlivá funkce se mi rychle vrátí. Nemusím čekat, až někdo sepíše zpětnou vazbu. Pokud mě něco začne brzdit každý den, poznám to poměrně rychle.

Právě tahle blízkost ale vytváří i problém. Znám logiku produktu, pamatuji si důvody jednotlivých rozhodnutí a dokážu se přizpůsobit místům, která by nový uživatel považoval za nejasná. Funkci často používám proto, že vím, že existuje. Ne proto, že bych ji přirozeně objevil.

Při vývoji Zentera jsem si proto uvědomil, že vlastní používání je výborný test každodenního tření, ale slabší důkaz obecné srozumitelnosti a hodnoty. Velmi rychle odhalí, co nefunguje mně. Mnohem hůř odpoví na otázku, zda produkt pochopí a bude chtít používat také někdo jiný.

Produkt, který nemusím nikoho nutit testovat

Jednou z největších výhod vlastního produktu je, že jeho používání nemusím simulovat. Nepotřebuji scénář typu „představte si, že spravujete několik projektů a potřebujete zjistit, čemu se dnes věnovat“. Přesně tuto situaci sám zažívám. V Zenteru mám skutečné termíny, poznámky, rozpracované úkoly i věci, které několik dní odkládám.

To mění kvalitu zpětné vazby. V připraveném testu se člověk soustředí na zadaný úkol. V běžném dni produkt soupeří s e-maily, schůzkami, telefonáty, únavou a dalšími nástroji. Funkce, která je v izolovaném testu pochopitelná, může být v provozu příliš pomalá. Přehledná obrazovka z prázdného prototypu může být po naplnění reálnými daty nepoužitelná.

Vlastní používání ukáže, že kvůli časté akci otevírám příliš mnoho obrazovek, důležitá informace je uložená hluboko, návrat k rozpracované práci ztrácí kontext nebo funkce vyžaduje více nastavování, než kolik následně ušetří.

Každodenní práce zvětší drobnosti, které by jednorázový test přehlédl

Velké chyby obvykle najdeme rychle. Tlačítko nefunguje, data se neuloží nebo se obrazovka nenačte. Zajímavější jsou drobné problémy, které samostatně nepůsobí zásadně, ale vracejí se několikrát denně.

Stejný princip platil pro původního obecného AI asistenta. Technicky fungoval a dokázal vytvářet použitelné návrhy. Při běžné práci jsem ho ale téměř neotevíral, protože jsem už byl v detailu úkolu, projektu nebo ranním přehledu a neměl důvod odcházet do samostatného chatu.

Jednorázová ukázka by pravděpodobně skončila pozitivním dojmem. Každodenní používání ukázalo, že samotná schopnost funkce nestačí. Musí mít také přirozený okamžik použití.

Krátká cesta mezi problémem a úpravou je výhoda i riziko

Když mě něco v Zenteru opakovaně brzdí, mohu si situaci rozebrat, navrhnout změnu a rychle ji vyzkoušet. Pracuji v krátkém cyklu:

Právě rychlost ale svádí reagovat na každý problém novou funkcí. Chybí mi pohled, přidám ho. Potřebuji u úkolu nový údaj, doplním pole. Nevyhovuje mi jeden postup, vytvořím další. Vlastní používání tak nejen odhaluje problémy, ale zároveň produkuje velké množství nápadů na jejich řešení.

Každá nová funkce měla dobrý důvod

U každé možnosti jsem dokázal vysvětlit její přínos. Více pohledů pomůže lidem pracovat různými způsoby. Podrobnější detail uchová více kontextu. Další filtry zlepší orientaci. Více nastavení dá uživateli větší kontrolu. Jednotlivě tyto argumenty dávají smysl.

Problém vzniká, když se na funkce nepodívám samostatně, ale jako na jeden celek.

Každá funkce měla vlastní obhajobu. Složitost produktu ale nevznikala v jedné z nich. Vznikala jejich součtem.

Autor je ve funkčním maximalismu ve zvláštní pozici. Nemusí nápad obhájit před týmem ani čekat na kapacitu. Navíc přesně ví, proč každá možnost vznikla, kolik práce stála a kdy mu jednou pomohla. Odstranění proto není jen produktové rozhodnutí. Je v něm i psychologická překážka přiznat si, že odvedená práce nemusí mít dlouhodobé místo.

Flexibilita má také cenu pro uživatele. Musí zjistit, že možnost existuje, pochopit ji, rozhodnout, zda ji potřebuje, naučit se ji používat a později si vzpomenout, kde ji najde. Autor vidí nabídku možností. Nový uživatel vidí množství rozhodnutí.

Autor se produkt učí postupně. Nový uživatel ho dostane celý.

Já jsem se Zentero neučil jako nový uživatel. Každou část jsem nejdřív navrhl, postavil a opakovaně testoval. Když přidám novou funkci, učím se pouze ji. Zbytek produktu už znám.

Nový člověk při prvním otevření vidí současně pracovní prostory, projekty, úkoly, podúkoly, stavy, priority, poznámky, přílohy, připomínky, různé pohledy, AI funkce a ranní přehled. Žádná část nemusí být extrémně složitá. Jejich kombinace ale vytváří množství pojmů a rozhodnutí, které musí pochopit během několika minut.

Znám odpovědi, které nový člověk teprve hledá

Když otevřu prázdný projekt, vím, co do něj patří. Rozumím rozdílu mezi projektem, úkolem a poznámkou. Vím, že detailnější vyplnění úkolu později zlepší plánování.

Nový uživatel může řešit základní otázky: mám nejdřív vytvořit pracovní prostor, nebo projekt? Musím vyplnit prioritu? Kdy použít projektový chat? Je plán automatický? Které údaje jsou důležité a které dobrovolné? Já tyto otázky při vlastním používání nezažívám, protože odpovědi už znám.

Nemohu sám ověřit objevitelnost

Jako autor přesně vím, kde se každá funkce nachází. Když chci použít AI v detailu úkolu nebo vytvořit projekt z briefu, nehledám tlačítko. Mohu posoudit, zda funkce po spuštění dává smysl. Nedokážu ale sám zjistit, zda by ji nový člověk vůbec našel.

Vlastním používáním mohu ověřit užitek známé funkce. Nemohu jím spolehlivě ověřit její objevitelnost.

Prázdný produkt je téměř jiný produkt

Moje Zentero obsahuje projekty, termíny, historii a poznámky. Přehled dne má z čeho vybírat, projektový chat má kontext a filtry mají co filtrovat. Nový uživatel nejdřív vidí prázdné obrazovky.

Prázdný stav nemá být jen text „Zatím zde nic není“. Musí vysvětlit, co zde později bude, proč má smysl vytvořit první položku a jak rychle se člověk dostane k první hodnotě. Autor se s tímto stavem setká při testovacím účtu. Nový uživatel v něm rozhoduje, zda bude pokračovat.

Když mě funkce štve, zjistím to rychle. Její správné řešení už ne.

Pokud mě něco při skutečné práci opakovaně brzdí, začne to být nepřehlédnutelné. To ale neznamená, že přesně vím, jak problém opravit.

Mohu zjistit, že příliš často otevírám detail úkolu kvůli jediné informaci. První nápad je zobrazit ji přímo v seznamu. Pokud ale stejným způsobem vyřeším dalších pět problémů, vznikne přeplněný přehled. Alternativou může být rychlý náhled, jiné řazení, zobrazení po rozbalení nebo odstranění potřeby informaci tak často kontrolovat.

Stejně důležité je sledovat funkce, které fungují, ale přirozeně je nepoužívám. Začal jsem se ptát: otevírám funkci bez připomenutí? Používám ji i po prvotním nadšení? Dokončím díky ní práci rychleji nebo jistěji? Kdyby zítra zmizela, skutečně by mi chyběla?

Budoucí potenciál není totéž co současná hodnota. Pokud bych odstranění funkce téměř nepoznal, pravděpodobně nemá v produktu tak významné místo, jaké jsem jí jako autor přisuzoval.

AI fungovala včera. Dnes se zachovala jinak.

Nejvýrazněji mi omezení vlastního testování ukázaly AI funkce. U běžné funkce očekávám, že stejný vstup, kód a data vytvoří stejný výsledek. U jazykového modelu se může výstup měnit, i když jsem aplikaci, instrukci ani vstup nezměnil.

Jedno úspěšné spuštění nic moc nedokazuje

První povedený výsledek snadno vytvoří pocit, že je funkce hotová. Další vstup ale může vynechat část struktury, použít neznámou prioritu, vrátit příliš mnoho kroků nebo vložit text mimo očekávaná pole.

Postupně jsem proto přestal testovat otázku „dokáže AI vytvořit dobrý výsledek?“. Důležitější je, jak často dodrží očekávanou strukturu, jak velké rozdíly vznikají mezi podobnými vstupy, zda aplikace pozná nepoužitelnou odpověď a co uvidí uživatel, když část výsledku chybí.

1. 01

   Je výstup v očekávané struktuře?

2. 02

   Je rozdíl mezi podobnými vstupy přijatelný?

3. 03

   Pozná produkt neplatnou odpověď?

4. 04

   Rozumí člověk tomu, co AI změnila?

5. 05

   Lze pokračovat bezpečně i bez výsledku?

Technická funkčnost a důvěryhodnost nejsou totéž

Představme si ranní plán, který devětkrát doporučí relevantní úkoly a podesáté bez zjevného důvodu vynechá důležitou položku s blízkým termínem. Z technického pohledu může být relativně úspěšný. Uživatel si ale položí otázku, zda se na přehled může spolehnout, nebo musí pokaždé stejně projít všechny úkoly ručně.

Důvěra nevzniká tím, že produkt předstírá jistotu. Vzniká tím, že přizná hranice, vysvětlí doporučení a umožní návrh upravit nebo odmítnout.

Já dokážu nevyhovující výstup obejít

Jako autor mohu přepsat vstup, dodat kontext, funkci spustit znovu, ručně opravit návrh, zkontrolovat předávaná data nebo upravit instrukci. Pro mě je slabý výstup přechodnou nepříjemností.

Nový uživatel neví, zda zadání napsal špatně, funkce nefunguje, část změn se uložila nebo má výsledek spustit znovu. Co vnímám jako problém, který dokážu obejít, může pro něj být důvod produktu přestat důvěřovat.

Můj způsob práce není výchozí nastavení ostatních

Ne každý nevyhovující AI výstup byl objektivně chybný. Někdy model navrhl rozumný postup, který jen neodpovídal mým návykům. Mohl vytvořit více podúkolů, než považuji za praktické, nebo sloučit oblasti, které chci vést odděleně.

Jako autor mohu instrukce ladit tak dlouho, dokud AI nezačne používat můj styl názvů, můj počet kroků a způsob prioritizace. Vznikne příjemná funkce pro mě. Není ale automaticky jasné, zda bude stejně vyhovovat lidem, kteří chtějí méně detailu, jinou strukturu nebo větší volnost.

Proměnlivý výstup někdy odhalí také nejasnost v samotném produktu. Pokud nevím, zda má „optimalizace úkolu“ pouze zpřesnit název, doplnit podúkoly, navrhnout prioritu nebo rozšířit rozsah, nemohu se divit, že model tyto úlohy kombinuje.

Když se s AI opakovaně „nepohodnu“, nemusí být problém jen v modelu. Možná jsem sám přesně neurčil, jakou práci mu předávám.

Hodnota přichází až po počáteční investici

Čím kvalitněji je úkol popsaný, tím lépe s ním může Zentero pracovat. Termín, priorita, projekt, jasný výsledek a podúkoly pomohou odhadnout význam, rozsah i návaznosti. Nový uživatel ale tuto budoucí hodnotu ještě nezažil. Vidí pouze formulář s několika poli.

Podrobnost, která pomáhá mně, může být pro jiného administrativou. Úkol „Koupit obálky“ nepotřebuje podúkoly, prioritu ani očekávaný výsledek. „Připravit finální zadání redesignu zákaznické zóny“ bez dalšího kontextu pravděpodobně nestačí.

Produkt by měl cenu kvalitních dat snižovat: rozumnými výchozími hodnotami, automatickým doplňováním, možností doplnit kontext později, rozlišením jednoduchých a komplexních položek nebo vysvětlením, proč je konkrétní údaj užitečný. Kvalita dat není jen odpovědností uživatele. Je i výsledkem toho, jak snadno a smysluplně je produkt získává.

Časem se naučím vlastní problémy obcházet

Jedním z nejnebezpečnějších důsledků dlouhodobého používání vlastního produktu je vznik osobních zkratek. Pokud znám slabé místo, přizpůsobím se mu a po čase si toho ani nevšimnu.

Autor často nepoužívá produkt tak, jak byl navržen. Používá ho tak, jak se ho naučil udržet funkční.

Stejný jev vzniká u AI. Postupně se naučím psát přesnější zadání a nevědomky nahrazuji práci, kterou měl odvést produkt. Pokud funkce vyžaduje specifický styl komunikace, musí ho buď naučit uživatele, nebo potřebnou instrukci připravit sama.

Také bývám tolerantnější, protože znám důvod. Delší čekání si vysvětlím větším kontextem, nejasnou chybu interpretuji podle logu a chybějící hodnotu odhadnu podle části odpovědi. Běžný člověk tyto informace nemá. Pro něj je pomalá funkce pomalá a nejasná chyba nedůvěryhodná.

Co dokážu ověřit sám — a co už ne

Vlastní používání má velkou hodnotu. Potřebuji ale přesně vědět, na jaké otázky dokáže odpovědět. Pomáhá mi rozdělit ověřování produktu do tří vrstev.

Vlastní používání odpoví na otázku „pomáhá tento produkt mně?“. Pozorování dalších lidí ukáže, zda ho dokážou pochopit bez mého výkladu. Až čas a skutečné chování mohou částečně potvrdit, zda má dostatečnou hodnotu, aby se k němu vraceli.

Velkou hodnotu může mít i pozorování několika lidí. Malý počet účastníků nepotvrdí univerzální pravdu, ale rychle odhalí místa, která autor vůbec nevidí. Důležité je při testu příliš nevysvětlovat. Jakmile člověku řeknu, kam kliknout, co výraz znamená nebo jak má funkci „správně“ použít, přestávám testovat samotný produkt a začínám testovat produkt doplněný vlastním výkladem.

Stejně opatrně pracuji s daty. Čísla ukážou, kde lidé končí nebo ke které funkci se vracejí, ale ne vždy vysvětlí proč. Pozorování, rozhovor a dlouhodobé chování proto nejsou konkurenční metody. Každá odpovídá na jinou část otázky.

Jak se snažím vlastní zkreslení omezovat

Pohled autora nelze úplně odstranit. Ani by to nebylo žádoucí — osobní zkušenost s problémem dává produktu konkrétní směr. Mohu ale oddělovat vlastní potřeby od závěrů o ostatních.

1. 01

   Odděluji problém od prvního řešení

   „Kvůli kontrole termínu příliš často otevírám detail“ je pozorování. „Termín musí být na každé kartě“ už je návrh, který může vytvořit další komplikace.

2. 02

   Nehodnotím funkci jen při vytvoření

   Novost sama zvyšuje zájem. Vracím se k otázce, zda ji používám i po několika týdnech a zda se stala přirozenou součástí práce.

3. 03

   Vytvářím prázdné účty

   Nezastoupí skutečného nového člověka, ale odhalí nejasný první krok, obrazovky bez dat a dobu potřebnou k první hodnotě.

4. 04

   Sleduji místa, která musím vysvětlovat

   Opakované „nejdřív musíš…“ je signál, že část logiky není dostatečně viditelná v produktu.

5. 05

   U AI odděluji obsah od spolehlivosti

   Hodnotím strukturu, konzistenci, chybové stavy, možnost úpravy, bezpečnost uložení i práci nutnou ke kontrole.

6. 06

   Zaznamenávám náhradní postupy

   Pravidelné obnovení stránky nebo přepisování promptu do stejného tvaru může být neviditelnou dokumentací slabého místa.

7. 07

   Ptám se, co by se stalo, kdyby funkce zmizela

   Pokud bych si absence téměř nevšiml a nehledal náhradu, možná existuje hlavně proto, že bylo zajímavé ji vytvořit.

Vlastní používání je začátek, ne konečný důkaz

Díky každodennímu používání jsem v Zenteru odhalil problémy, které by běžný technický test neukázal. Obecný AI asistent neměl přirozené místo v práci. Některé funkce vytvářely více rozhodování, než kolik ho odstraňovaly. Výstupy jazykového modelu byly proměnlivější, než naznačovalo několik prvních pokusů.

Současně jsem pro vlastní produkt velmi neobvyklý uživatel. Znám každou funkci, rozumím terminologii, vím, které údaje vyplnit, dokážu se přizpůsobit slabinám a opravit nevyhovující AI návrh. To, že se mi podaří práci dokončit, proto nemusí znamenat, že je produkt dobře navržený. Může to znamenat také to, že znám všechny jeho zkratky.

Vlastní zkušenost dnes nevnímám jako náhradu uživatelského výzkumu, ale jako jednu z jeho vrstev. Pomáhá nacházet tření a ověřovat dlouhodobé používání. Další lidé jsou potřeba pro první orientaci, terminologii, objevitelnost a odlišné pracovní návyky. Až čas ukáže, zda se produkt stane součástí jejich práce.