Метрики та KPI

Метрики однієї команди на одному екрані — готові

Більшість тих, хто шукає метрики й KPI, хоче побачити набір, який працює. Ось один — кожне число, за яким стежить клієнтська команда інтернет-магазину, від key result, за яким її оцінюють, до того, що вона свідомо ігнорує. Це той самий магазин, що й на сторінках розділів «Декомпозиція» і «Процес релізу», про Product Discovery та роадмапінг. Визначення за рядком 1.1 повністю записано двома розділами нижче. Наступні розділи посилаються на рядки за номерами.

1. 1.Результат, за яким оцінюють команду, — одне число

   1. 1.1Повернення на 2-му тижні: 18% до появи «Повторити», ціль — 25% — key result 1.1 на сторінці про OKROKRObjectives and Key Results — ціль із вимірюваними результатамиМетод постановки цілей, що поєднує одну якісну ціль із двома-п’ятьма вимірюваними key results, які доводять, що її досягнуто; їх ставлять і переглядають щокварталу. Він перестає працювати, коли key results стають списком задач або оцінки впливають на оплату.Докладніше в статті →Усі терміни; читають щопонеділка, за тижневими когортами; вирішує, чи продовжується епік про повторні замовлення

2. 2.Входи, які команда може зрушити за тижні, — випереджальні показники

   1. 2.1Частка повторних замовлень, розпочатих із «Повторити» чи збереженого кошика, — випереджальний показник епіка; якщо через чотири тижні після повного розгортання вона нижча за 20%, фічу 3 не будують
   2. 2.2Медіанний час від входу до оплаченого повторного замовлення: зараз 4 хв 10 с, ціль — менше хвилини — key result 1.2; завжди читають разом із 90-м перцентилем
   3. 2.3Частка переглядів історії замовлень із натисканням «Повторити»: 14% на фальшивих дверях; стежать, як вона змінюється з розширенням розгортання

3. 3.Захисні метрики — не мають погіршитися, поки рухається 1.1; алерти, а не цілі

   1. 3.1Частка успішних оплат щонайменше 97,5% щотижня — committed key result 2.1; нижче цього жоден етап релізу не відкривається
   2. 3.2Повернення коштів — менше 2% замовлень
   3. 3.3Звернення в підтримку — не більше 6 на 100 замовлень
   4. 3.4Відписки від листів-нагадувань — менше 0,5% за розсилку — з дня, коли нагадування з’являться

4. 4.Бізнесові KPI — звітують угору щомісяця, їх рухають багато команд одразу

   1. 4.1Виручка від постійних клієнтів, за місяць
   2. 4.2Замовлень на постійного клієнта на місяць: 1,2 → 1,4 — key result 1.3 у вигляді, переписаному на 6-му тижні, зі сторінки про OKR
   3. 4.3Повторні замовлення, доставлені повністю, за тиждень — North Star компанії; дерево під нею — у розділі про одне число нагорі

5. 5.Правила, яких дотримується кожне число тут

   1. 5.1Записане визначення, власник і один збережений запит — і запит щокварталу звіряють із визначенням
   2. 5.2Кожне число називає рішення, яке воно змінює; число, що не змінює жодного, прибирають на квартальному перегляді
   3. 5.3Жодне число з цього переліку не потрапляє в оцінку роботи будь-якої людини
   4. 5.4Частки читають за когортами, тривалості — за перцентилями; ніколи не суму й не голе середнє

6. 6.Чого тут свідомо немає

   1. 6.1Загальна кількість зареєстрованих клієнтів — вона може лише зростати, тож ніколи не сигналізує про проблему
   2. 6.2Перегляди сторінок і час на сайті — повільніше оформлення замовлення підняло б обидва
   3. 6.3Виконані story pointsstory pointsвідносний розмір, не годиниОдиниця для оцінки відносного розміру задач беклогу — 8 приблизно вдвічі більше за 5, — навмисно не привʼязана до годин. Корисні для планування однієї команди й більше ні для чого: перетворені на ціль чи порівнювані між командами, вони роздуваються замість вимірювати.Докладніше в статті →Усі терміни — одиниця планування команди, а не результат

Метрика, KPI, key result, North Star — і ланцюг від входу до результату

Ці слова вживають як синоніми, і більшість суперечок про вимірювання — це двоє людей, що називають одним словом різні речі. Кожне має вужче значення, яке варто тримати окремо, і кожне відповідає одній групі хука.

Під словами лежить ланцюг. Вхід — те, що команда безпосередньо контролює цього тижня. Вихід — те, що ця робота дала. Результат — зміна поведінки чи бізнес-показника, що з цього випливла. Роберт Каплан і Девід Нортон 1992 року зробили такий самий поділ для цілих компаній: фінансові показники «повідомляють результати вже здійснених дій», тож збалансована система показників додає операційні показники — «рушії майбутніх фінансових результатів».

Пастка є з обох кінців. Вимірюйте лише входи — отримаєте зайняту команду без доказів, що це важливо. Вимірюйте лише результат — отримаєте число, що рухається з причин, які нікому не приписати: маркетингові витрати, сезон, збій у конкурента, — і команду, яка не знає, чи допомогла її робота. Саме тому в хуку один результат у групі 1 і три входи в групі 2.

Те саме розрізнення часто описують як випереджальні й запізнілі показники. Запізнілий каже, що вже сталося, — виручка, відтік, річне утримання, — точно й надто пізно, щоб діяти. Випереджальний рухається раніше й передбачає це неточно: рядок 2.1 рухається в перший тиждень розгортання, рядку 1.1 потрібен квартал. Керуєте ви за випереджальними, а судять вас за запізнілими, і вся складність у тому, що зв’язок між ними — гіпотеза, яку доводиться постійно перевіряти. Тому 2.1 має поріг: нижче 20% гіпотезу вважають хибною, і фічу 3 не будують.

Запишіть визначення раніше за дашборд

Назва метрики — не її визначення. «Повернення на 2-му тижні» звучить точно, але приховує щонайменше шість рішень: хто вважається постійним клієнтом, що вважається візитом, який тиждень другий, кого не рахують, звідки беруться дані і коли число за тиждень остаточне. Рядок 5.1 робить кожне з них явним. Ось рядок 1.1, записаний повністю, як команда тримає його поруч із запитом.

Записати визначення — половина рядка 5.1. Друга половина — перевірити, що запит рахує те, що каже визначення, бо вони тихо розходяться: з’єднання таблиць, що губить замовлення гостей, фільтр, доданий для одного звіту й не прибраний, часовий пояс, що переносить вечір неділі в понеділок. Раз на квартал аналітик рахує когорту одного тижня вручну й порівнює із запитом. Це забирає пів дня. Кейс Facebook нижче показує, як виглядають два роки без цих пів дня.

Закон Гудхарта — і для чого захисна метрика

Чарлз Гудхарт, економіст Банку Англії, сформулював оригінал 1975 року щодо монетарних цілей: «Будь-яка спостережувана статистична закономірність має тенденцію руйнуватися, щойно на неї тиснуть із метою контролю». Версія, яку цитують усі, належить антропологині Мерилін Стретерн, 1997 рік: «Коли міра стає ціллю, вона перестає бути доброю мірою». Дональд Кемпбелл дійшов того ж щодо соціальних програм — у формі, яку згодом назвали законом Кемпбелла: «Що більше будь-який кількісний соціальний показник використовують для ухвалення соціальних рішень, то більше він піддається тиску спотворення і то більше схильний спотворювати й псувати соціальні процеси, які мав би відстежувати».

Це не цинізм щодо людей, а арифметика. Будь-яка метрика — замінник того, що не можна виміряти напряму, і досить наполеглива оптимізація завжди знаходить розрив між замінником і справжньою річчю. Назва статті Стівена Керра 1975 року каже це кількома словами: «Про безглуздя винагороджувати A, сподіваючись на B». Практичний захист — права колонка нижче: захисна метрика, обрана як те, що зламається, якщо ціль почнуть накручувати.

Варто уточнити, хто саме накручує, бо закон зазвичай пояснюють так, ніби він про нечесних людей. Більшість спотворень метрик роблять сумлінні люди, ухвалюючи локально розумні рішення: агент підтримки закриває звернення, бо таймер черги почервонів; інженер ділить зміну, бо за тижневою кількістю деплоїв стежать. Поведінка йде за вимірюванням незалежно від чиїхось намірів. Кейс VA нижче — крайній вияв того самого механізму, і саме через нього рядок 5.3 тримає кожне число з переліку подалі від оцінок роботи людей.

Одне число нагорі — і дерево під ним

Одна метрика на всю компанію справді корисна для узгодження й справді небезпечна наодинці. North Star Playbook від Amplitude вимагає, щоб вона відображала «цінність, яку користувачі отримують від продукту», і була «випереджальним показником виручки»: заброньовані ночі, а не виконані пошуки; прочитані повідомлення, а не надіслані. Для магазину це рядок 4.3 — повторні замовлення, доставлені повністю, за тиждень, а не оформлені замовлення, бо замовлення, що приїхало напівпорожнім, не є цінністю.

Вона провалюється, коли команда трьома рівнями нижче не може на неї вплинути: тоді це вже не ціль, а погода. Джон Катлер сформулював перевірку навпаки: «Якщо ви можете зрушити свою North Star напряму, це, мабуть, погана North Star». Виправлення — дерево під нею. Розкладіть число на множники, з яких воно складається, і дайте кожній команді той множник, який вона може зрушити.

Дерево магазину має чотири множники: постійні клієнти, які заходять протягом тижня, — близько 3000; частка цих візитів, що починають замовлення, — 62%; частка розпочатих замовлень, які оплачено, — 96,8%; і частка оплачених замовлень, доставлених повністю, — 95%. Перемножені, вони дають приблизно 1710 повторних замовлень на тиждень. Клієнтська команда володіє першими двома — саме там 1.1 і група 2. Команда оплат володіє третім — committed key result 2.1 — це те саме число з їхнього боку, — а склад і доставка — четвертим. Компанія зберігає одне число; кожна команда отримує те, що може змінити до п’ятниці.

HEART і AARRR — чеклісти для пошуку кандидатів

Два фреймворки допомагають узагалі знайти числа. HEART походить від Керрі Родден, Гіларі Гатчинсон і Сінь Фу з Google (CHI 2010): Happiness, Engagement, Adoption, Retention, Task success, і робота йде за процесом, який вони називають «Цілі — сигнали — метрики»: запишіть ціль, назвіть поведінку користувача, яка її сигналізувала б, і лише тоді оберіть число. AARRR — це «Startup Metrics for Pirates» Дейва Маклюра (2007): Acquisition, Activation, Retention, Referral, Revenue — етапи життя клієнта, щоб побачити, який із них протікає, перш ніж оптимізувати не той. Застосований до «Повторити», HEART лягає майже точно на хук.

Обидва — чеклісти для пошуку кандидатів, а не набори для повного впровадження. Команда, що відстежує всі п’ять вимірів HEART для кожної фічі, складає звіт, а не керує, — рядок Happiness вище свідомо порожній, за рядком 5.2. Оберіть один-два, які змінили б рішення, а решту відпустіть.

Як читати число, не обманюючи себе

Більшість поганих рішень за метриками спричинена не хибною метрикою, а правильною метрикою, прочитаною неправильно, і чотири звички — рядок 5.4 і правила для експериментів — запобігають майже всьому цьому.

Когорти, а не зрізи

Зріз змішує тих, хто прийшов учора, з тими, хто прийшов три роки тому, тож зміна складу виглядає як зміна поведінки. Когорта групує клієнтів за часом приходу й стежить за цією групою з часом, відділяючи «продукт став кращим» від «ми залучили інших людей». Саме тому рядок 1.1 читають за тижневими когортами. Число утримання без когорти за ним зазвичай відображає маркетинг минулого місяця, а не продукт цього.

Крива утримання — найінформативніший графік, який може намалювати більшість продуктів. Важливо не те, звідки вона починається, а чи вона вирівнюється. Крива, що виходить на поличку на 30%, означає, що третина тих, хто прийшов, справді користується продуктом і далі, і зростання накопичується на цій підлозі. Крива, що й далі сповзає до нуля, означає, що кожен новий клієнт зрештою йде, і жодне залучення цього не виправить — ви лише швидше наповнюєте відро з діркою. Дві криві на графіку майже однакові перші два тижні — саме тому число першого тижня не може їх розрізнити.

Перцентилі, а не середнє

Середні ховають усе цікаве. Середній час оформлення в 70 секунд може означати, що всі чекають 70 секунд, або що дев’ять клієнтів із десяти витрачають 40 секунд, а один — понад п’ять хвилин, бо його заплутав екран зі зміненими цінами, — і проблемою є лише другий варіант, і лише він пояснює звернення в підтримку. Тому рядок 2.2 — медіана з 90-м перцентилем поруч. Для всього, чого клієнт чекає, хвіст і є тим досвідом, про який говорять.

Сегменти — раніше за будь-яку суму

Сума може вказувати в протилежний бік від кожної своєї частини. Восени 1973 року Каліфорнійський університет у Берклі прийняв до аспірантури 44% із 8442 чоловіків, що подали заяви, і 35% із 4321 жінки. Пітер Бікел, Юджин Геммел і Дж. В. О’Коннелл розібрали дані по кафедрах (Science, 1975) і назвали загальну картину «чіткою, але оманливою картиною упередженості проти жінок-вступниць». Жінки частіше подавалися на ті кафедри, що приймали найменше вступників обох статей. Правильно зведені, дані показали «невелику, але статистично значущу упередженість на користь жінок».

Магазин стикається з тим самим ефектом щоразу, коли змінюється склад. Коли знижка маркетингу на перше замовлення подвоїла замовлення нових клієнтів, частка замовлень від постійних клієнтів упала, хоча кожен постійний клієнт купував більше, — і тому key result 1.3 довелося переписати як 4.2. Спершу сегментуйте, потім усереднюйте всередині сегмента — і ніколи навпаки.

Що каже і чого не каже результат A/B-тесту

Два правила запобігають більшості шкоди. Перше: визначте розмір вибірки й тривалість до старту й не дивіться на результат, щоб вирішити, коли зупинитися. Еван Міллер 2010 року показав ціну: тест, який перевіряють після кожного спостереження, до 150, і зупиняють на першому «значущому» результаті, знаходить ефект, якого немає, у 26,1% випадків замість 5%. Рамеш Джохарі зі Стенфорда з колегами з Optimizely 2017 року опублікували формальний розбір — із p-значеннями, що лишаються коректними, хоч як часто ви дивитеся. Друге: проганяйте щонайменше повний тиждень, щоб у вибірці були і будні, і вихідні.

«Незначущий» результат — не результат «різниці немає». Він означає, що цей тест не зміг відрізнити ефект від шуму, — очікуваний наслідок, коли ефект малий, вибірка скромна або і те й інше. Чесне прочитання — «ми все ще не знаємо», і рішення тоді спирається на судження, ціну й зворотність, як і до тесту. Рон Кохаві, Даян Тан і Я Сюй у «Trustworthy Online Controlled Experiments» (2020) додають звичку, яку варто зберегти, — закон Твімена: будь-яке число, що виглядає цікавим чи незвичним, найімовірніше хибне. Перш ніж святкувати, перевірте, що групи мають розміри, які обіцяв поділ; невідповідність співвідношення вибірок (sample ratio mismatch) означає, що зламаний сам експеримент.

Чотири числа, що ввели в оману своїх власників

Кожен кейс нижче — число, яке казало не те, що здавалося, і кожен прив’язано до рядка хука, який би це помітив.

Facebook — визначення, якого запит не дотримувався

Facebook визначала для рекламодавців метрику «середня тривалість перегляду відео» як загальний час перегляду, поділений на загальну кількість людей, що запустили відео. Насправді розрахунок ділив лише на тих, хто дивився три секунди або більше. Усі, хто прогорнув швидше ніж за три секунди, зникали зі знаменника, тож середнє виходило довшим. У вересні 2016 року Facebook визнала помилку на своїх довідкових сторінках і замінила метрику; за повідомленнями, завищення становило 60–80% упродовж приблизно двох років. Facebook заявила, що на білінг це не вплинуло. Визначення було записане. Бракувало другої половини рядка 5.1 — когось, хто порахував би вибірку вручну й порівняв.

YouTube — замінник, замінений двічі

Власна розповідь YouTube, яку у вересні 2021 року виклав віцепрезидент з інженерії Крістос Гудроу, — це закон Гудхарта, розказаний компанією, з якою він стався. Рекомендації спершу спиралися на кліки — з міркування, що «ви б не клацнули на те, чого не хочете дивитися». А тоді, словами Гудроу, «ще 2011 року ми з’ясували, що клік на відео не означає, що ви його справді подивилися»: мініатюра, що обіцяла найкращі моменти матчу, могла вести до людини, яка у своїй спальні розповідає про матч. У березні 2012 року рекомендовані відео перейшли на час перегляду, а 12 жовтня 2012 року за ними пішов пошук — «щоб винагороджувати захопливі відео, які утримують глядачів». Гудроу: «Коли ми вперше включили час перегляду в рекомендації, ми побачили миттєве падіння переглядів на 20%». Час перегляду теж можна накрутити — не весь він є часом, якому люди раді, — тож YouTube додав «цінний час перегляду», який вимірюють опитуваннями з оцінкою відео від однієї до п’яти зірок.

Дві речі роблять це зразковим кейсом, а не провалом. Компанія прийняла падіння свого головного числа, щоб виправити замінник, і продовжувала перевизначати метрику, щойно розрив з’являвся знову. Це рядок 5.2 у масштабі цілої компанії: число переглядають на предмет того, чи воно досі означає те, заради чого його обрали.

Phoenix VA — ціль у контракті на оцінку роботи

Міністерство у справах ветеранів США мало ціль приймати пацієнтів протягом 14 днів, і вона була в контрактах працівників на оцінку роботи. Звіт генерального інспектора щодо системи охорони здоров’я ветеранів у Фініксі, опублікований 26 серпня 2014 року, виявив близько 1400 ветеранів в офіційному електронному списку очікування і понад 3500 інших, що чекали запису, — багато хто з них у неофіційних списках, яких число, що вимірювалося, ніколи не бачило. Із 79 опитаних працівників реєстратури тридцятеро сказали, що ставили неправильну бажану дату, «через що прийоми показували хибне очікування в 0 днів», а одинадцятеро — що «виправляли» або отримували вказівку «виправити» записи з очікуванням понад 14 днів. Заявлені директором покращення доступу були, словами звіту, «неточними або непідтвердженими».

Як ціль 14 днів не мала жодної вади. Вона зламалася як число, за яке людям платили і яке вимірювали ті самі люди, яким платили. Після проміжного звіту в травні 2014 року виконувач обов’язків міністра прибрав 14-денну ціль запису з контрактів працівників на оцінку роботи. Рядок 5.3 — це те саме рішення, ухвалене до того, як хтось постраждав, а не після.

Берклі — сума і її частини

Цифри Берклі з розділу про читання — четвертий кейс і єдиний без лиходія. Ніхто нічого не накручував і ніхто не помилився в підрахунку. Загальне число було арифметично правильним і вказувало не туди, бо розподіл заяв між кафедрами різнився за статтю. Це найчистіша демонстрація того, що правильне число, прочитане як сума, однаково може бути хибним доказом, і саме тому рядок 5.4 вимагає сегментів раніше за будь-яку суму.

Де це вироджується — і чого число не може сказати

Метрика заслуговує на місце тим, що змінює рішення. Перевірка пряма: для кожного числа на дашборді назвіть рішення, яке пішло б інакше, якби воно змінилося на 20%. Більшість дашбордів утрачає на цьому питанні дві третини вмісту, і команді від цього лише краще: стіна чисел, за якими ніхто нічого не робить, привчає ігнорувати й ті, що важливі.

• Метрики марнославства — суми, що лише зростають і тому ніколи не сигналізують про проблему.
• Ціль без захисної метрики — відкрите запрошення її накрутити.
• Захисна метрика, перетворена на другу ціль і так само накручена.
• Визначення, якого ніхто не записав, — дві команди сперечаються про тренд у двох різних числах.
• Записане визначення й запит, якого з ним ніколи не звіряють.
• Зрізи замість когорт — зміну того, хто прийшов, читають як зміну продукту.
• Середні, що ховають розподіл: медіана й 90-й перцентиль розповідають різні історії.
• Зупинка A/B-тесту, щойно він виглядає добре, — це виготовлення перемог із шуму.
• Метрики, прив’язані до оплати чи оцінки окремих людей, — псують число за один цикл оцінювання.

Коли це застосовувати

Пов’язані сторінки

• МенеджментOKROKR (Objectives and Key Results) — це метод постановки цілей, що поєднує одну якісну ціль із двома-п’ятьма вимірюваними результатами, які доводять, що її досягнуто. Він прийшов з Intel 1970-х і дістався Google 1999 року, і працює лише тоді, коли key results вимірюють наслідки, а не задачі, коли committed і aspirational цілі оцінюють за різними правилами і коли оцінки не впливають на оплату. Сторінка починається з готових OKR однієї команди на квартал; далі — що насправді написали Ґроув, Дорр і Google, outcome і захисні метрики, як рахують оцінку, узгодження й тижневий цикл, OKR поруч із KPI та оплатою, чотири кейси і де все це вироджується.
• МенеджментProduct DiscoveryProduct discovery — це безперервна робота з вирішення, що варто будувати, через перевірку ідей на реальних клієнтах до того, як на них витрачено інженерний час. Це не фаза перед розробкою і не збір вимог: команда щотижня говорить із клієнтами й розкладає почуте як можливості, щоб рішення конкурували, а не приходили вже ухваленими. Сторінка починається з одного готового кварталу discovery; далі — discovery поруч із delivery, дерево можливостей і рішень, інтерв’ю, чотири ризики й карта припущень, перевірки від найдешевшої до найдорожчої, п’ять продуктів і перевірка, яка обійшлася б дешевше, та де практика вироджується.
• МенеджментРоадмапінгРоадмапінг — це робота з вирішення й донесення того, куди рухається продукт, у якому порядку й чому, із зобов’язаннями щодо результатів і дуже небагатьох дат. Складне тут не намалювати таймлайн, а відмовитися обіцяти фічі за датами саме тоді, коли команда найменше знає, чи вони спрацюють. Сторінка починається з готового роадмапу однієї команди; далі — що таке роадмап і два способи, якими датований роадмап помиляється, Now/Next/Later, три читачі й три версії, чотири способи впорядкувати пункти, дати після discovery, дві публічні обіцянки й дві команди, що змінили формат, і де все це вироджується.