Урок 1 з 4
Що і як вимірювати
Гру випустили. Засновники щоранку відкривають статистику: завантаження, відгуки, дохід. Цифр багато, і за кілька днів стає незрозуміло, на які з них дивитися. Показники потрібні для рішень. Якщо цифра ні на що не впливає, її можна не збирати.
Що вимірюють у проєкті
Більшість показників ви вже бачили в курсі:
- Строки й гроші: відхилення від розкладу і бюджету, індекси освоєного обсягу (модуль 9).
- Якість: дефекти, частка сесій без вильотів (модуль 12).
- Потік роботи: швидкість, час виконання (модулі 8 і 13).
- Зацікавлені сторони: чи задоволені засновники, гравці, партнери (модуль 5).
- Цінність для бізнесу: завантаження, дохід, рейтинг у магазинах, тобто критерії успіху зі статуту (модуль 4).
Випереджальні і запізнілі показники
Запізнілі показники кажуть, що вже сталося: скільки завантажень за місяць, скільки заробили. Їх легко рахувати, але змінити результат уже пізно.
Випереджальні показники підказують, що станеться: скільки людей додали гру в список бажань до релізу, скільки бета-тестерів повернулися в гру наступного дня. Вони менш точні, зате дають час відреагувати.
Добрий набір має і ті, і інші. Якщо до релізу в список бажань додали лише 2 тисячі людей, ціль у 50 тисяч завантажень за три місяці під загрозою. Маркетинг треба посилювати вже зараз, а не через три місяці.
Марнославні показники
Деякі цифри приємно показувати, але рішень вони не підказують. Їх називають марнославними показниками (vanity metrics). «Гру завантажили 40 тисяч разів» звучить добре. Але якщо через тиждень у неї грає лише тисяча людей, корисніше дивитися на це друге число.
Добрий показник:
- пов'язаний із ціллю: зі статуту чи цілі спринту;
- веде до дії: якщо він погіршиться, зрозуміло, що робити;
- дешевий: його можна зібрати без окремого проєкту.
Випереджальні і запізнілі показники
Одні показники підказують, що буде, інші кажуть, що вже сталося.
Бета-тест
За 2 тижні до релізу
Перший місяць
Три місяці
Додали гру в список бажань: 2 тисячі людей. Випереджальний показник.
Для 50 тисяч завантажень за три місяці це мало. Маркетинг треба посилювати вже зараз.
Ефект кобри
У модулі 13 ми згадували закон Ґудгарта: щойно показник стає ціллю, він перестає показувати те, що мав. Найвідоміша ілюстрація — ефект кобри. У колоніальному Делі влада платила винагороду за кожну вбиту кобру. Люди почали розводити кобр, щоб здавати їх за гроші. Коли програму скасували, змій випустили, і кобр стало більше, ніж до початку.
В IT-компанії це може виглядати так:
- якщо команда отримує премію за закриті тікети, частину з них можуть почати закривати з позначкою «не відтворюється», хоча баги нікуди не зникнуть;
- якщо підтримку оцінюють за коротший час розмови, оператори можуть почати швидше завершувати складні звернення, так і не розв'язавши проблему;
- якщо рекрутерів оцінюють за швидкістю закриття вакансій, вони можуть наймати поспіхом, і частина людей звільниться вже за кілька місяців.
Найчастіше це не злий умисел: люди дають те число, за яке їм платять. Захист — парні показники, що врівноважують один одного. Закриті тікети — разом із часткою повторно відкритих. Швидкість відповіді — разом з оцінкою, яку поставив клієнт. Підігнати одне число легко, а одразу два — значно складніше.
Парні показники
Одне число легко підігнати, два, що врівноважують одне одного, — значно складніше.
Закриті тікети
Частину тікетів можуть закривати з позначкою «не відтворюється», хоча баги нікуди не зникнуть.