Показатели могут меняться в зависимости от технологий, используемых в проекте, и вашей бизнес-стратегии. Ее построение включает в себя определение целей, аудит ресурсов и анализ процессов, требующих IT-решений. Универсального набора метрик для каждого бизнеса нет. Каждая компания определяет набор показателей сама, что позволяет рассмотреть эффективность внедрения IT-стратегии индивидуально.
Метрики производительности IT-инфраструктуры
- Время отклика системы (Response time). Метрика говорит о скорости, с которой прогружается действие: как быстро загрузилась страница или сработала кнопка. Средний показатель — до 2 секунд. Однако «значительность» метрики может отличаться в зависимости от деятельности компании. Выгрузка статистики может подождать, а вот отклик в приложении для торговли на бирже должен быть мгновенным. Влияет и тип устройства, с которого совершается действие. Советую обратить внимание на время отклика системы при работе в мобильной версии сайта. Юзеры все чаще используют телефонные гаджеты, чтобы просматривать лендинги. Поэтому оптимизируем метрику по принципу mobile-first. Еще RT влияет на ранжирование страниц в поисковике: чем быстрее, тем выше. Учитывайте при оптимизации сайта или лендинга.
- Время бесперебойной работы сервера (Server Uptime). Отображает, сколько времени в месяц система простаивает. Особенно важна для крупных B2B-клиентов, может быть прописана в договоре. Такой клиент в заказной разработке платит много, поэтому хочет, чтобы все работало исправно и без перебоев. Простой на один час — остановка работы 1000 людей. Например, при работе над браузерной игрой «Дозоры» я сталкивался с условием, что Server Uptime должен измеряться в минутах. Это не самый жесткий показатель. В FinTech секторе или продукте массового производства дело пойдет на секунды. Однако далеко не каждый бизнес учитывает метрику, а зря. Стартапам и малым предпринимателям перебои в работе сервиса грозят с точки зрения лояльность первых клиентов.
Оценка эффективности разработки ПО
- Количество выявленных и исправленных ошибок (Bug Count). Учесть все возможные исходы и избавиться от всех багов невозможно. Придет новый клиент с другими данными, у которого «все сломается». Однако это не повод пренебрегать UX и обратной связью пользователей, если не хотите потерять не только постоянников, но и потенциальных клиентов. Один из багов может оказаться простой опечаткой, а другой — заблокирует всю систему. Чем больше у продукта клиентов, тем больше человек «тестируют» систему. Следовательно, тем больше отыскивается багов. Мы в AppEvent количество багов не измеряем, но определяем важные как хот-задачи — берем их в работу мгновенно. Помимо этого чтобы оптимизировать выявление багов, проводим митапы между отделом разработки и технической поддержки. Над выявлением багов трудятся именно эти два отдела. Они должны понимать друг друга и знать систему особенно хорошо.
- Среднее время на исправление ошибки (Average Time To Fix Bugs). По хотам в нашей компании проставлен дедлайн в 24 часа. Конечно, если метрика зависит от нас. Бывают проблемы в логике или серверной инфраструктуре. К примеру, если оборван магистральный канал интернета, мы никак не повлияем на проблему. Столкнулись с таким кейсом год назад, когда около Москвы при строительных работах перерубили кабель. Перебои были у половины России, в том числе и у наших клиентов. По хотам, которые зависят от нас, назначен ответственный разработчик. Его временные показатели при устранении ошибки – постоянно фиксируемый тайминг. Там следим за эффективностью отдельных сотрудников.
Метрики безопасности
- Количество инцидентов безопасности (Security Incident Count). С помощью этой метрики отслеживают количество зарегистрированных инцидентов безопасности за определенный период (неделю, месяц, год). Виды инцидентов включают взлом и утечки данных, вирусы и вредоносное ПО, фишинг, внутренние угрозы. Сюда можно отнести и деятельность «белых хакеров». Мы в AppEvent сталкивались с ними несколько раз. Никаких критических «пробоин» в нашей безопасности они не нашли, поэтому мы не платили им за информацию. Постоянное измерение метрики повышает осведомленность сотрудников и управленческого состава об уровне безопасности системы. Если показатель низкий, нужно усиливать кибербезопасность компании. В нашем случае актуальная метрика, так как мы относимся к B2B-сегменту. Нам особенно важна лояльность пользователя, его уверенность в безопасности системы, ведь нам доверяют свой бизнес и доход.
- Время на устранение уязвимостей (Time To Mitigate Vulnerabilities). Метрика показывает временной интервал, за который техническая команда зарегистрировала инцидент и смягчила или устранила его. Даже ничего не ломая, хакерские атаки снижают производительность серверов. Поэтому чем меньше времени уходит на устранение уязвимостей, тем лучше. Введение такой метрики снижает время реагирования на проблему, мотивирует сотрудников искать решение быстрее. Мы в AppEvent установили максимальный интервал, как для хотов — 24 часа. Принцип как с устранением багов. Каждый разработчик фиксирует, за какой тайминг он справился с уязвимостью и описывает ее природу. Такая информация пригодится компании, чтобы улучшить вычислительную мощность и оптимизировать работу. По нашему опыту после таких апдейтов улучшатся многие показатели.
Финансовые метрики
- Возврат на инвестиции в IT (Return on IT Investment). Отображает, какую выгоду приносит то или иное IT-решение. К примеру, выпуск конкретной фичи привлек пятерых новых клиентов. Соотносим прибыль от этих клиентов и стоимость разработки нового функционала. Так можно оценить и деятельность отдельного специалиста, и покупку техники. В нашей компании сейчас ввели эту метрику, чтобы просчитывать возврат IT-инвестиций в разработку новых продуктов. К нашим первым тарифам показатель не применяли. Сейчас жалеем об этом. Заранее накопленная база по метрике оптимизировала бы составление сметы для продвижения новых продуктов. Учитесь на наших ошибках! Смотрели более глобально и опирались на выручку. Однако показатель RRI помогает увидеть точки убытка в IT-стратегии. Чтобы возмещать их, некоторые компании открывают субпродукты (онлайн-школы, простые конструкторы) с меньшей стоимостью владения.
- Совокупная стоимость владения IT-ресурсами (Total Cost of Ownership). Метрика отображает стоимость активов внутри компании и напрямую не влияет на продажи и конверсию. Складывается из стоимости техники, закупки ПО и комплектующих. С покупкой траты не заканчиваются: учитываем повторные платежи за лицензии и обслуживание. Показатель важен при привлечении инвестиций, оценке бизнеса. Помогает понять, насколько рационально распределены IT-ресурсы в стратегии. Дает возможность соотносить стоимость владения инфраструктуры и экономического эффекта для бизнеса от нее. Если соотносить TCO с тем, как часто применяется та или иная техника, можно вычислить инструменты, которые компании не так уж нужны. Это сократит издержки. Показатель важно обновлять ежегодно или от квартала к кварталу, смотря на темпы развития бизнеса.
- Экономия затрат благодаря автоматизации (Cost Savings from Automation). Эту метрику мы измеряли всегда, как у себя в компании, так и у клиентов. Автоматизация забирает на себя рутинные задачи и освобождает время сотрудника. К примеру, менеджер составляет счет и акт для клиента. Он тратит на это время, которое стоит конкретных денег. Мы можем посчитать их, опираясь на его зарплату поминутно. После посчитаем стоимость автоматизированного решения для этой задачи. Если автоматизация обойдется дешевле, при этом увеличив скорость и исключив ошибки человеческого фактора, внедряем. Однако IT-решения не всегда экономят деньги. К примеру, при внедрении ИИ, который берет часть задач на себя, нужно найти для него грамотного оператора, научить персонал им пользоваться, а порой даже разработать собственную модель! Много временных и материальных ресурсов. С автоматизацией нет смысла «перемудрять». Однако и отказываться от современных инструментов, думая, что команды потеряет мотивацию или начнет лениться – неэффективный подход.
Показатели удовлетворенности пользователей
- Количество жалоб и запросов поддержки (Support Requests Count). В нашей компании техническая поддержка обрабатывает более 1000 диалогов в месяц. Мы не используем бота для обработки запросов, а опираемся на команду из пяти человек. Однако если опыта у команды меньше, советую внедрить бота с заготовленными диалогами для частых вопросов. Полученные жалобы и вопросы мы анализируем, чтобы вычислить FAQ и пересмотреть функционал. С помощью этой метрики можно улучшить UX и логику системы или сайта. Показатель должен стремиться к нулю, хоть и никогда к нему не придет. Чтобы улучшить метрику можно внедрить ИИ для анализа текста и прошлых диалогов. Это обеспечит более глубокое считывание причин для запросов и жалоб. Систематическое снижение метрики – хороший знак роста Индекса потребительской лояльности и улучшения качества обслуживания.
- Время отклика службы поддержки (Support Response Time). Наша поддержка отвечает в течение 5 минут, работая 24/7. Для улучшения метрики внедрили IT-решение — чаты на омниканальной платформе. Она оперативно распределяет диалоги между сотрудниками, сохраняя их в едином интерфейсе. Эта метрика сильно влияет на уровень удовлетворенности наших пользователей. Оперативная помощь клиентам стала нашим УТП. Очень важный показатель для B2B-сферы, где важны клиентская лояльность и «сарафанное радио». Древний, но все еще актуальный способ продвижения. Первое, что рассказывают наши клиенты друзьям, рекомендуя нас: «У них быстрая поддержка!».
- Уровень удовлетворенности пользователей (User Satisfaction Level) или Индекс потребительской лояльности (Net Promoter Score). Показатель от 0 до 10. Оценивается по ответу клиента на вопрос: «Насколько вы порекомендуете нас своим друзьям?». Важно запрашивать у клиента автоматически, если нет возможности пообщаться напрямую с каждым. Показатель от 8 и выше — хороший результат, 7–6 — больший уровень равнодушия к продукту, меньше 6 — срочно нужны корректировки и доработка продукта. Чтобы собирать отзывы эффективно, попробуйте разные каналы. Какой является самым популярным среди вашей аудитории? Полезно внедрить программы поощрения за прохождение опросы или оставленный отзыв.
В заключение
Только с помощью регулярного мониторинга можно заметить рост или убытки компании и вовремя среагировать на ситуацию. Не бойтесь аналитики и внедрения метрик. Выберите по одному показателю из каждого бизнес-аспекта и оценивайте эффективность своей IT-стратегии, опираясь на факты. Ниже — минимальный набор метрик, который я советую внедрить любой компании.
