Как оценить эффективность автоматизированной информационной системы

Немного о парадоксах

Перефразируя известный парадокс нобелевского лауреата Роберта Солоу, мы наблюдаем цифровую эру всюду, кроме статистики по производительности труда: ИТ не оправдывают наши ожидания на лучшую экономику. Правда, профессор Стэнфорда Эрик Бриньолфссон предложил еще один парадокс: при всей очевидности не существует метода прямой и строгой оценки эффекта от внедрения ИТ — лишь время покажет и порой, увы, не скоро.

Не стану спорить с уважаемыми коллегами. Добавлю, что количество и качество труда на единицу времени во все известные эпохи зависит не столько от орудий этого труда, даже при прочих равных, сколько от самого трудящегося. А цифра нужна далеко не только для производительности, но вспоминаем теорию систем: еще и в целях снижения ресурсоемкости и увеличения оперативности процессов, а также роста показателей качества управления в целом.

Как посчитать эффективность ИТ: общая схема

Вместе с тем есть ощущение, что разговоры о недостаточной или сомнительной эффективности ИТ от неумения ее посчитать. Хотя для большинства проектов это вполне решаемо. Как? Общая схема выглядит примерно так (таблица 1):

1. Сначала определяете параметры бизнес-процессов, на величину которых можно влиять. Скажем, вы автоматизируете складские операции — одним из параметров может быть скорость инвентаризации.
2. Затем выясняете норму улучшения каждого параметра — ищете в открытых источниках данные по аналогичным отраслевым проектам.
3. Далее собираете фактические оценки нужных параметров на объекте автоматизации, а если таких фактов нет, то аппроксимируете аналогичные данные по рынку.
4. Завершаем элементарной арифметикой — умножаем норму улучшения параметра (в процентах) на факт и получаем значение ожидаемого эффекта от внедрения ИТ в части указанного параметра.

Эта оценка — прогноз, хоть и высоковероятный, при условии качественного анализа нормы улучшения. Необходимы регулярный мониторинг фактических значений параметров в ходе эксплуатации конкретного ИТ-решения и понимание, что цифровых чудес не бывает, а эффективность организации определяет множество факторов, главный из которых — человеческий.

Таблица 1. Методика многокритериальной оценки экономической эффективности эксплуатации автоматизированной информационной системы (АИС)

Определяем результативность проекта автоматизации

В свою очередь, о результативности проекта автоматизации можно судить по достижению ожидаемых эффектов. Сначала в соответствии с теорией системного анализа оцениваем степень достижения каждого из них по следующим критериям:

• адекватность/пригодность (соответствие проекта внедрения АИС ожидаемому эффекту в плане достижения его максимума);
• оптимальность (необходимость и достаточность проектных решений для эффекта);
• превосходство над потенциальными аналогами (насколько решения лучше тех, что есть или могли бы быть вместо).

Далее по всем критериям для каждого ожидаемого эффекта необходимо дать оценку по нечеткой шкале:

• да — 1;
• почти да — 0,8;
• больше да, чем нет — 0,6;
• больше нет, чем да — 0,4;
• почти нет — 0,2;
• нет — 0.

Таким образом, по правилам нечеткой арифметики оценивание результативности ИТ-проекта сводится к расчету среднего арифметического из суммы значений оценок по каждому критерию каждого из эффектов и соотнесения полученного значения с нечеткой шкалой (качественной оценкой).

Кроме того, можно получить интегральную квалиметрическую оценку результативности проекта в целом, рассчитав среднее арифметическое из суммы всех оценок по всем эффектам и так же соотнеся ее с нечеткой шкалой. Оценивание можно провести по предварительным итогам выполнения задач по проекту, а также делать регулярно по периодическим эффектам (например, динамика производительности труда или рентабельность средств производства) с помощью опроса непосредственных участников каждого из бизнес-процессов, в которых проявляются указанные эффекты.

Алгоритм инвариантный и простой, однако следует учитывать субъективность персональных оценок и не забывать о более объективных количественных показателях (деньги, продуктивность, тренды), используя их все в совокупности.

Как оценить, насколько хорошо мы автоматизируем те или иные бизнес-процессы

«Хорошо» и «плохо» в этом случае совсем не бихевиористские понятия из стихотворения Маяковского. Это вполне живые квалиметрические величины, которыми оперирует сознание заказчика или покупателя и из которых они делают вывод о перспективах сотрудничества с исполнителем и вендором ИТ-решения. Ясно, что работать в терминологии хорошо — плохо невозможно, ее нужно приземлить на семантику цифры.

Рассматривая рабочие процессы, мы видим в них системные свойства, у них есть свой жизненный цикл: число шагов, работ, этапов выполнения, связанных в потоки. Одним из вариантов интерпретации «хорошей автоматизации» может стать оценка ее полноты — степени покрытия бизнес-процесса функциональностью информационной системы.

Оценке нужны шкала и критерии — воспользуемся тем фактом, что в соответствии с теорией вычислительной сложности наша проблема относится к вероятностным за полиномиальное время с ограниченной ошибкой (BPP-класс), где для истинности утверждения достаточно вероятности 2/3, и возьмем три значения полноты и три метрики (таблица 2). Этот же принцип используем для соотнесения значений метрик и шкалы.

Тогда для определения полноты автоматизации процесса необходимо посчитать число этапов его жизненного цикла — в реальных кейсах, на основании регламентов и экспертизы из аналогичной практики. Следует также свериться с разработанной ранее функциональной моделью. Далее полноту оцениваем по каждому критерию и выставляем по шкале. Получаем множество из трех оценок — в качестве результирующего берем то значение шкалы, по которому полнота удовлетворяет не менее чем двум критериям.

Методика может пригодиться, помимо прочего, для подтверждения результативности в контексте эффективности проекта внедрения АИС, а также в отчетах по госконтрактам и грантам из бюджетных фондов.

Таблица 2. Методика оценки полноты информатизации и автоматизации бизнес-процессов

Сокращения:

• АИС — автоматизированная информационная система
• БП — бизнес-процесс
• ЖЦ — жизненный цикл бизнес-процесса, совокупность этапов его реализации