Как проверить гипотезу (подтвердилась или не подтвердилась)
Важны величина разницы в целевой метрике (чем больше, тем надёжнее) и массовость (если касается большинства кейсов, а не единиц). Жёстких порогов нет, но на практике в простом сравнении ориентируются так:
Гипотеза подтверждается, если:
- Разница в целевой метрике (время, стоимость, доля ошибок) между группами больше 10–20%. Группы формируют обычно при помощи фильтров - например, все кейсы, выполненные сотрудником "А" и кейсы, выполненные сотрудником "В";
- Эффект устойчив: виден на большинстве кейсов, а не на единичных;
- Доля случаев с отклонением выше 50% (например, «в 70% задержек участвовал ресурс X»).
Гипотеза не подтверждается, если:
- Разница меньше 5–10% — ею можно пренебречь;
- Эффект нестабилен: в одних срезах есть, в других нет;
- Доля случаев с отклонением ниже 20–30% — скорее исключение, чем закономерность.
Как часто для проверки гипотез применяются статистические методы
В большинстве проектов Process Mining (примерно 80–90%) для проверки гипотез достаточно простого сравнения: фильтров, метрик, визуализации вариантов и узких мест. Сложные статистические методы — для продвинутых задач и исследовательских проектов.
Статистические методы (AITIA-PM, EMD, тесты значимости) требуются — когда:
нужно доказать причинно-следственную связь, а не просто заметить разницу;
данные неоднородны и простые сравнения дают противоречивые результаты;
решение дорогое или рискованное, и нужна статистическая уверенность.
Какие статистические методы можно применить для проверки гипотез
В отличие от «классической» статистики, в контексте Process Mining гипотезы формулируются не просто о числах, а о поведении процесса:
«Процесс в филиале А выполняется статистически значимо медленнее, чем в филиале Б?»
«Влияет ли конкретный исполнитель на вероятность ошибки?»
«Является ли эта последовательность шагов шумом или новой нормой?»
Проверка гипотез в Process Mining опирается на статистические методы, которые позволяют подтвердить или опровергнуть предположение о различиях в данных - в том числе статистические тесты (Mann-Whitney, Permutation), специализированные меры расстояния (EMD) и алгоритмы причинно-следственного анализа (AITIA-PM). Основные подходы можно разделить на несколько групп:
Сравнение логов (Log-to-Log Comparison)
Это основа проверки гипотез о том, что два процесса или две группы кейсов действительно отличаются.
Статистические тесты (Mann-Whitney U, Moses Test): Используются для сравнения распределений (например, медиан или дисперсий) между двумя независимыми выборками из разных логов. Позволяют понять, отличается ли поведение процесса в разных подразделениях или периодах.
Earth Mover's Distance (EMD) + Permutation Test: Более современный и комплексный подход. EMD используется как мера «расстояния» между логами (например, по управляющему потоку или времени), а тест перестановки дает p-value для оценки статистической значимости различий.
Bootstrap Test + EMD/Levenshtein Distance: Использует бутстрап (основано на многократной генерации выборок на базе имеющейся выборки) для оценки значимости различий в управляющем потоке, но часто критикуется за асимметричность и высокий уровень ошибок первого рода.
Анализ причинно-следственных связей (Root Cause Analysis)
Эти методы направлены на проверку гипотез о том, что именно вызвало отклонение (например, задержку).
AITIA-PM (Probabilistic Temporal Logic): Позволяет формулировать гипотезы в виде логических правил (например, «Деятельность A, выполненная Ресурсом B, приводит к задержке C»). Алгоритм проверяет гипотезы на «prima facie» причинность, вычисляет меру влияния (epsilon) и использует контроль частоты ложных открытий (FDR) для отсеивания случайных связей.
См. Пример проверки гипотезы с AITIA-PM - корневые причины отклонений
Фильтрация шума и выбросов
Гипотезы используются и для отделения «нормального» поведения от аномального.
Биномиальное распределение + One-sided Hypothesis Test: Проверяет, является ли конкретная последовательность событий (прямое следование) типичной для процесса или это редкий шум. Если вероятность слишком низкая, последовательность помечается как infrequent behavior и может быть отфильтрована для получения более чистого и читаемого process model.
Вам может быть интересно:
Data-Driven, Process Mining и Process Intelligence
Экспресс-анализ делового процесса в Process Mining. Порядок действий