Этап 07 · Проверять гипотезы

Идея говорит:
«Давайте попробуем».
Гипотеза говорит: «Вот что именно мы проверяем».

После исследований, позиционирования, работы с предложением и клиентским путём появляется много идей. Но запускать их все подряд — дорого и бессмысленно. Сначала превращаем предположение в гипотезу, которую можно проверить и принять решение на данных.

Идея

«Давайте сделаем программу лояльности»

Звучит вполне разумно. Но пока непонятно: какую проблему она решает, почему должна сработать и как мы поймём, что она помогла.

? Проверять пока нечего
Гипотеза

«Если помочь довольному клиенту вспомнить о “Листке” перед следующей похожей ситуацией, вероятность повторного выбора может увеличиться»

Здесь уже есть предположение о поведении клиента, которое можно проверить. Но сначала нужно подтвердить, что проблема повторного выбора вообще существует.

Можно проектировать проверку
!
Важное правило

Сначала проблема. Потом гипотеза. Потом решение.

Если начать с готового решения — «нужна рассылка», «нужна акция», «нужна новая посадочная» — мы легко начинаем искать аргументы, почему любимая идея обязательно должна сработать.

Рабочая логика

Из чего рождается проверяемая гипотеза

01 Наблюдение

Что мы уже увидели в данных или исследовании?

02 Предположение

Почему это может происходить?

03 Изменение

На что мы попробуем повлиять?

04 Ожидаемое поведение

Что должно измениться у клиента?

05 Сигнал

По чему увидим, что предположение работает?

Учебный кейс · «Листок»

Разбираем гипотезу по частям

Не утверждаем, что это происходит. Показываем логику, если исходная проблема подтвердится данными.

Наблюдение

Есть клиенты, которые довольны первой покупкой

Это должно подтверждаться отзывами, наблюдениями или другими данными.

Проблема для проверки

Но часть из них может не возвращаться

Пока нет данных о повторных визитах, это нельзя объявлять фактом.

Предположение

Возможно, причина не в продукте, а в отсутствии повода вспомнить

Это уже гипотеза о причине, а не установленный факт.

Изменение

Создать небольшой механизм напоминания

Только после подтверждения, что проблема существует и такое воздействие уместно.

Ожидаемый сигнал

Повторное поведение должно измениться

Конкретную метрику определяем по тем данным, которые бизнес действительно умеет собирать.

Проверяем себя

Что часто называют гипотезой, хотя это не она

×
«Давайте запустим рекламу»

Это действие. Непонятно, что именно оно должно доказать.

×
«Нам нужен Telegram»

Это выбор канала, а не проверяемое предположение.

×
«Клиентам понравится скидка»

Предположение есть, но не определены поведение и критерий проверки.

«Если…, то…, потому что…»

Уже ближе. Теперь добавляем основание и сигнал, по которому примем решение.

Не смешиваем уровни

Факт, гипотеза и действие — три разные вещи

F
Факт

«В 12 отзывах из изученной выборки упоминается ожидание».

Есть источник.
H
Гипотеза

«Ожидание может быть причиной отказа части клиентов».

Требует проверки.
A
Действие

«Изменить процесс выдачи в часы пик».

Решение после проверки.
AI
Где здесь полезен ChatGPT

Не «придумай мне гипотезы», а «помоги превратить фактуру в проверяемые предположения»

Дайте ему результаты исследований, отзывы, данные, найденные разрывы пути и ограничения бизнеса. Тогда нейросеть может помочь увидеть связи, отделить наблюдение от интерпретации и сформулировать то, что действительно стоит проверить.

Промпт №1 этапа 07

Превратить наблюдения в проверяемые гипотезы

Ты — маркетинговый аналитик.

Я дам тебе результаты предыдущей работы:

— данные рынка;
— отзывы и интервью;
— сегменты;
— позиционирование;
— предложение;
— точки контакта;
— клиентский путь;
— найденные барьеры;
— провалы;
— данные бизнеса.

Нужно найти предположения,
которые действительно стоит проверить.

Не генерируй идеи с нуля.

Сначала раздели входные данные на:

1. ФАКТЫ
Что прямо подтверждается данными?

2. НАБЛЮДЕНИЯ
Какие повторяющиеся сигналы мы видим?

3. НЕИЗВЕСТНОЕ
На какие важные вопросы данных пока нет?

4. ПРЕДПОЛОЖЕНИЯ
Какие возможные объяснения следуют из фактуры,
но пока не доказаны?

После этого сформулируй гипотезы.

Для каждой гипотезы укажи:

— на каком факте или наблюдении она основана;
— какую проблему мы предполагаем;
— какую причину предполагаем;
— на что можем повлиять;
— какое поведение клиента должно измениться;
— какой сигнал покажет результат;
— какие данные нужны для проверки.

Используй конструкцию:

«Мы видим [наблюдение].

Предполагаем, что [возможная причина].

Если [изменение],
то [ожидаемое изменение поведения],

и это можно проверить по [сигналу]».

Обязательно помечай:

ФАКТ —
подтверждено данными;

ГИПОТЕЗА —
требует проверки;

НЕИЗВЕСТНО —
данных пока недостаточно.

Не выдавай причинно-следственную связь за факт,
если данные показывают только совпадение.

Не предлагай готовое решение,
пока проблема не сформулирована.

Если входных данных недостаточно,
не выдумывай гипотезу.
Сначала сформулируй,
какую информацию нужно получить.
Что получили
факт наблюдение предположение ожидаемое изменение проверяемая гипотеза
Следующий шаг Теперь мы знаем, что такое гипотеза. Но откуда брать хорошие гипотезы? На следующем экране вернёмся к результатам предыдущих шести этапов и увидим, что материал для гипотез мы уже собрали.
Шаг 2 · Ищем основания

Хорошие гипотезы не придумывают.
Их находят в уже собранных данных.

За предыдущие шесть этапов мы накопили фактуру: рынок, голос клиента, позиционирование, продукт, стратегические решения и клиентский путь. Теперь всё это становится сырьём для гипотез.

Плохой способ

«ChatGPT, придумай мне 20 маркетинговых гипотез»

Гипотез будет двадцать. Оснований под ними может не быть ни одного.

Рабочий способ

«Вот наши факты, разрывы и неизвестное. Что из этого стоит проверить?»

Тогда гипотеза продолжает исследование, а не заменяет его фантазией.

Возвращаемся к предыдущим этапам

Шесть источников гипотез

Каждый предыдущий этап может дать свой тип проверяемых предположений.

01
Рынок

Исследовать рынок

Смотрим, где есть незакрытые задачи, повторяющиеся предложения и отличия между конкурентами.

Отсюда могут родиться гипотезы: о новой нише, формате предложения, точке входа или категории.
02
Клиент

Понять клиента

Ищем повторяющиеся вопросы, барьеры, причины выбора и реальные ситуации покупки.

Отсюда могут родиться гипотезы: о сообщении, предложении, критерии выбора или причине отказа.
03
Позиция

Найти позиционирование

Проверяем, какое место бизнес может занять в голове клиента и какой смысл действительно отличает его.

Отсюда могут родиться гипотезы: о формулировке позиции, акценте и восприятии бренда.
04
Продукт

Разобрать продукт

Смотрим, какая ценность понятна, какое обещание вызывает интерес и где предложение остаётся слабым.

Отсюда могут родиться гипотезы: об оффере, упаковке, доказательствах и структуре продукта.
05
Стратегия

Построить стратегию

Здесь появляются решения, которые пока ещё не доказаны: приоритетный сегмент, канал, действие, последовательность.

Отсюда могут родиться гипотезы: о канале, приоритете, механике привлечения или удержания.
06
Путь клиента

Построить путь клиента

Здесь особенно хорошо видны провалы, разрывы, лишние шаги и неизвестные причины.

Отсюда могут родиться гипотезы: о барьере, точке контакта, повторном поведении и улучшении опыта.
Логика появления гипотезы
факт повторяющийся сигнал неизвестная причина гипотеза
Учебный кейс · «Листок»

Какие гипотезы могут родиться из нашей работы

Это примеры логики, а не утверждения о реальном бизнесе.

Из исследования клиента

Скорость может быть важнее широты выбора

Если это подтверждается вопросами, отзывами или наблюдениями, можно проверять более простой сценарий выбора.

Из позиционирования

Формулировка «удобно по пути» может быть понятнее абстрактного «свежо и вкусно»

Проверяется через коммуникацию и реакцию целевого сценария.

Из продукта

Готовые сочетания могут ускорить выбор

Но только если проблема долгого выбора действительно подтверждается.

Из стратегии

Удержание существующих утренних клиентов может быть выгоднее активного привлечения новых

Для проверки нужны данные о повторяемости и экономике.

Из пути клиента

Один из главных провалов может происходить после первой покупки

Но сначала нужно доказать, что повторное поведение действительно ниже желаемого и понять возможную причину.

Что особенно полезно замечать

Три сильных сигнала для гипотез

Повторяемость

Одна и та же жалоба, вопрос, ситуация или поведение встречается снова и снова.

Противоречие

Бизнес обещает одно, а данные или клиентский опыт показывают другое.

?
Неизвестное

Есть важный вопрос, от ответа на который зависит решение бизнеса.

Но не торопимся

Сигнал — ещё не готовая гипотеза

Например, несколько клиентов пожаловались на очередь. Это факт или наблюдение. А предположение «они не возвращаются именно из-за ожидания» уже требует отдельной проверки.

На чём могут стоять гипотезы

Основания лучше смешивать, а не брать одно

01 Отзывы

Реальные слова клиента.

02 Интервью

Причины выбора и отказа.

03 Аналитика

Изменения поведения и цифры.

04 Наблюдение

Что реально происходит в процессе.

05 Рынок

Конкуренты и альтернативы.

06 Разрывы пути

Где клиент может выпадать.

Промпт №2 этапа 07

Найти основания для гипотез в предыдущей работе

Ты — маркетинговый аналитик.

Я дам результаты предыдущих этапов:

1. исследование рынка;
2. исследование клиента;
3. позиционирование;
4. разбор продукта и предложения;
5. маркетинговую стратегию;
6. карту клиентского пути.

Не придумывай новые идеи с нуля.

Найди в этих материалах основания
для проверяемых маркетинговых гипотез.

Ищи три типа сигналов:

1. ПОВТОРЯЕМОСТЬ
Какие проблемы, вопросы, ситуации,
критерии или реакции встречаются несколько раз?

2. ПРОТИВОРЕЧИЯ
Где:
— ожидание не совпадает с опытом;
— обещание не совпадает с реальностью;
— данные разных этапов конфликтуют;
— поведение не совпадает с нашим предположением?

3. НЕИЗВЕСТНОЕ
Какие вопросы остаются без ответа,
но от них зависит важное решение?

Для каждого найденного сигнала укажи:

— из какого этапа он получен;
— на каких данных основан;
— что мы знаем точно;
— что пока только предполагаем;
— почему это важно для бизнеса;
— какую проверяемую гипотезу можно сформулировать;
— какие дополнительные данные нужны.

Раздели гипотезы по источнику:

— рынок;
— клиент;
— позиционирование;
— продукт;
— стратегия;
— клиентский путь.

Не называй единичное наблюдение закономерностью.

Не придумывай причинную связь,
если данные показывают только совпадение.

Не предлагай гипотезу,
если под ней нет хотя бы наблюдения,
противоречия или важного неизвестного.

В конце создай реестр:

ИСТОЧНИК
→ сигнал
→ факт
→ неизвестное
→ гипотеза
→ зачем проверять
→ необходимые данные.
Что получили
6 этапов работы факты и разрывы важное неизвестное банк обоснованных гипотез
Следующий шаг Основания нашли. Теперь формулируем гипотезу так, чтобы её действительно можно было проверить. На следующем экране соберём рабочую конструкцию: наблюдение → причина → изменение → ожидаемое поведение → сигнал.
Шаг 3 · Формулируем гипотезу

Хорошая гипотеза должна быть такой,
чтобы её можно было опровергнуть.

Если формулировка настолько расплывчатая, что любой результат можно объявить успехом, это не гипотеза. Нам нужна конструкция, где заранее понятно: что мы предполагаем, что изменяем и какой сигнал будет означать результат.

01 Наблюдение

Что мы реально увидели?

02 Причина

Почему это может происходить?

03 Изменение

На что попробуем повлиять?

04 Поведение

Что должно измениться у клиента?

05 Сигнал

По чему поймём результат?

Рабочий шаблон

Мы видим [наблюдение].

Предполагаем, что [возможная причина].

Если [изменение],

то [поведение клиента] изменится,

и мы увидим это по [сигналу].

Слишком размыто

«Если сделать удобнее, клиенты будут покупать чаще»

Непонятно: что именно неудобно, что меняем, какое поведение отслеживаем и что будет считаться подтверждением.

Проверяемо

«Если упростить выбор в утреннем сценарии, время принятия решения может сократиться»

Уже понятно, что именно хотим изменить и какой сигнал нужно наблюдать.

Учебный кейс · «Листок»

Собираем одну гипотезу по шагам

Ниже — учебный пример. Каждый элемент должен подтверждаться или отдельно проверяться.

Наблюдение

Часть покупателей может долго выбирать внутри точки

Это должно подтверждаться наблюдением, вопросами или другим источником.

Предполагаемая причина

Возможно, выбор требует слишком много усилий

Например, слишком много вариантов или непонятная структура меню.

Изменение

Упростить утренний выбор

Например, выделить несколько понятных быстрых сочетаний.

Ожидаемое поведение

Человек быстрее принимает решение

И реже нуждается в дополнительном уточнении.

Сигнал

Сокращается время выбора

И/или уменьшается количество повторяющихся вопросов — если бизнес умеет это наблюдать.

Осторожно с причинностью

«После изменения стало лучше» ещё не всегда значит «стало лучше именно из-за изменения»

Могли повлиять сезонность, день недели, трафик, ассортимент, погода или другие изменения. Поэтому хороший тест старается максимально отделить влияние проверяемого фактора.

Проверка формулировки

Пять вопросов к гипотезе

01 Есть основание?

Гипотеза родилась из факта или сигнала?

02 Есть причина?

Понятно, что именно мы предполагаем?

03 Есть изменение?

Понятно, на что мы собираемся воздействовать?

04 Есть поведение?

Понятно, что должно измениться у клиента?

05 Есть критерий?

Можно заранее сказать, подтвердилась гипотеза или нет?

Если нельзя проиграть

Значит, вы не поставили нормальный тест

×
«Посмотрим, что получится»

Нет заранее определённого результата.

×
«Если продажи вырастут — отлично»

Непонятно, связан ли рост именно с тестируемым изменением.

×
«Если не сработает — подождём ещё»

Критерий постоянно двигается после получения результата.

«Вот что будет считаться сигналом»

Критерий определён до начала теста.

1
Одна гипотеза — одно главное изменение

Не меняем меню, цену, рекламу и сервис одновременно

Если в одном тесте изменилось всё, мы можем получить результат, но не поймём, что именно на него повлияло.

Промпт №3 этапа 07

Сформулировать проверяемую гипотезу

Ты — маркетинговый аналитик.

Я дам:

— факт или наблюдение;
— источник данных;
— найденную проблему;
— неизвестную причину;
— контекст клиента;
— доступные возможности бизнеса.

Помоги сформулировать одну проверяемую гипотезу.

Сначала проверь входные данные.

Отдельно укажи:

ФАКТ —
что мы знаем точно;

ПРЕДПОЛОЖЕНИЕ —
какую причину мы пока только предполагаем;

НЕИЗВЕСТНО —
чего не хватает для уверенного вывода.

После этого собери гипотезу по структуре:

Мы видим [наблюдение].

Предполагаем, что [возможная причина].

Если [одно конкретное изменение],

то [конкретное клиентское поведение]
может измениться,

и мы увидим это по [наблюдаемому сигналу].

Проверь гипотезу по критериям:

1. Основана ли она на данных?
2. Есть ли одно главное предположение?
3. Есть ли одно главное изменение?
4. Понятно ли, какое поведение должно измениться?
5. Можно ли наблюдать результат?
6. Можно ли гипотезу опровергнуть?
7. Не смешано ли несколько гипотез в одной?
8. Не выдаём ли предполагаемую причину за факт?

После этого выдай:

— финальную формулировку;
— основание;
— что именно проверяем;
— какой сигнал наблюдаем;
— какие альтернативные объяснения результата возможны;
— каких данных не хватает.

Не назначай:
— процент роста;
— срок;
— объём выборки;
— бюджет,
если этих данных нет во вводных.

Не формулируй гипотезу так,
чтобы любой результат можно было считать подтверждением.
Что получили
наблюдение причина одно изменение одно поведение измеримый сигнал
Следующий шаг Гипотезы сформулированы. Но проверять их все одновременно нельзя. На следующем экране выберем, какие гипотезы проверять первыми: по влиянию, основанию, стоимости проверки и скорости получения сигнала.
Шаг 4 · Выбираем, что проверять первым

Гипотез может быть много.
Но тестировать надо не всё подряд.

Приоритет получает не самая эффектная идея, а гипотеза, которая связана с важной задачей, имеет основания и может быть проверена с разумными затратами времени и ресурсов.

!
Не выбираем любимую идею

Чем сильнее нам нравится гипотеза, тем осторожнее её нужно проверять

Иначе легко начать подгонять данные под желаемый ответ. Приоритизация нужна именно затем, чтобы отделить стратегическую важность от личного энтузиазма.

Четыре главных критерия

На что смотрим перед тестом

01

Влияние

Если гипотеза подтвердится, насколько сильно это поможет бизнес- или маркетинговой цели?

02

Основание

Есть ли под гипотезой реальные данные, сигналы, наблюдения или разрывы?

03

Стоимость проверки

Сколько ресурсов требуется, чтобы получить полезный сигнал, а не полноценно внедрить решение?

04

Скорость сигнала

Насколько быстро можно получить достаточно информации для следующего решения?

Полное внедрение

«Перестроим систему лояльности, подключим сервис и обучим сотрудников»

Это может быть дорого, долго и преждевременно.

Проверка гипотезы

«Сначала проверим, действительно ли повторный выбор — проблема и можно ли на неё повлиять»

Цель теста — получить информацию, а не сразу построить идеальную систему.

Учебный кейс · «Листок»

Сравним четыре гипотезы

Это учебная оценка логики. Реальный приоритет зависит от данных конкретного бизнеса.

Гипотеза 01
Сильный кандидат

Упростить утренний выбор

Основание

Может быть связано с найденным барьером внутри точки.

Проверка

Можно начать с наблюдения и небольшого изменения сценария выбора.

Риск

Проблема может оказаться несущественной или вообще отсутствовать.

Гипотеза 02
Сильный кандидат

Актуализировать карточку в картах

Основание

Если карточка действительно неполная или неактуальная, проблема видна напрямую.

Проверка

Изменение относительно простое и может дать быстрый сигнал.

Риск

Эффект может быть ограничен, если карты почти не участвуют в пути.

Гипотеза 03
Нужны данные

Запустить механику повторного контакта

Основание

Может поддержать стратегию удержания.

Проверка

Сначала нужны данные о повторном поведении и доступной базе.

Риск

Можно тестировать решение несуществующей проблемы.

Гипотеза 04
Пока в резерв

Запустить широкую рекламную кампанию

Основание

Может увеличить поток, но это ещё не решает найденные разрывы пути.

Проверка

Требует больше ресурсов и может смешать сразу несколько факторов.

Риск

Привести больше людей в ещё не проверенный путь.

Сравниваем одинаково

Матрица приоритизации

Гипотеза Влияние Основание Стоимость проверки Скорость сигнала Решение
Упростить утренний выбор Потенциально высокое Есть сигнал, нужно подтвердить Невысокая Относительно быстро Проверять
Актуализировать карты Среднее / высокое Можно проверить сразу Низкая Быстро Проверять
Механика повторного контакта Потенциально высокое Недостаточно данных Средняя Неясно Сначала данные
Широкая реклама Неясно Слабая связь с текущей проблемой Высокая Сигнал может быть шумным Резерв
10
Не надо делать вид, что мы точнее, чем есть

Оценка «8,7 балла из 10» не делает решение научным

Если исходные данные качественные, а оценки субъективные, красивое число создаёт только иллюзию точности. Иногда достаточно категорий: высокое / среднее / низкое и честного объяснения почему.

После оценки

У гипотезы может быть четыре статуса

1
Проверять сейчас

Есть важность, основание и доступный тест.

D
Сначала собрать данные

Гипотеза важная, но пока слишком много неизвестного.

R
Оставить в резерве

Сейчас есть более важные проверки.

×
Отказаться

Нет основания, влияния или разумного способа проверки.

Промпт №4 этапа 07

Приоритизировать гипотезы

Ты — маркетинговый аналитик.

У меня есть несколько сформулированных гипотез.

Нужно определить,
какие из них стоит проверять первыми.

Для каждой гипотезы укажи:

1. ВЛИЯНИЕ
Если гипотеза подтвердится,
насколько сильно это может повлиять
на текущую бизнес- или маркетинговую цель?

2. ОСНОВАНИЕ
Какие факты, наблюдения,
разрывы клиентского пути
или другие данные поддерживают гипотезу?

3. СТОИМОСТЬ ПРОВЕРКИ
Сколько ресурсов требуется,
чтобы получить полезный сигнал?

Не путай стоимость теста
со стоимостью полного внедрения.

4. СКОРОСТЬ СИГНАЛА
Насколько быстро потенциально
можно получить информацию для решения?

5. НЕОПРЕДЕЛЁННОСТЬ
Каких данных пока не хватает?

6. РИСК
Что произойдёт,
если мы ошибёмся?

7. СВЯЗЬ С ТЕКУЩИМ ПРИОРИТЕТОМ
Помогает ли гипотеза
проверить именно текущую стратегическую задачу?

Не используй искусственно точные баллы,
если оценки основаны на качественных данных.

Используй категории:

— высокое;
— среднее;
— низкое;
— неизвестно.

После сравнения дай каждой гипотезе статус:

— ПРОВЕРЯТЬ СЕЙЧАС;
— СНАЧАЛА СОБРАТЬ ДАННЫЕ;
— РЕЗЕРВ;
— ОТКАЗАТЬСЯ.

Обязательно объясни решение.

В конце:

— выбери 1–3 гипотезы первого приоритета;
— покажи, почему они важнее остальных;
— отдельно укажи гипотезы,
  которые выглядят привлекательными,
  но пока имеют слабое основание;
— покажи, какие гипотезы слишком дороги
  для текущего уровня неопределённости.

Не назначай гипотезе высокий приоритет
только потому, что идея кажется интересной.
Что получили
банк гипотез влияние основание стоимость и скорость проверки очередь тестов
Следующий шаг Выбрали, что проверять первым. Теперь проектируем минимальный тест. На следующем экране разберём: что именно меняем, для кого, на каком участке пути и какой сигнал будем наблюдать.
Шаг 5 · Проектируем минимальный тест

Проверка гипотезы — это не внедрение.
Сначала нужен маленький и понятный тест.

Цель теста — не построить идеальное решение, а получить достаточно информации, чтобы принять следующий шаг: продолжать, менять или отказаться.

01 Одна гипотеза

Что именно проверяем?

02 Одно изменение

Что конкретно меняем?

03 Один сценарий

Для кого и где проверяем?

04 Один сигнал

Что наблюдаем?

05 Одно решение

Что делаем после результата?

!
Главное правило

Тест должен быть достаточно маленьким, чтобы ошибка не стала дорогой

Если ради проверки гипотезы нужно полностью менять продукт, запускать большой рекламный бюджет или перестраивать процессы, значит тест пока слишком тяжёлый.

Учебный кейс · «Листок»

Проверяем гипотезу про упрощение утреннего выбора

Ниже — учебная логика теста. Конкретные сроки, объём выборки и показатели должны определяться по данным бизнеса.

Гипотеза

Если упростить утренний выбор, человек может принимать решение быстрее

Основание должно идти из наблюдений или вопросов клиентов.

Изменение

Выделить несколько понятных быстрых сочетаний

Не переделывать всё меню, а изменить только один элемент выбора.

Сценарий

Утренний поток

Проверяем только в выбранной клиентской ситуации, а не на всех покупателях сразу.

Сигнал

Время выбора или количество повторяющихся вопросов

Только если бизнес действительно способен это наблюдать.

Решение после теста

Сохранить, изменить или отказаться

Решение принимаем по данным, а не по впечатлению «вроде людям понравилось».

Полное внедрение

Переделать всё меню, выкладку и обучение сотрудников

Много изменений одновременно. Непонятно, что именно дало результат.

Минимальный тест

Изменить один элемент в одном сценарии

Так проще увидеть, есть ли вообще полезный сигнал.

Конструктор теста

Шесть вопросов до запуска

01 Что меняем?

Одно конкретное воздействие.

02 Для кого?

Конкретный сегмент или клиентский сценарий.

03 Где?

Конкретная точка контакта или участок пути.

04 Что наблюдаем?

Один основной сигнал.

05 Что может исказить результат?

Сезонность, трафик, другие изменения.

06 Что решаем потом?

Продолжить, изменить, остановить или собрать ещё данные.

0
Нужна точка отсчёта

Нельзя понять, стало ли лучше, если не знаем, как было до теста

Перед запуском фиксируем доступную базовую картину: текущее поведение, вопросы, время, обращения или другой сигнал, который потом будем сравнивать.

Не придумываем критерии

«Рост на 20%» не появляется из воздуха

×
«Если продажи вырастут на 20% — гипотеза подтвердилась»

Почему именно 20%? Есть ли база, статистика и достаточный объём данных?

«Сначала определим текущий уровень и доступный наблюдаемый сигнал»

А затем уже задаём критерий, который имеет смысл для конкретного бизнеса.

Защищаем тест от шума

Не меняем одновременно всё вокруг

+ Новое меню
+ Новая цена
+ Новая реклама
+ Новый сервис
= Непонятный результат
Самое важное

Решение определяем до начала теста

Если есть сильный сигнал Продолжаем

Можно расширять проверку или переходить к внедрению.

Если сигнал слабый Уточняем

Возможно, формулировка или тест были недостаточно точными.

Если эффекта нет Останавливаем

Не продолжаем только потому, что уже потратили силы.

Если данных мало Не делаем вывод

Недостаток данных не равен опровержению гипотезы.

Промпт №5 этапа 07

Спроектировать минимальный тест гипотезы

Ты — маркетинговый аналитик и дизайнер эксперимента.

У меня есть одна приоритетная гипотеза.

Нужно спроектировать минимальный тест,
который даст полезный сигнал
с минимально разумными затратами.

Я дам:

— формулировку гипотезы;
— основание;
— клиентский сценарий;
— доступные каналы;
— ресурсы;
— ограничения;
— доступные данные;
— текущие показатели, если они есть.

Сначала проверь,
можно ли гипотезу тестировать уже сейчас.

Если нет —
укажи, какие данные нужно собрать сначала.

Если можно, собери тест:

1. ГИПОТЕЗА
Что именно проверяем?

2. ОДНО ИЗМЕНЕНИЕ
Какое минимальное воздействие вводим?

3. СЦЕНАРИЙ / АУДИТОРИЯ
Для кого именно тестируем?

4. ТОЧКА ПУТИ
Где происходит проверка?

5. БАЗОВОЕ СОСТОЯНИЕ
Что нужно зафиксировать до теста?

6. ОСНОВНОЙ СИГНАЛ
Что будем наблюдать?

7. ДОПОЛНИТЕЛЬНЫЕ СИГНАЛЫ
Какие данные помогут интерпретировать результат?

8. ВНЕШНИЕ ФАКТОРЫ
Что может исказить вывод?

9. РЕСУРСЫ
Что потребуется для проведения теста?

10. РИСК
Какую цену имеет ошибочный тест?

11. ПРАВИЛО РЕШЕНИЯ
Что делаем, если:

— сигнал сильный;
— сигнал слабый;
— эффекта нет;
— данных недостаточно.

Важно:

— не проектируй полноценное внедрение,
  если можно проверить проще;
— не меняй несколько ключевых факторов одновременно;
— не придумывай проценты роста;
— не придумывай сроки;
— не придумывай объём выборки;
— не назначай критерии без базовых данных.

Если без статистической методологии
нельзя сделать надёжный вывод,
прямо укажи это.

В конце дай краткую карточку теста:

ГИПОТЕЗА
→ изменение
→ аудитория
→ точка пути
→ сигнал
→ риски
→ решение после результата.
Что получили
гипотеза минимальное изменение точка проверки сигнал решение
Следующий шаг Тест спроектирован. Теперь главное — не испортить результат интерпретацией. На следующем экране разберём, что означает: подтвердилось, не подтвердилось, данных недостаточно или сам тест был некорректным.
Шаг 6 · Читаем результат

Тест закончился.
Теперь главное — не придумать себе удобный вывод.

Результат теста — это не только «сработало» или «не сработало». Иногда гипотеза подтверждается, иногда опровергается, иногда данных недостаточно, а иногда проблема вообще в самом тесте.

01 Подтвердилось

Получили ожидаемый сигнал.

+
02 Не подтвердилось

Ожидаемого эффекта нет.

+
03 Данных мало

Вывод пока преждевременен.

+
04 Тест некорректен

Результат нельзя надёжно интерпретировать.

!
Самое важное

«Не подтвердилось» — не значит «мы провалились»

Хороший тест уменьшил неопределённость. Если гипотеза оказалась неверной, бизнес получил полезную информацию и может не тратить ресурсы на масштабирование слабого решения.

Учебный кейс · «Листок»

Разбираем результаты гипотезы про упрощение утреннего выбора

Это четыре возможных сценария интерпретации одного и того же теста.

Сценарий 01
Подтвердилось

После упрощения выбора наблюдаемый сигнал действительно изменился

Что можем сказать

Изменение выглядит перспективным в выбранном сценарии.

Что нельзя сказать

Что оно автоматически сработает для всех клиентов и во всех условиях.

Следующий шаг

Расширить проверку или перейти к аккуратному внедрению.

Сценарий 02
Не подтвердилось

После изменения ожидаемого сигнала нет

Что можем сказать

В текущем виде гипотеза не получила подтверждения.

Что проверить

Была ли проблема реальной, правильно ли выбрана предполагаемая причина.

Следующий шаг

Остановить, изменить формулировку или вернуться к исследованию.

Сценарий 03
Недостаточно данных

Есть движение, но данных слишком мало

Что можем сказать

Пока ничего уверенного.

Что нельзя делать

Объявлять гипотезу подтверждённой или опровергнутой.

Следующий шаг

Собрать больше данных или улучшить дизайн теста.

Сценарий 04
Тест сломан

Одновременно изменились несколько важных факторов

Проблема

Например, вместе с меню изменились цена, реклама и поток клиентов.

Что можем сказать

Результат есть, но причина неизвестна.

Следующий шаг

Не делать сильных выводов и перепроектировать проверку.

Перед выводом

Пять вопросов к результату

01 Есть ли изменение?

Мы действительно видим отличие от исходного состояния?

02 Можно ли доверять данным?

Не было ли ошибок в сборе или наблюдении?

03 Что ещё могло повлиять?

Сезонность, цена, поток, другие действия?

04 Есть ли альтернативное объяснение?

Может ли результат иметь другую причину?

05 Хватает ли данных для решения?

Или пока честнее сказать: «не знаем»?

Осторожно: любимая гипотеза

Мозг очень любит находить подтверждения тому, во что уже поверил

Поэтому критерии результата лучше определить до теста. Иначе после запуска легко сказать: «Ну да, продажи не выросли, зато люди стали чаще улыбаться — значит всё работает».

Ещё одна ловушка

Совпало по времени ≠ стало причиной

1
Изменили меню
+
2
Началась хорошая погода
+
3
Увеличился трафик рядом
=
?
Продажи выросли

Без дополнительной проверки нельзя автоматически приписать весь рост одному изменению.

Итог теста должен вести к действию

После результата принимаем одно решение

Подтверждено Масштабировать осторожно

Расширить тест, увеличить охват или переходить к внедрению.

Не подтверждено Остановить

Или пересмотреть предполагаемую причину.

Недостаточно данных Продолжить исследование

Не принимать сильного решения на слабом сигнале.

Некорректный тест Перепроектировать

Исправить методику и проверить снова.

+
Главный результат теста

Мы покупаем не «успех». Мы покупаем новую информацию

После хорошей проверки бизнес должен знать о клиентах, продукте или процессе больше, чем знал до теста. Именно эта информация делает следующее решение точнее.

Промпт №6 этапа 07

Разобрать результат теста гипотезы

Ты — маркетинговый аналитик.

Я провёл тест маркетинговой гипотезы.

Я дам:

— исходную гипотезу;
— основание;
— дизайн теста;
— базовое состояние;
— изменение;
— наблюдаемый сигнал;
— результаты;
— дополнительные данные;
— внешние факторы, которые могли повлиять.

Помоги интерпретировать результат.

Не пытайся обязательно подтвердить гипотезу.

Сначала проверь качество теста:

1. Было ли одно главное изменение?

2. Есть ли базовое состояние,
с которым можно сравнивать?

3. Достаточно ли данных
для хотя бы рабочего вывода?

4. Были ли внешние факторы,
которые могли сильно повлиять?

5. Есть ли проблемы
в сборе или качестве данных?

6. Можно ли связать наблюдаемый результат
именно с проверяемым изменением?

После этого дай статус:

— ГИПОТЕЗА ПОЛУЧИЛА ПОДДЕРЖКУ;
— ГИПОТЕЗА НЕ ПОЛУЧИЛА ПОДДЕРЖКИ;
— ДАННЫХ НЕДОСТАТОЧНО;
— ТЕСТ НЕКОРРЕКТЕН.

Используй осторожную формулировку.

Не говори «доказано»,
если тест не позволяет делать такой вывод.

Отдельно укажи:

— что мы можем сказать по данным;
— чего мы сказать не можем;
— какие альтернативные объяснения результата возможны;
— какие новые вопросы появились;
— чему тест научил бизнес.

После этого предложи одно решение:

— расширить проверку;
— перейти к внедрению;
— изменить гипотезу;
— отказаться от гипотезы;
— собрать дополнительные данные;
— перепроектировать тест.

Важно:

— не подгоняй вывод под желаемый результат;
— не считай отсутствие эффекта провалом;
— не путай корреляцию с причинностью;
— не объявляй слабый сигнал доказательством;
— не придумывай статистическую значимость,
  если она не рассчитывалась.

В конце дай карточку:

ГИПОТЕЗА
→ результат
→ качество данных
→ что узнали
→ что не знаем
→ решение
→ следующий шаг.
Что получили
тест данные интерпретация новое знание решение
Следующий шаг Мы умеем сформулировать, проверить и разобрать гипотезу. Осталось превратить это в систему. На финальном экране соберём реестр гипотез: основание → приоритет → тест → результат → решение → следующий шаг.
Итог этапа 07

Теперь гипотезы не живут в голове.
Они живут в системе решений.

Мы научились находить основания, формулировать проверяемые предположения, выбирать приоритет, проектировать минимальный тест и правильно читать результат. Осталось собрать всё в один рабочий реестр.

Полный цикл гипотезы
сигнал гипотеза приоритет тест данные вывод решение
Рабочий инструмент

Реестр гипотез

Он нужен не для отчётности. Он сохраняет логику решений и не даёт тестировать одно и то же по кругу.

Основание Гипотеза Приоритет Тест Сигнал Результат Что узнали Решение
Наблюдение
Сложность выбора утром
Если упростить выбор, человек может принимать решение быстрее Высокий Изменить один элемент утреннего сценария Время выбора / повторяющиеся вопросы Данные после теста Что именно изменилось и что осталось неизвестно Продолжить / изменить / остановить
Разрыв пути
Карточка компании
Актуальная карточка может упростить решение до визита Высокий Обновить карточку без других изменений Реакция на карточку, маршруты, обращения — если доступны После проверки Насколько карты реально участвуют в пути Сохранить / доработать / не считать приоритетом
Неизвестное
Повторные визиты
Напоминание может поддерживать повторный выбор Сначала данные Пока не запускать Сначала понять, есть ли сама проблема Недостаточно данных Нужна база и способ наблюдать повтор Вернуться позже
Минимальный состав реестра

Что сохраняем по каждой гипотезе

01 Основание

Из какого факта, сигнала или неизвестного родилась гипотеза.

02 Формулировка

Что именно предполагаем и что должно измениться.

03 Приоритет

Почему проверяем сейчас или откладываем.

04 Тест

Какое минимальное изменение вводим.

05 Сигнал

Что будем наблюдать.

06 Результат

Что показали данные.

07 Вывод

Что теперь знаем и чего всё ещё не знаем.

08 Решение

Масштабировать, изменить, повторить или отказаться.

!
Реестр — не кладбище идей

У каждой гипотезы должен быть статус

Если гипотеза просто лежит в таблице месяцами без решения, она не помогает бизнесу. У неё должно быть понятно: проверяем, ждём данные, держим в резерве или больше не возвращаемся.

Удобный порядок

Статусы гипотезы

D
Нужны данные

Пока рано проектировать тест.

Q
В очереди

Гипотеза сформулирована, ждёт приоритета.

T
Тестируется

Проверка уже идёт.

A
Анализируется

Тест завершён, читаем результат.

В работу

Получили основание для следующего шага.

×
Закрыта

Больше не тратим на неё ресурсы.

+
Со временем появляется самое ценное

Реестр гипотез превращается в базу знаний о собственном бизнесе

Через несколько циклов у бизнеса появляются не абстрактные советы из интернета, а собственные ответы: что влияет на клиента, что не влияет, какие каналы работают, какие барьеры реальны и какие решения уже проверялись.

Ошибка №1

Делать всё без проверки

Дорого ошибаться и непонятно, почему что-то сработало.

Ошибка №2

Проверять бесконечно и ничего не внедрять

Исследование тоже может превратиться в способ не принимать решение.

Здоровый цикл
достаточно данных решение действие новые данные следующая гипотеза
Финальный промпт этапа 07

Собрать реестр маркетинговых гипотез

Ты — маркетинговый аналитик.

У меня есть результаты работы
с маркетинговыми гипотезами:

— исходные сигналы;
— факты;
— наблюдения;
— сформулированные гипотезы;
— приоритеты;
— дизайн тестов;
— результаты;
— выводы;
— решения.

Собери рабочий реестр гипотез.

Для каждой гипотезы создай поля:

1. ID / название гипотезы.

2. ИСТОЧНИК
Из какого этапа или сигнала
она появилась?

3. ОСНОВАНИЕ
Какие факты или наблюдения
её поддерживают?

4. ФОРМУЛИРОВКА
Что именно предполагаем?

5. СТАТУС ДАННЫХ
Факт / гипотеза / неизвестно.

6. ПРИОРИТЕТ
Высокий / средний / низкий / неизвестно.

7. СТАТУС ГИПОТЕЗЫ
Выбери один:

— НУЖНЫ ДАННЫЕ;
— В ОЧЕРЕДИ;
— ТЕСТИРУЕТСЯ;
— АНАЛИЗИРУЕТСЯ;
— В РАБОТУ;
— ЗАКРЫТА.

8. ТЕСТ
Как проверяем?

9. ОСНОВНОЙ СИГНАЛ
Что наблюдаем?

10. РЕЗУЛЬТАТ
Что показали данные?

11. КАЧЕСТВО ДАННЫХ
Можно ли доверять выводу?

12. ЧТО УЗНАЛИ
Какое новое знание получили?

13. ЧТО ОСТАЛОСЬ НЕИЗВЕСТНЫМ

14. РЕШЕНИЕ
Что делаем дальше?

15. СЛЕДУЮЩИЙ ШАГ

После этого:

— отсортируй гипотезы по текущему статусу;
— отдельно покажи гипотезы,
  которые требуют данных;
— отдельно покажи активные тесты;
— отдельно покажи закрытые гипотезы,
  чтобы к ним случайно не возвращаться без новых оснований;
— выдели знания,
  которые уже можно считать рабочими выводами бизнеса.

Не удаляй неудачные гипотезы.

Они нужны как история решений.

Не называй гипотезу доказанной,
если тест дал только ограниченный сигнал.

Не придумывай недостающие результаты.

Если информации нет,
ставь статус:
НЕИЗВЕСТНО.
Как работает этап 07
основание гипотеза приоритет минимальный тест результат знание решение
Главное после этапа 07

Маркетинг становится сильнее не тогда, когда мы угадываем чаще

А тогда, когда умеем быстро понять: что мы знаем, чего не знаем, что стоит проверить и какое решение принять после результата.

Этап 07 завершён Проверять решения научились. Осталось понять, работает ли маркетинг в целом. Следующий и финальный этап — 08 «Оценивать результат». Соберём показатели, свяжем их с целью и разберём, как отличать движение бизнеса от красивых цифр в отчёте.
Made on
Tilda