0:03 Коллеги, здравствуйте!
0:04 Четверг, последний четверг апреля.
0:07 Это всегда очень нервное время, потому что перед майскими праздниками все хотят все успеть.
0:12 Сегодня у нас очередной вебинар.
0:14 И гостья, которые пригласил Балтобек Бекенов.
0:17 Прекрасная Юлия Рубцова.
0:18 По приглашению Балтабека.
0:19 Балтабек, подключайся.
0:24 Сегодня мы продолжаем серию докладов о том, как быть дей дейтатадривом, все, что мы ранее рассказывали, наверное, еще раз инвентаризировать, синтезировать и превратить в некоторый перечень колл-экшен.
0:35 Сегодня о том, как тестировать гипотезы, о том, как переходить между этапами тестированки, пользуются, чего начать, чем закончить, как это вообще все происходит на самом деле, в крупных компаниях, и не только.
0:46 Здесь, кстати, нюанс.
0:47 Про небольшие компании мы тоже поговорим.
0:49 И сегодня об этом расскажет Юлия Рубцова.
0:52 Она является ПД в дата сенс, также является дата продукт оунером и архитектором ленин решений.
1:00 Последние 8 лет отвечает за запуск, рост и развитие тип продуктов, в том числе сложных, как она пишет, наукоемких продуктов, которых используются технологии дата сайс и машинного обучения.
1:12 Ну, и сегодня, наверное, можно сказать, что там в эпоху, ГП-ти, да, сегодня же наша эпоха, так называется,, да.
1:19 Возможно этим уже никого не удивишь, вот, но скажу, что на самом деле это поле не паханное, и когда мы пишем чат, дептизит, что-то, да, кажется, что это все на самом деле просто, как и любой продукт, когда мы им пользуемся, если он спортивный хорошо.
1:34 Вот, а сегодня мы как раз поговорим про сложные штуки, подкапотные, наверное, да.
1:38 И серии докладов Дейта Дривен, как мы любим говорить, это доклады, которые транслируются от гиков для гиков.
1:46 Поэтому мы ожидаем, наверное, такие же гиковские вопросы.
1:51 Давайте слушать крутой доклад.
1:53 Я тоже немного представлю.
1:55 Сегодня мы как раз поговорим про тестирование продуктовых гипотез.
1:58 Мы действительно, когда начинаем пользоваться продуктом, нам удобно, нам классно.
2:03 Но вот это винтэссенция того, что дошла до конца: в самом начале продукта было очень-очень много гипотез, которые почему-то не были валидированы, провалились, не сработали.
2:12 И в продукте осталось только то, что должно было остаться - в продукте.
2:16 Меня представили, я действительно руководитель продуктов, архитектор ДК Сенс Лишей, провожу до этого трансформации.
2:22 У меня перед защищенная, но самое интересное, наверное, из этого всего я уже 11 лет занимаюсь искусственным интеллектом относительно профессионально.
2:30 Если не говорить про относительно профессиональный, моя бакалаврская работа тоже была связана с искусственным интеллектом.
2:36 Поэтому, когда я перешла в продуктовую разработку, у меня не стояло вопросов, что гипотезу нужно проверять.
2:42 У меня не стояло вопросов, что гипотезу нужно формулировать, и то, что они должны быть валидированы тем или иным способом.
2:47 В чем вообще разница?
2:48 Почему мы говорим про гипотезы?
2:50 Невозможно выстроить дейта-дривен подход, если работать только задачами.
2:54 В задачах есть четкая ситуация с явно заданной целью, и мы пытаемся достичь эту цель.
3:00 То есть, у нас есть вариант, а, мы достигли цели, мы молодцы, мы красавчики, мы закрыли задачу, и вариант Б мы провалили задачу, надо что-то с этим делать, надо переделать, чтобы эта задача была сделана.
3:10 То есть у нас есть цель сделать задачу.
3:13 И мы работаем в этих рамках.
3:15 В чем у нас идет отличие от гипотезы?
3:18 В гипотезе мы разрешаем себе ее провалить.
3:22 Более того, когда мы начинаем генерировать продуктовые гипотезы, на начальном этапе наша задача провалить как можно больше гипотез.
3:30 То есть протестировать эти гипотезы до того, как они ушли в обработку.
3:34 Протестировать эти гипотезы до того, как они ушли в полноценный продакшен.
3:38 Чтобы в конце в результате получить очень классный, очень комплексный, очень цельный продукт, который будет нравиться пользователям.
3:46 Давайте посмотрим отличие.
3:47 Если задачей, нам очень важно иметь цель, и мы движемся к этой цели во что бы то ни стало, то в гипотезе у нас есть такие слова, как мы полагаем.
3:57 И вот эти слова, как только мы разрешаем себе полагать, они заставляем себя делать, позволяют сменить майндсет и позволяют понимать, что ага, окей, теперь у меня есть возможность ошибиться, возможность ошибки.
4:11 Очень сильно здесь помогают примеры с
4:14 обучением детей, обучением взрослых.
4:16 Когда мы учимся, наша задача - совершить ошибки, чтобы когда мы начинаем работать, этих ошибок уже не совершать.
4:22 И чем больше ошибок мы совершим во время обучения, тем меньше ошибок мы совершим во время работы.
4:27 Так вот, с гипотезой, например, такая же штука.
4:29 Чем больше ошибок мы совершим до того, как мы мы то, что делаем, уйдет пользователю, тем меньше негативных отзывов мы получим в результате вернувшихся нам от этого самого пользователя.
4:39 Итак, фремворк-гипотезы выглядит следующим образом: мы полагаем, что мы решим некоторую проблему.
4:44 Мы ее не решаем, но мы очень надеемся, что мы это сделаем.
4:47 Для кого-то мы это делаем, то есть мы решаем проблему не мира во всем мире.
4:50 Мы точно знаем, что мы сужаем проблему и решаем для
4:54 определенной аудитории.
4:56 Для этого мы проводим некоторые изменения.
4:58 То есть, что мы будем делать?
4:59 И мы окажемся правым, если мы получаем метрики.
5:03 Последнее предложение часто забывается: я предлагаю нам помнить, потому что гипотезы они все-таки изменимы, они формулируются в явном виде, и они измеримые.
5:13 Потому что если мы с вами забудем про метрики, мы получим вот такую картину.
5:18 То есть мы настроили каких-то гипотез, обыстреливали, получили дырочки и полиня, что классно.
5:24 Теперь мы можем сказать, в общем-то, мы именно этого и хотели.
5:27 Мы вот именно сюда и целились.
5:28 Но на самом деле это не так.
5:29 И мы из-за этого не получим тот продукт, который хочет увидеть пользователь.
5:33 Наверняка вы знакомы с хади-циклами, то есть, у нас есть гипотеза, сформулированная в явном виде с метриками.
5:40 У нас есть действия, которые мы предпринимаем, у нас есть анализ по результатам этих действий и некоторые выводы.
5:47 В двух из этих квадратиках, то есть, у нас есть гипотеза, которую относительно мы умеем формулировать, но иногда забываем не от реки указывать.
5:54 У нас есть действия, которые, как правило, делаются вообще отлично.
5:57 Мы выполняем гипотезу.
5:59 У нас есть анализ, который тоже может кое-где проседать.
6:02 И если у нас два квадратика из трех сделаны серединка на половинку, то выводы у нас тоже от этого могут пострадать.
6:08 И из-за этого новые гипотезы сформулированы будут на основании не совсем корректных данных, несовсем корректных водных.
6:15 Как правило, когда мы начинаем говорить про тестирование, про тестирование гипотез, вспоминаются об тестировании, многоруки бандит и прочее.
6:24 Но тогда мы только собрали пул, большой пул гипотез, мы не можем еще выходить со всеми продакшен.
6:30 Нам все равно нужно отсеять часть гипотез уже на этом первом этапе.
6:35 Поэтому не всегда тестирование гипотез - это значит разворачивание сложных систем, это значит выделение кого, раскатывание тестов, раскатывание алгоритмов, вычисление доверительных интервалов, тестирование гипотезы может запросто проходить в формате опросов, в формате ретроспективном анализе логов и подобных.
6:54 То есть, наша задача - это удостовериться и убедиться, что гипотеза может быть сработает, может быть, не сработает.
7:00 То есть мы проводим такой риски, а самшн тест, проверяем и идем дальше.
7:04 Либо не идем дальше, если гипотеза не будет болидирована.
7:07 Но как это за дизайнери?
7:09 То есть, как в самом начале делать так, чтобы у нас анализ основывался на реальных действиях, и выводы основывались на реальных данных, которые мы получали из анализа?
7:17 По роду деятельности и в компании я очень много работаю с детальцем.
7:21 У нас не всегда есть большая-большая выборка людей, на которых мы можем протестировать, или кастомеров.
7:27 Часто бывает так, что мы оптимизируем процессы.
7:30 И в этих процессах у нас представим такую ситуацию: у нас есть колл-центр или кастом-ка-центр, и есть идея, гипотеза, что
7:39 некоторые искусственные интеллект могут помочь расшифровать разговоры с клиентами, делать он будет поджижение реального времени, он может подсказать решения, показать подсказки агентам, которые обслуживают этих клиентов.
7:52 И мы формулируем гипотезу: Окей, мы полагаем, что снимем время на обработку легких запросов и запросов средней сложности.
8:00 Для этого мы будем выдавать вероятные ответы или подсказки.
8:04 Здесь важно помнить, что нельзя оптимизировать все и сразу.
8:07 Очень хочется иногда оптимизировать и время, и деньги, и чтобы еще всем было хорошо, все были веселы и довольны.
8:15 Но нет, у нас есть только одна метрика, которая оптимизируется одной гипотезой.
8:19 Мы одну метрику можем зафиксировать и стараться ее не уронить.
8:23 То есть, в нашем случае мы оптимизируем время на обслуживание легких и средних по сложностей запросов на 40%.
8:29 Но мы не снижаем качество.
8:31 То есть, казалось бы, окей, как мы будем проверять эту гипотезу?
8:34 Нужно задизайнирить эксперимент.
8:36 Я рекомендую: вместе с документацией, когда вы готовите какую-то проектную документацию, гипотезы складывают туда же как формулирование гипотез, так и дизайн экспериментов.
8:46 Потому что эксперименты дизайнерсы, ну, вот у нас они конкретно дизайнеры, еще на моменте мы сформулировали гипотезу, и мы уже понимаем, как мы будем ее проверять.
8:55 Потому что, если мы не понимаем, как мы будем ее проверять, то вполне возможно, что к тому моменту, когда мы все реализуем, выконец продав,цы мы не будем знать вообще хорошо или нехорошо, что мы хотели добиться этой гипотезы.
9:06 И как мы будем проверять, если у нас в пол-центре теряют, например, 20 человек.
9:09 Мы не Ти-Мойл, у нас небольшой пол-центр, кастом и к центр.
9:13 Дальше начинается дизайн-гипотезы.
9:15 И один из дизайнов проверки подобной продуктовой гипотезы может выглядеть схематично таким образом: мы делим наш колл-центр на две группы - здесь группа А и группа Б.
9:25 Обе группы проходят обучение и начинают работать.
9:29 Мы через некоторый промежуток времени нормализуем время на обслуживание каждого из типов запросов.
9:35 У нас три типа вопроса: простые, средние и сложные вопросы.
9:39 После этого группа А для нее ничего не меняется.
9:43 Она как работала, так и работает.
9:44 Группа Б проходит тренинг по использованию вечей, которые разработаны, подсказки, которые разработаны нами.
9:51 И мы запускаем еще один месяц работы, и также
9:55 И вот здесь вот наша гипотеза: что на обслуживание простых и сложных вопросов мы сумеем сократить время на 40%.
10:02 То есть, ага, вроде бы так за дизайнерами, вроде бы все хорошо, и можно даже практически с этим уезжать и раскакиваться.
10:09 Но давайте еще раз посмотрим, что значит простые сложные вопросы, как мы это себе представляем.
10:14 То есть, у нас есть среднее время.
10:15 Это то, как мы думаем, то, как оно есть сейчас.
10:18 И вот здесь вот надо запомнить, потому что эти данные у нас должны собираться.
10:23 У нас должны собираться данные: что такое простой запрос, что такое средний сложности запрос, и что такое сложный запрос.
10:29 Ну у нас должно собираться время.
10:31 Без этих танк мы в целом проверить нашу гипотезу не сможем.
10:34 После того, как мы пройдем все циклы разработки, раскатаем гипотезу в продакшн, выкатим ее, обставим вопрос о том, что нам необходимы данные.
10:42 Если они не собираются, мы попросим начать их собирать и можем проверить гипотезу только через определенное количество времени, когда данные соберутся.
10:50 Именно поэтому мы предполагаем, и мы начинаем дизайнировать проверку гипотезы в тот момент, когда мы понимаем, что окей, гипотеза валидирована, мы взяли ее в работу.
11:01 Поехали делать, удостоверяемся, что все на месте, что данные есть, а у гипотеза может быть проверена.
11:08 И с чего начинается дизайн проверки гипотезы.
11:11 Он начинается с метрик.
11:13 То есть у нас нужно понимать, какие метрики мы оптимизируем, какие метрики у нас трактирующие, и какие метрики мы фиксируем и наблюдаем, чтобы их не ронять.
11:23 То есть, первое, с чего мы начинаем, это формулировка гипотезы в яблоном гибе и понимание бизнес-метрик, с которой мы работаем.
11:30 Для нашей гипотезы, которая была описана в примере, у нас есть среднее время на звонок - то, что мы уже собираем, у нас есть среднее количество обслуживаемых клиентов запросов за смену.
11:42 Потому что часть метрик у нас проксирующий, часть метрик у нас вот среднее время зазвонок, оно достаточно инертное.
11:48 Оно будет долго изменяться, не будет так, что раз, и все случилось счастье.
11:52 Количество обслуживаемых запросов за смену тоже может меняться, в зависимости от того, простые запросы приходили или сложные.
11:58 Как проксирующие метрики дополнительные, мы можем смотреть например, ожидания ответа, удовлетворенности клиента и другие.
12:05 Следующее, что нам нужно понять, это эффект новизны, эффект сети, как мы его будем отслеживать.
12:12 Если мы раскатаем новую фичу, мы можем столкнуться с двумя разными поведенческими паттернами.
12:18 Первый поведенческий паттерн - это что все плохо?
12:21 Верните, как было, мне было классно, удобно.
12:24 Вы сделали что-то не то.
12:25 Просто потому что подвинули кнопку на 2 пикселя в сторону, я теперь ее не вижу, потому что раньше я вообще закрывалась несмотря на экран с открытыми глазами.
12:33 Сейчас все поменялось, верните, как было.
12:37 Раскатали на популярных блогерах, на лидерах мнений.
12:41 Лидеры мнений рекламируют.
12:42 Все тоже очень хотят.
12:44 Можно из недавнего вспомнить пример Клабхаунса: это не то, чтобы фича - это целое новое предложение.
12:50 Приложение запустили, кого-то пустили, кого-то не пустили, раздали инвайты, все очень хотели туда, и где мы сейчас становится с этим приложением.
12:59 Для нашей гипотезы возвращаясь к ней, мы определили, что мы уже знаем, что в нашем колл-центре, если мы добавляем любую новую фичу, то агенты примерно 7 дней ее переваривают, начинают пользоваться ей, изучают, какие пользоваться, и только после этого они такие: а, ну окей, все, мы поняли: любая смена интерфейса, любая смена криптов, им требуется 7 дней на адаптацию.
13:22 Поэтому мы здесь закладываем, что у нас 7 дней уйдет только на то, чтобы агенты научились привыкли к новой фиче.
13:30 А следующее, что мы смотрим, это два таких классных показателя, о которых часто спорят.
13:37 Это минимальный рост или снижение конверсии, которые можно задать и определить при заданных объемах трафика и базовой конверсии.
13:46 И уровень значимости - наш П-В.
13:50 Почему они интересны?
13:51 Они вызывают много споров, много дебатов.
13:53 Показатель уровень значимости, который часто выделяют, выбирают - это 5%.
13:58 Это вероятность того, что возникнет случайное наблюдение, которое подтверждает нашу гипотезу.
14:06 Хотя гипотеза на самом деле базовая гипотеза провальная, она не должна быть валидирован.ным Этот показатель пришел к нам из фильмики.
14:12 То есть, очень много гипотез, проверки гипотезы очень тесно связаны с научной деятельностью, потому что там нужно проводить наблюдения за реальными объектами, за окружающим миром, записывать и предполагать, в каких процентов случаях мы можем удостовериться в наблюдаемом событии.
14:30 А в нашей жизни, в уровень значимости, калькуляторов тоже иногда выставляют эти вот пиве, или выставляют высокие, и потом страдают, не могут разобраться с тем, как вообще, почему столько много событий должно произойти, или столько много клиентов должно прийти, а как вообще мне набрать вот эту базу.
14:48 И давайте разбираться.
14:49 У нас есть разные примеры из жизни, в которых происходит тестирование.
14:53 Так как я работаю с машинным обучением, то даже машинном обучение есть, например, область фармацевтики.
14:59 В которой, если у нас 5% из 100% будут захрейдены, а это какая-нибудь новая пилюля, то, наверное, это не очень круто.
15:06 Если мы занимаемся разработкой условной Тесло, и наше Тесло будет 95 раз парковаться на парковочное место, а 5 раз парковаться в стену дома, то, наверное, это тоже корявый вариант.
15:17 То есть, в таком случае нам нужно увеличивать уровень значимости уменьшать до 0,001% для того, чтобы получить ожидаемый результат, и для того, чтобы сократить набор случаев, в которых мы оказались не верны.
15:30 С другой стороны, мы можем работать в парадигме интернет-магазинов и предположить, что новый путь конверсии, который чекала и корзину, предлагаем пользователю, он будет более конверсионный.
15:44 В таком случае нам не нужна такая суперточность.
15:47 Потому что в этом случае нам нужно хватить точности, условно, 20 уровня значимости составляет, чтобы он составлял 0,2, и нам этого будет достаточно.
15:57 Часто бывает, когда люди начинают проводить эксперименты, они оставляют вот этот 0,05 значения в калькулиторах, смотрят, раскатывают эксперименты, и дальше начинается: так: окей, я получил допустим не 95, а 93.
16:10 И вот здесь начинается такое сделка с дьяволом.
16:12 Ну, вроде не 95, но наверное тоже продакшн раскательно, потому что как-то жалко все то время, которое потрачено.
16:18 Сейчас мы будем к этому постепенно приближаться, что с этим делать, как с этим составлять.
16:23 А все эти показатели, они между собой зависят - объем выборки зависит, количество проведения эксперимента и то, какие мы пытаемся выбрать уровни уверенности между
16:35 в нашем эксперименте.
16:36 А следующее, что должно быть задизайнером в эксперименте, - это целевая аудитория.
16:42 Если мы говорим о интернет-магазинах, то это действительно чаще всего человек пользователь сеть, который совершает некоторое действие.
16:50 Если мы говорим про валидирование других продуктовых бикор, если у нас не интернет-магазина, нам все равно надо что-то сделать и провалидировать, то здесь мы можем подменить понятие и использовать понятие событий.
17:02 Вот, конкретно в нашем случае используется понятие события, то есть понятие обработки запроса.
17:08 Это может быть простой запрос, средний сложность и сложный запрос.
17:11 И здесь мы так и определяем: что мы должны разделить запросы на простые сложные средние сложности, и для нас аудитория будут запросы.
17:21 Когда мы говорим о терминах интернет-магазина, то у нас мы делим аудиторию на сегменты.
17:27 Это плотно пересекается с последующим пунктом: это пересечение аудитории, и то, каким образом мы будем эту аудиторию делить.
17:35 В нашем случае мы поделили запросы на простые и сложные и средние сложности.
17:40 В классическом тестировании мы можем делить рандомизацию: делать по времени, можем стратификат выборов делать, когда из каждой по чуть-чуть взяли, и вроде бы остались в том же самом состоянии по характеристикам аудитории, но гораздо меньше группы взяли -
17:56 на разные социальные кластеры.
17:57 И пересечение аудиторий.
17:59 Здесь мы начинаем думать: ага, мы операторы между собой тесно общаются.
18:04 И все они получают запросы согласно очереди.
18:06 То есть мы не можем никак дополнительную логику накрутить на получение запросов, потому что тогда нужно будет тестировать другую гипотезу.
18:13 Мы хотим сделать так, чтобы у нас не пересекались операторы, которые работают с искусственным интеллектом, с подсказками, и операторов, которые работают просто так сами по себе, без подсказок и без искусственного интеллекта.
18:26 Поэтому, что мы делаем?
18:28 Мы делим операторов по сменам.
18:30 И в дизайне экспериментов мы говорим о том, что будут смены с подсказками, смена без подсказок.
18:36 Следующее, о чем нам нужно подумать, это санити-чек.
18:39 Это инвариантная метрика.
18:40 При меня часто забывают, то есть это некоторые А-А-тест.
18:43 Мы замеряем метрики, которые происходили до того, как начался тест, и метрики, которые происходят эта же самая метрика после того, как тест завершился.
18:52 Важная метрика при подведении итогов эксперимента первое, что мы смотрим, это саммит-чек.
18:57 Если метрика изменилась, то все остальное тоже может поменяться.
19:00 Мы не можем доверять этому эксперименту.
19:02 Как она может поменяться?
19:04 А у нас есть очень простой пример - с ковидом.
19:06 Если кто-то запускал эксперимент в декабре 2019 или в марте 2020, то, скорее всего, сами чек-метрика очень сильно изменилась, и все эксперименты, результаты экспериментов, которые проходили в это время, доверять уже нельзя.
19:20 Очень часто станите чек - это тоже некоторое отношение.
19:24 То есть, это не абсолютно величина, но в нашем случае количество звонков может служить станете чеком, потому что мы хотим протестировать подсказки в относительно спокойное, стабильное время.
19:36 Мы не хотим тестировать подсказки во время рождественских распродаж или во время каких-нибудь ураганов и обрывов.
19:43 Мы хотим в обычное время тестировать.
19:45 Следующее, что мы должны выбрать, это продолжительность эксперимента.
19:48 Эта метрика часто зависит от количества событий, от уровня статистической значимости, которая выбирается.
19:55 Они все между собой провязаны.
19:56 Можно будет открыть калькулятор, поиграть между собой позвонками и посмотреть, что, в общем-то, даже на небольшом объеме событий и посетителей можно тоже поставить эксперименты, которые не будут длиться три года.
20:08 Важно фиксировать продолжительность эксперимента.
20:11 Нельзя ставить эксперимент и оставить его на 3 года, просто дожидаясь, а когда же какая-нибудь методика сработает.
20:17 То есть, есть примеры, когда запускается эксперимент в гипотезе, в которой люди очень-очень сильно уверены, и они такие, блин, пока опять нету статистической значимости, ни туда, ни сюда кажется, что путь еще поработает.
20:30 Возможно, что-то пройдет.
20:32 И так оно и висит там 2-3-4 месяца.
20:34 Нет, у эксперимента есть время начала, время конца.
20:38 В нашем случае мы проанализировали и поняли, что их продолжительность эксперимента у нас будет 2 месяца.
20:44 Можно посмотреть на цикл того, как проходит какое-либо событие внутри вашей системы.
20:50 А мы посмотрели и разобрались, что в целом за месяц мы получаем основной запрос, основной массив запросов, и ничего нового там не будет.
21:00 Мы не можем говорить про две недели, потому что у нас одну неделю будет только происходить привыкание к новой системе, когда мы раскатываем, эту неделю нам нужно будет проигнорировать и рассматривать только остальные недели, когда будем анализировать эксперименты.
21:13 Следующее, о чем мы думаем, это данные.
21:15 Такие данные нам понадобятся для валидации, какие для ее опровержения.
21:19 И вот здесь я и говорила: что мы начинаем с того, что определяем: авант: мы придумали гипотезу, мы ее проскарировали.
21:27 У нас появилась модель приоритизации, мы готовы ее разрабатывать, брать в продакшн, и побежали.
21:35 И вот до того, как мы побежали, мы должны понять, а что мы должны, какие данные мы должны собрать для того, чтобы потом эту гипотезу проверить.
21:42 И вот здесь аналитика простых и сложных вопросов конкретно в этом случае.
21:48 Что нам нужно, чтобы протестировать эту гипотезу?
21:51 Здесь у нас может быть покупка специального софта, найм-разработчиков, сбору конкретно в этом случае, если мы опять возвращаемся к гипотезе про кастом-край-центр, это может быть до обучения персонала, значит, разработка и инструкции.
22:03 То есть нам нужно потратить еще какое-то время, денег, ресурсов на то, чтобы эта гипотеза состоялась, и мы могли ее проверить.
22:11 Ну и план действий: планом действий: мы точно знаем, что будем делать, если гипотеза валидирована.
22:17 Потому что мы знаем, что мы хотим, чтобы гипотеза была валидирована, и мы делаем все возможное, чтобы она была валидирована.
22:24 Иногда мы даже пытаемся подглядывать в эксперименты до того, как завершилось установленное время эксперимента, продолжительность эксперимента.
22:32 И это делать, конечно же, вообще никак никоим образом нельзя.
22:36 В некоторых организациях есть прямо запрет, эксперимент раскатали, продакт-менеджеры, и все.
22:44 То есть у них нет технической возможности подсмотреть на метрики эксперимента.
22:48 Пошел ли от лифт, пошли ли метрики вверх, вниз, что происходит?
22:51 Гипотеза будет проверяться 8 недель.
22:54 Через 8 недель можешь прийти и посмотреть результаты.
22:58 До этого и на них этих результатов смотреть, для того, чтобы не паниковать, не менять на ходу коней, а дождаться завершения эксперимента.
23:05 Если ты его правильно за дизайнером, то значит приходи и смотри эти результаты потом.
23:10 А дизайнерам нужно понять, что делать, если гипотеза провалена.
23:13 То есть у нас появились некоторые лес-энс-лемов, мы знаем, что мы будем с этим делать, мы готовы к тому, что гипотеза будет провалена.
23:20 И самое сложное - это нужно понимать, что делать, если не произошло никаких изменений, что должно происходить, что будет случаться, если гипотеза оказалась вообще никакой.
23:31 То есть мы ее не раскатываем на 3 года, мы должны что-то с этим сделать.
23:35 Но и как варианты во всех этих случаях мы завершаем до конца проверку, и если гипотеза валидирована, мы там бизнес-метрику и делаем второй этап, если гипотеза провалена, опять же, делаем второй тест, если гипотеза не изменилась, мы смотрим стоимость функционала, пересматриваем изменения, опять же, можем катить в прот.
23:53 Часто такой не знаю, хитрый-нихитрый случай, мы если не происходит никаких изменений, мы все равно катим в прот, потому что нам нужно раскатать продакшем некоторые пайплайн.
24:06 И первые модели, которые мы делаем, они условно в формате году, то есть, они еще не обладают такими крутой мощностью для изменения, для подсказок, но нам уже нужно научить пользователей.
24:19 Поэтому если ничего не произошло, но еще мы очень много сил потратили на то, чтобы все это сделать.
24:23 И мы точно знаем, что следующие модели, они будут улучшать юрсперинс, производительность и Не целом, быстродействие систем.
24:32 Окей, вот я рассказала сейчас очень-очень много всяких пунктов.
24:36 Наверняка вы многие из этих пунктов знаете, наверняка многие из этих пунктов делаете, но почему мы об этом говорим и почему мы собираем это все проговариваем несколько раз?
24:46 Потому что я собрала это все в некоторых продуктах Кенвас, потому что про какие-то из этих методов их очень часто забываются.
24:54 А когда я начинаю работать, я не часто вижу с вами человек.
24:59 И часто слышу вопрос, а что это такое, как ее изменять.
25:01 Я часто встречаюсь с тем, что люди подходят к проверку, компания подходит к проверке, а нет данных, на которых проверяйте.
25:09 И такие, ну окей, у нас вот этих данных нет, но есть другие, давайте на них проверим.
25:12 Так вот, нет, на них мы будем проверять другую гипотезу.
25:15 И это важные моменты, как с этим можно работать.
25:17 Кажется, что это большой такой кенвас, туда очень много чего можно записать, но он умещается на одну страницу.
25:24 И если накидать туда стиль, то ваша гипотеза будет задизайнерена полностью для качественной проверки проведения всего эксперимента.
25:32 И ее можно положить в документацию, положить в контлюнис, и в следующий раз, когда у вас будет подобная гипотеза, вернуться и посмотреть, а что было сделано в прошлый раз и как оно отработало.
25:41 Подведем итог для тех, кто проспал все, то сегодня мы попытались отсеять, попытались поговорить в парадигме гипотез, и попытались убедиться, что наша задача - отсеять как можно больше гипотез, как можно раньше.
25:54 То есть это прямо задача.
25:55 Мы сначала генерируем гипотезы, а потом делаем все возможное, чтобы у нас осталось в работе 1-2-3 гипотезы, иначе нам придется очень много работать, и будет это очень долго.
26:06 Мы поговорили про то, как задизанить эксперимент, если у нас всего 20 пользователей, и о том, что можно мыслить не только в рамках пользователей, но и в рамках событий, которые эти пользователи совершают.
26:16 Обсудили, почему данные надо готовить заранее, не брать то, что дают.
26:19 То есть, если вам предлагают что-то не то, что нужно для проверки гипотез, мы собираем те данные, либо мы должны как-то переформулировать гипотезу, а эту будем проверять, когда данные соберутся.
26:28 Поговорили, что такое вариантная метрика.
26:31 Что делать, если гипотеза провалена?
26:33 И обсудили канваз для дизайна гипотез.
26:37 Юрий, спасибо, огромное.
26:38 Много позитивных чувств вызвала.
26:40 Некоторые из них я вспомнил, когда ты сказала про то, что в самом начале нам нужно как можно больше провалить гипотез.
26:46 Напомнила мне одну стартаперскую диаграмму.
26:48 В контексте стартапов у меня в голове возникло, но вообще она касается вообще цифровизации и информатизации.
26:53 Что в начале пути, когда продукт еще существует как идея, у нас огромная степень свободы и очень низкие затраты на то, чтобы идею улучшать.
27:02 А в конце пути, когда мы уже вышли в прод и продукт уже в инфраструктуре развернут, то у нас очень маленькая свобода, что-либо менять, и очень большие косты на то, чтобы эти изменения вносить.
27:13 И тогда, используя эту диаграмму на одно из своих выступлений, я сказал, что эта диаграмма означает, что вначале нам нужно как можно больше накосячить.
27:20 Что имеется в виду, что если предположить так, что существует какое-то вселенское кармическое количество ошибок, которые на проекте будут допущены, предположим, оно предзадано.
27:29 Мы это не можем проверить, но я фантазирую.
27:31 Но предположим, их 100.
27:32 То тогда в какой момент этой шахматной партии выгодно косячить?
27:36 Ну, конечно же, в начале - израсходовать весь запас ошибок, чтобы в конце выйти на какую-то более стабильную конструкцию.
27:43 Такая вот эмоциональная поддержка.
27:46 Константин Червонный пишет: Поясните подробнее, пожалуйста, как полный анализ данных может привести к фолз позитив?
27:54 Можно, я тебе помогу, Юль?
27:55 Ну, например, может, это отмазка, но мне кажется, хороший панч такой.
27:59 Теория выживших - про самолеты, которые анализировали на предмет того, где их нужно укрепить, чтобы они не падали.
28:04 А оказалось, что нужно мыслить наоборот, ну просто вот это эта вот ошибочно-,позитивная проверка когда на самом деле задача не решена, но было происследовано же все.
28:14 То есть, все дырки на фижеляжах были изучены, готовы были неправильные решения принять.
28:19 Есть ошибки первого и второго рода называются фуллифти и фул смерти ошибки.
28:24 И в зависимости от задач, которые решаются, важно анализировать их в совокупности.
28:30 То есть нельзя проанализировать действительно только вернувшиеся самолеты.
28:33 Это нужно то множество, которое не долетело.
28:36 И здесь, если мы делаем полный анализ данных, и кажется, что мы разобрали и одну, и вторую часть, то когда мы работаем с гипотезами, с моделями на машинном обучении, они тоже выдают ответ.
28:49 И там чат-джипти тоже выдает ответ, но они выдают не всегда точный ответ.
28:53 То есть, если у нас в зависимости от той задачи, которую мы решаем, можете написать задачу, которую вы решаем, и мы разберем, где здесь будет фолс кодиче,к а где фулс-медвичик результаты.
29:01 Слушая Юлю, относительно гипотез, я вспомнил один из первых моих диалогов со своим тогдашним работодателем, который стал моим бизнес-партнером.
29:08 А поскольку я его был исследователем, он мне говорил: мне нужен быстрый ответ.
29:13 Я понимаю, что он может быть неточным.
29:15 Но мне, как бизнесу, нужно, чтобы у меня такая метафора появилась.
29:18 Он пытается понять, ему сейчас налево идти или направо - грубо.
29:21 Он говорит: если я пойду налево и окажется, что неправильно пошел, я быстро переконфигурируюсь, проверю еще одну гипотезу, и таким вот образом выйду на правильный путь на ощупь.
29:31 Он не отказывался от исследования.
29:32 Он не говорил: прервите эксперимент, я уже готов принимать целую гипотезу.
29:36 Он просто просил, чтобы методы проверки были быстрыми.
29:39 Единственное, я бы, наверное, здесь порекомендовал сразу решить, кто будет брать ответственность за последствия.
29:44 Ну, потому что часто бывает, что бизнес говорит: дайте мне ответ быстрее, но продатовые менеджерам говорят, что вероятнее всего это приведет к ошибочному десину, да, дешен-мейкингу.
29:56 И потом-то все на их плечи ляжет.
29:59 То есть борьба с последствиями, ликвидация последствий, принятие новых решений, поиск новых отношений пожаров и многие менеджеры, да, не хотят с этим связываться.
30:08 Я слышала такое выражение, что продакт-менеджер, когда спрашивают, кем ты работаешь, он говорит: я работаю с тушителем пожаров, то есть не пожарным, не человеком, который реально, а вот тушение пожаром, потому что там выговорилось, сам договорился, надо все потушить.
30:22 Поэтому, когда мы говорим про проверку гипотез, приходит бизнес и говорит, проверьте гипотезу как можно быстрее.
30:30 У нас мы работаем не только с гипотезами, как мы работаем с рисками, мы работаем с условными оксиньсами.
30:37 И потом, когда мы понимаем риски, про открытые вопросы, мы переходим к гипотезе.
30:41 И гипотезу тоже можно проверять не всегда об экспериментами, контролируемыми тестами.
30:47 У нас может быть просто анализ логов.
30:49 И дальше есть у нас анализ логов.
30:51 Мы точно так же дизайнируем, что у нас есть гипотеза, потому что это некоторое знание для последующих людей, которые будут въезжать в проект, бордиться в проект, работать с этим проектом.
31:01 И для нас, если мы задизайнерили контролируемый тест, то здесь вот нет, нельзя прийти и так вот в штурку оковинуть и посмотреть, а что там, что там происходит на сцене.
31:10 Нет, мы все здесь закрываем, у нас здесь приходите через две недели.
31:14 Потому что если мы сейчас скажем ответ, он будет неверный, мы об этом не узнаем.
31:20 То есть мы все, мы выбрали нейерную дорогу, мы по ней идем, мы об этом не узнаем скоро.
31:24 Про те гипотезы, которые мы проваливаем, их нужно дизайнерить иначе.
31:27 То есть мы пытаемся очень быстро помогить много гипотез.
31:29 Фокус-группы, ретроспективный анализ, анализ логов - это все нам подходит.
31:33 Мы логи поанализировали, сказали, ну, вероятность того, что будет успех, вообще вот 3%.
31:38 Идем дальше, не идем дальше.
31:40 Я говорю, если онеру, если
31:42 инвестикомитету, директору еще кому-то важно узнать быстро, то можно выбрать гипотезу, которую по-другому сформулировать, которая быстро проверяется.
31:51 Либо, если, допустим, середина инструмента он придет и скажет: дайте мне какие-то промежуточные данные, то в конечном итоге он может даже не понять, ошибся он или нет, когда решение промежуточно какое-то, ну, на промежуточных результатах примет.
32:05 То есть он может даже не понять или не сразу понять, что он ошибся.
32:08 Ну и то есть не извлечь урок.
32:10 Соответственно, здесь, ну, такой, наверное, слишком большой риск.
32:13 Ну, к которому приходят, соответственно, на стадии созревания, да, так скажем, результатов.
32:19 У нас еще есть вопрос.
32:20 Можно еще примеры тестов, пожалуйста, и потом зачитаю второй вопрос.
32:26 Ну, третий, точнее, уже примеры АА-тестов, то есть им вариантная метрика.
32:31 Например, мы меняем чека-ут-корзины, и мы считаем, что сейчас у нас будет меньше брошенных корзин.
32:37 В качестве АА теста у нас может оставаться процент людей, которые добавляют что-то в корзину относительно общей массы людей.
32:45 То есть, у нас условно говоря, стоп посетителей сайта 5 из них что-то добавляют в корзину, 3 из них доходят до конца.
32:50 Мы хотим, чтобы 4 доходило до конца, и вот атест конкретно, если мы меняем только шаги внутри корзины, он будет.
32:57 Должна оставаться инведентом, что у нас отношение людей, которые что-то добавляют в корзину, это все те же самые 5 процентов.
33:04 То есть мы не говорим 5 человек, потому что мы можем дать рекламную кампанию, бизнес растет, бизнес развивается.
33:09 Поэтому я говорю, что чаще всего используется некоторая относительная величина: мы делим что-то общее на что-то частное, получаем относительно величина, она не должна меняться.
33:18 Конкретно в нашем случае с агентками нам в целом общее количество запросов было важно, потому что если у нас 20 человек, сегодня у нас 100 запросов, а потом Новый год и будет
33:32 300 запросов в день.
33:33 То это не значит, что агент плохо справился.
33:36 Это значит, что агент просто был перегружен в этот момент.
33:40 То есть он в целом не может продющить такое количество запросов.
33:43 Поэтому у нас была абсолютная величина.
33:45 Но, опять-таки, повторюсь, такое бывает вообще не в каждом, не в каждой гипотезе, и даже реже это бывает.
33:51 Я вынесло сюда, показать как такой уникальный аутлайер.
33:54 Есть еще один вопрос интересный от Антона Чикова.
33:58 Расскажите, как прогнозировать прирост по метрикам, формулировки гипотезы?
34:02 Какой процент ставить?
34:05 Вообще, спасибо большое за него.
34:07 Это действительно такой вопрос.
34:09 Потому что здесь опять сделка с дьяволом.
34:12 Тебе всегда хочется чего-то классного.
34:14 И ты такой: мы формулируем гипотезу и говорим о том, что мы что-то улучшим на какое-то количество процентов.
34:21 Если писать, например, 20%, выбираем нашу бизнес-метрику, раскатываем, проверяем гипотезу, улучшили на 19%, вот это вот формально считается, что гипотеза провалена.
34:32 И мы должны действовать по плану, который мы выработали, если гипотезу провалена.
34:37 Но тут начинается: ну блин, мы ее разрабатывали полгода, это фичу, да мы 15 человек работали, мы до сих пор в нее верим, да пользователи сами не знают, чего они хотят, а может, быть мы там что-то чуть-чуть ошиблись.
34:50 Вот я бы сказала, что цифра, после которой вы сказали, что не это правда, фиговая гипотеза, вот берите ее.
34:56 То есть, если бы такие улыбшилось на 3%, и вы такие, да не нет, это правда фиговая гипотеза, что ее хотеть в прот, вообще только лишний раз заморачиваться.
35:04 Давайте лучше новую проверим и по-любому она на 20% увеличит.
35:07 Но опять-таки, это если с чем вы сможете смириться.
35:11 Если вы делаете 20% и готовы смириться с 19%, и если у вас будет 19, вы катитесь в проб, значит ваша метрика 19.
35:18 Может, я задам вопрос?
35:19 Вот сейчас в эпоху, опять же, ДПТ, да, искусственный интеллекта?
35:23 Вот сейчас ты рассказывал про проверку гипотез на основе статистики, но помогает ли тебе сейчас?
35:30 И веришь ли ты в то, что вот продуктовую аналитику эксперименты может как-то в проактивном смысле взять на себя искусственный интеллект, ну, и как это, по твоему мнению, будет?
35:42 Как это разгрузит продуктового менеджера?
35:44 Может ли искусственный интеллект предиктивно взять и что-то потестить?
35:47 И потом прям подсказать тебе рекомендацию, что эй, продуктовая команда, вот здесь у вас конверсия вот такая, ну, как это сейчас происходит, например, в Гугл-аналитике, да, но просто на большем количестве данных, ну и на каких-то уже там коммерческих, плюс их совокупность, плюс какие-то еще установки.
36:08 Я в целом думаю, что профессия продукт-менеджера может измениться, потому что появляются новые продукты.
36:15 И появляются новые подходы к продуктам.
36:18 То есть сейчас очень много идет кастомизации, и человек уже сам хочет, чтобы ему было что-то было именно его, под него созданное.
36:28 У нас накопилось очень большое количество данных, и мы наконец-то данные накопились давно, но мы наконец-то научились их процессить относительно дешево.
36:36 Опять же, процессить мы тоже научились их давно, но это было дорого.
36:39 Сейчас это становится чуть более доступно.
36:42 И в этот момент кажется, что у нас очень сильно изменится фокус на продукты, которые будут заточены.
36:49 Это не будет продукт на сегмент.
36:51 Помните, мы начинали работу, у нас была аудитория МЖ 25, примерно такие.
36:58 Потом мы поняли, что, в общем-то, почему-то МЖ25, они все себя ведут по-разному.
37:03 У кого-то есть дети, у кого-то есть автомобиль, кто-то живет в Саратове, кто-то живет в Лондоне.
37:07 Почему-то они все по-разному себя ведут.
37:09 И мы начали говорить о сегментах, о когортах.
37:11 И у нас получились все равно достаточно большие выборки людей, которые мы полагаем, что опять же гипотезы ведут себя в определенных моментах, в определенных вот этих юзер-джоми аково.
37:24 А сейчас с появлением больших языковых моделей, с удешевлением искусственного интеллекта, можно полагать, что будут вообще кастомы, то есть будет под юзера А.
37:38 И вот под юзеры А мы не можем задизайнерить ничего.
37:42 Ну, то есть, это нужно очень большое количество людей, чтобы для каждого человека задизайнировать его персональный опыт, использования.
37:49 То есть, они уже появляются.
37:50 Проходишь мимо какой-нибудь условноточки в кафе, и тебе прилетают, да, иди к нам, будет скидка в кофейную или еще что-нибудь.
37:58 То есть, вот такой вот персонализированный - мало того, что персонализация по человеку, персонализация по поведению, нахождению человека по его условному маршруту - то есть у него дневной маршрут, дневной маршрут как-то плетаются искусственные интеллекты.
38:13 И мне кажется, главное нам будущее.
38:15 Да, я бы хотел, Аняцеевич, передать привет.
38:18 Ну, как бы мы с ней оба убеждены, что персонализация - это будущее.
38:22 Ну, и по сути, возможно, даже персоны исчезнут.
38:26 Ну, в классимческо понимании, да.
38:28 То есть, сначала были там, не знаю, какие-то кланы, которые говорили: делайте персоны байеров и так далее, потом делайте персоны, пользователей, потом появились джобс-табидан от интерпом, и начали говорить: типа, а вот джоб-стория больше, чем юзи истории, а вот джобы или там джобран лучше, чем персонаж.
38:45 Хотя на самом деле нужно все по чуть-чуть, а в итоге нужно сделать так, чтобы система автоматически такие инсайты сама приносила на основе данных.
38:54 Вот, соответственно, это будет такой да, аи, дейта-дривен, или как сказать, ну, типа, или персоназийш дривен, или адаптивные продукты, да, то есть продукты, которые дают тебе то, что ты хочешь, но ты, возможно, даже и не знаешь, что ты этого хочешь.
39:07 Это самая выигрышная стратегия, по сути.
39:09 Ну и, наверное, все даже рекламодатели к этому идут.
39:13 Ну, по сути, это таргетинг, может сказать, что это даже из рекламы, да, приходит.
39:17 Да, если ЮАЙ еще будет претерпевать какие-то метаморфозы, трансформироваться не только под день и ночь, да и лай тема, а еще и допустим, не знаю, вечером ты там указательным пальцем нажимаешь кнопку, а вечером большим пальцем, потому что ты в кровати лежишь.
39:32 А когда ты за рулем едешь, ты вообще не знаю, всю руку двигаешь.
39:36 Да, и средним пальцем нажимаешь, не знаю.
39:38 Да, или какие-то такие моменты, если даже будут учитываться, понятно, что это очень много вычислительной мощности нужно, но мне кажется, что к этому все идет, и это самая выиграшная стратегия по
39:52 обеспечению того самого кастами юридически, который будет, наверное, мычиться непосредственно с потребностями, с хотелками.
39:59 Вот, у нас есть еще вопрос от Рустема Яхина.
40:02 Юлия, какой порог валидации, гипотезы вы рекомендуете?
40:07 Я здесь буду таким вопросом на вопрос отвечу.
40:11 Что у вас за гипотеза?
40:12 Потому что я говорила, что если мы, например, порог валидации для Тесла сделаем в Пиверии
40:20 95%, то мы получим плохую машину.
40:25 Если мы сделаем для фармацевтики с таким же порогом, то мы получим плохую таблетку.
40:32 Нам нужно понимать, что за гипотеза проверяем.
40:34 Если мы сделаем такую штуку для интернет-магазинов, для кардины, то мы получим очень крутую кардину.
40:39 В общем-то, мы можем...
40:40 Вот здесь, вот, кстати, хитрость, что нам не нужна такая валидация, такая точность при валидации.
40:46 Потому что мы потратим больше времени, соответственно, денег.
40:50 У нас есть такие понятия, как упущенная возможность.
40:53 То есть мы проверяли месяц, а могли проверять неделю, потому что нам вот такая космическая точность здесь не нужна.
40:59 И мы можем закончить эксперимент, додизайнировать его с окончанием эксперимента через неделю, потому что у нас достаточно данных.
41:05 Но если мы хотим суперточность, 95%, мы ее ставим и получаем, что эксперимент будет длиться на наших данных три недели.
41:12 И вот эти две недели - они вишни для эксперимента.
41:15 Они тратят деньги, они тратят ресурсы, на которых ставится эксперимент.
41:19 Мы недополучаем прибыль, потому что могли бы уже раскатать продакшен, если все хорошо.
41:24 Все очень зависит от того, что за гипотеза.
41:28 Все очень кастомное.
41:29 Я не знала, как это здесь рассказать.
41:30 И большое спасибо за этот вопрос.
41:32 В одном и том же продукте один и тот же продакт-менеджер, дай бог, работающий в длительное время, в 2022 году может поставить гипотезу и получить один результат, а в 2023 гоставить такую же гипотезу и получить вообще другой результат.
41:47 Потому что у нас меняется мир, у нас меняется продукт, все живет, все развивается, мы купим все эти вот кенвесы, складываем в базу знаний, подшиваем их в документацию для того, чтобы понимать, ага, мы это делали тогда, когда у нас происходили какие-то
42:06 события, сейчас что-то поменялось, и мы можем повторить эту гипотезу.
42:10 Это не значит так, что я работал в компании А, я проверил гипотезу, красная кнопка лучше, зеленый, и теперь я приду в компанию Б, и на их продукте через два года буду везде лепить красные кнопки.
42:21 Потому что я вот когда-то тогда давно на каком-то том продукте проверил.
42:24 Нет, на одном и том же продукте один и тот же человек может получить две разному отвалидированные гипотезы.
42:32 У меня есть еще такой вопрос: смотри, мы с тобой, когда готовились к метапу, к докладу, мы затронули тему приоритизации гипотез и экспериментов, и ты рассказал про такую интересную штуку, ну, которую вы райс модифицировали под себя, и назвали его по моему ДИС.
42:47 И мне просто интересно, я знаю, что у многих продуктов они приоритет бэклок либо поквартально, либо чаще, и соответственно, они никогда не доходят до
42:58 среднего или низкого приоритета.
43:00 У них постоянно какой-то кипиш - вот именно где-то там первые топ-10.
43:04 А в случае с гипотезами - это тоже так?
43:06 Ну, вот по твоему опыту.
43:08 Бывает ли такое, что вообще хоть когда-нибудь может дойти до низкой приоритетных гипотез?
43:11 Им когда-нибудь уделяется вообще время, или они прям долго в ящике навсегда лежат?
43:16 Первая наша задача - это отсеять как можно больше гипотез.
43:19 То есть мы их нагенерировали, отсеяли.
43:22 И очень круто, если у нас осталось
43:25 10-15 гипотез, с которыми нам нужно работать.
43:27 Бывало такое, что вы полностью прям весь стек-гипотез, весь бэкблок полностью закрыли, и потом какой-то лаг во времени происходит, когда вы ждете, пока наполнится баклок.
43:38 Нет, так не бывает, потому что после проверки гипотезы вот эти вот хади-циклы они помогают.
43:44 Гипотеза - это как гидра.
43:46 Да, ты одну проверил, там 12 выросло, и ты подумаешь, что вот это да, вот это надо тоже проверять.
43:52 Ну, приоритизировать, потом проверять.
43:53 Нет, такого, что мы сидим, без работы нету.
43:56 Да, Юлей, я думаю, что сейчас можно анонсироваться по поводу приоритизации, непосредственно от повара экспериментов, ну, то есть от Юли, мы возможно, скоро вернемся.
44:07 Еще раз на метап и поговорим о приоритизации и о кастомизации райс именно для гипотез.
44:13 Юли, может быть, ты расскажешь, чем это может быть интересно, и как вы к этому пришли, чтобы немножко подогреть аудиторию?
44:19 У нас есть два типа гипотез - продуктовая - дейта-сайенс гипотеза.
44:22 То есть, у нас даже так, продуктовая гипотеза, она развивается на дета-сайенс гипотеза.
44:26 Да, у нас есть метод-гипотезы и дейта-гипотезы.
44:29 И нам нужна, продуктовые гипотезы мы проскорировали, поняли, там очень много завязано на бизнес, на импакт.
44:36 И дальше происходит момент, когда гипотеза уходит в разработку, есть такое понятие, как эффект.
44:43 И мы постоянно спотыкались об этом эффект.
44:46 Потому что, когда мы работаем с несколькими командами, и у нас есть зависимости между командами - у нас есть команда дата сайентистов, в каких-то организациях есть команда дизайнеров, в каких-то организациях есть команда исследователей, которые еще до дизайнеров могут проводить какие-то исследования, потом она идет в дизайн, потом еще куда-то.
45:03 Ну, то есть, как оценить вот такой вот эффрт,
45:07 как оценить эффект, если ты работаешь в матричной структуре?
45:10 Тебе вроде бы нужен дизайнер, ты пошел сходил к хеду дизайну, он тебе дал дизайнера, в один раз он тебе дал одного дизайнера, а потом он дал тебе другого дизайнера.
45:20 И ты в один раз ты такой: Ага, окей, кажется, эту задачу можно делать за такой приметок времени, вот такой.
45:26 Потом раз дает тебе джума.
45:27 А джун такой - ничего, сейчас две недели буду делать.
45:30 Это такой, да там же кнопки перекрасить.
45:31 Ну, как мы же все считаем, что это легко.
45:33 На самом деле там очень много всего интересного.
45:36 И начинаются зависимости между командами.
45:38 Вот первое, что мы сделали: у нас тоже у нас бей-кайс-команда, есть интеграционная команда, и есть иногда нужно продукт сделать ансамблирование моделей, потом это нужно раскатать и интегрировать в систему продукта.
45:52 И у нас появились зависимости.
45:53 То есть мы стали, ага, как продуктовую гипотезу, как этот эффект оценить?
45:57 Ну, типа, сложно или типа легко, или как?
46:00 Ну, то есть, с какой метрикой?
46:01 У нас было шкалирование числами Фибоначи.
46:05 Но опять-таки, нет такого, что можно взять и выделить одно единицу и сказать: вот это единичка, а вот это там двоечка, вот это там четверочка, восьмерочка и так далее.
46:15 И мы добавили букву Д.
46:19 Там в начале это было депенсис - когда есть зависимости между командами.
46:24 Мы смотрим, а вот эту гипотезу мы можем сами раскатать, проверить, выпустить
46:30 на коленке демку сделать.
46:32 А вот эту гипотезу мы не можем раскатать, проверить.
46:35 Вот эту гипотезу мы знаем, как делать, потому что у нас было 15 подобных проектов.
46:40 А вот это надо почитать статьи научные, посмотреть, какие-то арты.
46:44 Вот это вот буква Д, как депенсис.
46:47 Мы пошли дальше и поняли, что опять нам не хватает - потому что, ну, что, что у тебя зависимость с одной, с другой, с третьей командой, но опять-таки тебе могут попасться, у команды дизайнеров могут быть одни сложности, задачи, у них там может быть свой приоритет, свои КПР
47:06 И теперь у нас Д считается
47:10 этап дата сайенси, который мы выделили: ресерч, эксперименты, интерег.йшн и адопшн И вот самое важное, наверное, часть адопшена: потому что здесь проливаются основные слезы того, как оно выходит.
47:24 То есть, выйти в продакшн - это еще не все.
47:26 В продакшн - окей, с точки зрения технической системы мы можем заинтегрироваться много для этого инструмента а вот как сделать так чтобы это еще и клиенты стали пользовать
47:37 поэтому появилась буква Д, и Д у нас это как мы их называем условно драгон, скащие драконы.
47:44 Мы не знаем, появятся они или не появятся, но они влияют на приоритет гипотезы при ранжировании между собой.
47:49 Поэтому когда мы начинаем работу, мы начинаем с самых простых, с минимуммо зависимости, с минимум
47:54 сложностей, с которыми мы можем столкнуться.
47:57 Мы позбираем, развиваем и заводим.
48:01 Итеративно происходят вот эти процессы.
48:03 Вот хай-ди-цикл - это то, что мы используем постоянно, потому что мы не можем сказать: ОК, мы проверили, оно теперь в продакшен.
48:11 Нет, мы начинаем постоянно, итеративно, итеративно улучшить.
48:14 У меня еще один партнер недавно спрашивал: вот вы оказываете, ну, не знаю, на первые заявились тесты, и потом выдаете рекомендации с какими-то прогнозными значениями, как улучшиться конверсия, ну, или какие-то метрики.
48:25 Это я имею в виду про себя, да.
48:27 Мне это говорил один из партнеров.
48:28 И он говорит: можете ли вы гарантировать, что будет именно так?
48:31 Вот у меня вопрос, наверное, так будет звучать.
48:34 Бывало ли у вас такое, что вы гипотезу проверили?
48:38 Соответственно, все говорит о том, что метрика должна измениться вот именно настолько, ну, и, соответственно, решение рабочее.
48:44 А когда вы пускаете в прод, соответственно, феча ведет себя чуть ли не диаметрально противоположно.
48:50 Как вы такие ситуации разруливали?
48:52 И просят ли от вас, например, продукты и ваши заказчики непосредственно, да, внутри матричные структуры, ваши какие-то гарантии.
48:59 Вот, вы нам сказали, что будет вот так, а оно у нас пошел не так.
49:02 Да, у нас такое бывало.
49:04 И как раз когда я говорила про уровни значимости, вот эти 0,05%, пиво игры - это как раз вот это вот, когда эксперимент состоялся, все прошло хорошо, эксперимент говорит: просто горит зеленым, кати, прот, но у тебя есть 5% или 20%, которые тебе показывают, вот сколько ты установил, которые тебе показывают, что ты есть 5% случаев, что сейчас пойдет дождь, что сейчас пойдет что-то не так.
49:28 Скорее всего, все пойдет так, но мы должны быть готовы к тому, что что-то пойдет не так.
49:34 Что-то может пойти не так на определенной группе, на которой мы раскатывали.
49:38 То есть, мы для кого мы раскатываем?
49:39 Пока мы еще говорим в терминах сегментов, уже не в терминах МЖ25, но в терминах сегментов, мы же тоже можем не на всех раскатать.
49:46 Что делать, если все идет не так.
49:48 Все идет не так, как хотелось бы, достаточно часто.
49:53 И в каждом конкретно ситуациям нравится, а как хотелось бы у кого какие дружить, дружить понимание, дружить понимание того, как работает система.
50:03 Как что вообще ожидалось?
50:06 Почему пошло не так?
50:07 Может быть, это не бака-фича.
50:10 Просто мы не поняли, как ее, например, красиво в УАЙ вставить.
50:13 Хорошо, если стекхолдеры это понимают, и они к этому, соответственно, лояльно относятся.
50:18 Ну, толерантно, вот таким чином.
50:20 Мы тут же дизайнером эксперимента этой гипотезы, и мы начинаем обучение, что может случиться.
50:24 Ну, да, все равно часто бывает не готово.
50:30 Это такие слова, как раньше, чуть раньше была бигдейта, когда мы научились с ней работать.
50:34 Теперь это АИ, который, ну, если так и по-честному говорить, это в целом философский термин, а не термин того, с чем мы работаем, потому что мы работаем с машинным обучением, все еще и в парадигме машинного обучения.
50:47 Но тем не менее на него возлагают большие надежды.
50:50 И кажется, что если ты берешь в руки продукт, в котором есть АИ, ну он прям должен быть вообще вот прямо делать все что я хочу и кофе сварить и собаку выгулите иначе что это за яй он у вас не работает и вот стоит и яю один разочек ошибиться неважно что человек сам ошибается в 50% случаев, когда он делает эту работу.
51:09 Но если я ошибаюсь, один рабочий, я все ваш искусственный интеллект не работает.
51:13 Мне он не нужен, я буду делать сам.
51:14 Да, есть еще у меня такой термин.
51:17 Но возможно, уж такое есть - это фичи огнетушители это такие фичи которые ну может быть за всю твою жизнь или там даже за несколько поколений может быть не понадобятся но при этом когда понадобятся они могут спасти как бы твою жизнь вот, есть реально такие фичи, и ты смотришь в метриках.
51:34 Ну, никто тут не проваливается, никто ими не пользуется, надо их выперить.
51:38 Но при этом они могут быть настолько значимы именно в тот момент, когда они нужны, что как раз за них в этот момент готовы заплатить там любые деньги, например.
51:47 Вот, ну, это тоже такой инсайт есть.
51:50 Особенно это всякие мониторинги, которые настраивают, что им вообще
51:56 сопутствующие сервисы.
51:57 Что они в нужный момент времени о лет выкинут, мне кажется.
52:00 У нас сегодня подобная была ситуация, да?
52:03 Так, если вопросов у аудитории больше нет, я напомню, что запись мы обязательно выложим и эхом закинем также на Ютуб.
52:12 Об этом все мы расскажем на канале Юзабильти ВАП и на канале Дизай Сиене.
52:16 Ну и, наверное, еще догоним ее ссылочкой.
52:18 Также мы поделимся - кроме видео, слайдами: Да.
52:22 Юля, мы обожаем исследование.
52:23 Мы, поскольку сами исследователи работаем много на исследователей, мы понимаем, что вообще значительно 4 круг продуктовых аналитиков, продукт-оунеров, и вот это подчеркивание слова .продукт для нас является очень важным, что не только СХУХ гипотезы, но продуктовый.
52:41 Поэтому лично я очень благодарен именно за то, что поднята тема, связанная с продуктом в целом.
52:46 Нам этого местами не хватает.
52:48 Спасибо тебе большое.
52:50 Я всегда могу сказать: да, что мне тоже важно было подчеркнуть, что несмотря на то, что гипотезы и проверка гипотез - это я в этом очень давно, и это часть моей жизни.
53:00 Мне повезло работать тоже с исследователями, поэтому мы мыслим примерно одинаково.
53:06 И ребята, которые к нам приходят, дата сайтисты, инженеры, они все с таким майндсетом, и мы их там затягиваем в нашу секцию и делаем адоптами тоже гипотез.
53:18 И почему я выделяю слово продуктовый?
53:19 Потому что продукт стоит над всем.
53:22 Продукт он совмещает в себе ЮА, ЮИХ совмещает, все, что внутри.
53:26 То есть, какой бы красивый ни был ЮАЙ, если бы ты нажимаешь на кнопку и у тебя все висит, но он тебя не спасет.
53:33 С другой стороны, какой бы классная ни была модель, там она может быть стай-фоза модель, чего угодно, но если ты ее показываешь в корявом дизайне, корявом ЮА, тоже не будет считаться, что эта модель хорошо работает.
53:47 Скорее всего, она как-то коряво работает.
53:50 И вот это все объединяется в продукте.
53:52 Поэтому мне тоже было важно подчеркнуть, что у нас у меня не детайс гипотезы, не дейта, не модул гипотезы, а такие чуть более верхние уровни.
54:01 И проверять их можно разными способами.
54:04 Спасибо тебе, что я пришла.
54:05 Интересно поговорить о том, как влияет проводдеформация, наверное, на жизнь, обычную бытовую жизнь.
54:12 Мне просто интересно, я иду за молоком, и мне есть гипотеза: правда ли, что лучше брать, там, не знаю, с жизнью 3%, а не 6%.
54:22 Бывает ли такое в жизни?
54:25 Да, наверное, не с молоком, потому что это уже вкусовые предпочтения, сформировавшиеся, но по каким-то другим вопросам, да, бывает, а что если проверить.
54:36 Но более того, наверное, у меня сейчас такой этап, и мне очень сильно повезло, что он совпадает еще и с профессиональной деятельностью.
54:44 У меня маленькие дети, а маленькие дети - это кладезь гипотез.
54:48 А что будет, если я сейчас прыгну с крыши гаража на стекло?
54:52 И ты вроде бы знаешь, что будет.
54:54 Ты проверял эту гипотезу.
54:55 В детстве ничего хорошего не будет туда.
54:57 Но дети им это важно.
54:59 Им надо самим проверить, пройти, варидировать.
55:02 И я такой зафиксируем.
55:04 Зафиксируем угубки в виде порванных колготок, башмаков или содран коленок.
55:10 Так, тогда предлагаю на такой приятной нотке заканчивать.
55:15 Спасибо всем, кто нас слушал.
Комментарии
Войдите, чтобы оставить комментарий.