0:00 Аналитики постоянно задаются вопросом: а вот да, я получил цифру, где я себя обманул?
0:06 Если ты начинаешь работать с человеком и говоришь ему, трава зеленая, он такой трава зеленая.
0:17 Простите, персональная больная.
0:21 Гипотеза, это самое важное, что есть в эксперименте.
0:25 Пока тест идет, продакт-менеджер сидит седой, да, и смотрит такой: господи, почему все красное?
0:33 Не в первый раз, кстати.
0:37 А почему мы не на диване?
0:39 У нас просто нет дивана.
0:41 Может, это наша фишка?
0:42 Я считаю, что если диван уже появится, тоже будет не канон какой-то.
0:46 У тебя века дергается, это нормально?
0:52 Опять без аджанда пришли.
0:54 Кто встречу поставил?
0:55 Кто поставил эту встречу?
1:02 Это подкаст Диванный дизайнер.
1:04 Сегодня мы вещаем снова не с дивана.
1:06 Меня зовут Никита Новоселов, я руковожу направлением дизайна Вазон.
1:09 Со мной подкаст ведет ведущий дизайнер Женя Маринина.
1:14 И сегодня у нас прекрасный гость, который всех вас развеселит Никита Монанников, хед аналитики БХ, то есть опыта покупателей.
1:28 А сам это не будешь сгородовать, как неожиданно.
1:31 Блин, я хотел шутку устроить про то, что мы оба Никиты.
1:35 Но ты так быстро спросила.
1:38 Я люблю на самом деле, когда ребята в компании быстро, инициативно, они вовремя подхватывают.
1:44 Еще до того, как ты успел подумать о том, что с кем-то еще не поздоровался, да?
1:48 То сразу спросит: а вот почему со мной не поздоровался?
1:52 Никита, расскажи, чем ты занимаешься в Азоне.
1:55 Ты же знаешь, да, что мы на самом деле вместе работаем
2:00 блин, я знал, что я тебя где-то видел, да, да.
2:03 Я тоже тебя где-то видел.
2:05 В общем, на самом деле мы работаем над одним и тем же, вообще, что такое БХ, да, значит, начнем с этого.
2:12 Чем мы вообще занимаемся?
2:13 Тут когда-нибудь думал, как это сформулировать?
2:16 Нет, я вот не так думаю.
2:18 Я не думаю, что мы делаем магазин.
2:19 Я думаю, что у нас есть куча разных департаментов, куча разных бизнесов, как бы внутри озона.
2:26 У всех у них свои цели и средства достижения этих целей.
2:31 И у пользователей есть интерфейсы.
2:32 Им про все эти бизнесы нужно рассказывать.
2:35 новая схема доставки - нужно рассказать.
2:37 Можно заказать товары сразу пачкой.
2:40 Про это нужно рассказать.
2:41 Можно заплатить за товары частями, об этом тоже нужно рассказать.
2:44 И мы, по факту, единая точка входа для всех бизнесов внутри компании, мы и определяем, насколько это понятно, и структурировано, будет донесено до пользователя.
2:53 То есть мы интеграторы, на самом деле, мы интегрируем решения других частей озона в пользовательские интерфейсы.
3:01 А мы в аналитике занимаемся тем, чтобы проверить, в каких изменениях нуждаются пользователи, как пользователи реагируют на те изменения, которые мы вносим.
3:13 мониторим все это на постоянной основе.
3:15 А вы какие аналитики вообще?
3:18 Мы называемся продуктовыми аналитиками.
3:20 Не, погоди, давайте: сколько вообще бывают системные, дата, продуктовые, бизнес, какие есть виды аналитиков и чем они все занимаются?
3:31 Я бы ту сказал, что есть продуктовые аналитики и продуктовые аналитики.
3:38 Дело в том, что в зависимости от компании под словом аналитик, да или под словосочетанием продуктовый аналитик может скрываться совершенно разный человек.
3:47 Я поэтому буду рассказывать со своей позиции, как я вижу в озоне.
3:52 Хотя на самом деле даже у нас бывает такое, что там, например, скоуп людей, которые называются бизнес-аналитики, он от случая к случаю немножко отличается.
4:01 Вот, а есть системные аналитики.
4:04 Системные аналитики - это ребята, которые занимаются тем, что выстраивают взаимодействие между ИТ-системами.
4:12 И помимо прочего, они еще занимаются тем, что внутри системы описывают, как должны работать процессы, их последовательности.
4:21 И вообще, я бизнес-аналитиков системных аналитиков видел дважды в жизни, поэтому если я не прав, то.
4:28 Приходи на 55-й тайм.
4:30 Я приду, мне объяснят то.
4:33 Есть бизнес-аналитики.
4:35 Бизнес-аналитики, по моему пониманию, это люди, которые понимают, как работают бизнес-процессы и как работает экономика компании.
4:44 И эти те люди, которые потребляют результаты работы ресерчеров, продуктовых аналитиков, и исходя из этого формируют стратегию развития своего бизнеса.
4:57 Некоторые еще называют гроз аналитика.
4:59 Это те ребята, которые решают, что продукту нужно сделать для того, чтобы в будущем захватить больше объем рынка, добиться определенных финансовых показателей и прочеее,, проче и прочее.
5:11 Есть финансовые аналитики.
5:13 И вот я для себя грань между бизнес-аналитиком и финансовым аналитиком понимаю очень слабо.
5:21 И мне кажется, что это
5:24 те ребята, которые больше погружены в финансы, в бухучет, то есть у них более глубокие профильные знания, чем у ребят из бизнес-анализа.
5:34 То есть, это такая, знаете, некоторая градация продуктовая аналитика мы про них сейчас поговорим потом бизнес-аналитик потом финансовая аналитика
5:45 собственно продуктовые дата аналитики я не вижу в них никакой разницы, кроме того, что продуктовые аналитики чаще вовлечены в работу с продуктом.
5:54 И нам непременно придется поговорить о том, что такое продукт на самом деле.
5:58 И а что такое продукт на самом деле.
6:04 В общем, есть дата-аналитики.
6:06 Это люди, которые могут вам и джборд построить, и про качество данных рассказать, рассказать, как эти данные лежат и где они лежат, и поделают на них какие-то выводы?
6:17 Продуктовые аналитики делают в сущности все то же самое: они берут данные и превращают их в знания.
6:25 То есть у вас можете собирать кучу всего своей компании, но до тех пор, пока не придет человек, не поработать с этим, не структурирует, вы не сможете из этого ценность извлечь.
6:35 То есть вы сначала что-то трекаете, потом вы это анализируете, потом вы делаете из этого вывода, бам -п ценность.
6:42 Аналитики выводы не делают, они просто структурируют данные.
6:46 Вот тут это зависит от типа аналитика.
6:52 даже нет, наверное, не так.
6:55 аналитик данных он уже анализирует данные и делает из них какие-то выводы.
7:01 Продуктовый аналитик - он анализирует данные, перекладывает их на специфику своего продукта и делает стадзначимые выводы.
7:10 Вот можно так сказать.
7:11 То есть, продуктовый аналитик, мне кажется, это самая широкая такая специальность, в которую напихали всего.
7:19 И дэшборд построй, а бы тест проведи, и реши, как сложить данные, и
7:26 Да, есть еще аналитики-разработчики.
7:28 Аналитики-разработчики, вот их много в Яндексе.
7:33 Это называется аналитики разных да, да, да, да, да.
7:36 И аналитик-разработчик в Яндексе - там на самом деле мне кажется, что там все ребята аналитики-разработчики.
7:44 Разве все вообще не аналитики?
7:46 Ну, аналитика - это кто?
7:47 Человек, анализирующий данные.
7:48 Мы все что-то анализируем.
7:50 Все мои дизайнеры, аналитики, и простые, и КУА, да, КУА вообще полчата продуктовывано.
7:57 Ты, может быть, смотрел дюму там или читал?
8:00 Да, и там были ментаты.
8:01 Живые компьютеры, по сути.
8:03 Вот не похожа ли работа аналитика на работу ментата?
8:06 То есть в него выгружает данные, он выдает результат.
8:10 Не заменит ли вас чат-жпти с таким же успехом?
8:12 Вы в него вгружаете какой-то массив данных, а он выдает какой-то результат.
8:19 сильно заботит этот вопрос.
8:21 Потому что вот современные
8:25 языковые модели умеют работать на самом деле с очень неструктурированной информацией.
8:31 И да, они могут ошибаться, но и люди ошибаются очевидно.
8:36 И у нас как будто бы информация, с которой мы работаем, она точно так же структурирована.
8:41 Да, у нас есть каталоги данных, у нас есть описания для этих данных, контракты.
8:48 мне кажется, что искусственному интеллекту не хватает самой важной вещи - он не умеет сомневаться.
8:53 То есть, самой важной вещи, которой ему не хватает сейчас - вот из того, что я пробовал, это критического мышления.
8:58 То есть, если у него в табличке ему положили какие-то данные, он не сомневается в том, что они правильные.
9:05 Он принимает их как данность.
9:07 А аналитики с этим работают все-таки немножко по-другому.
9:11 Они постоянно задаются вопросом: а вот: да, я получил цифру, где я себя обманул?
9:18 Потому что, ну, понятное дело, очень скрупулезно относимся к тому, какие выводы мы делаем, потому что от них зависит то, как будут продукты развиваться.
9:26 Поэтому мы постоянно думаем, что у нас ктото-то где- обманывает, мы часто все воспринимаем так с долей критики, с челленджем.
9:37 Это прям профессиональная деформация.
9:40 Как вот если ты начинаешь работать с человеком и говоришь ему трава зеленая, он такой трава зеленая
9:46 - это аналитик точно.
9:49 Он уже поставил тебя под сомнение просто.
9:57 никогда не понимал, зачем нужно такое разнообразие аналитиков.
10:02 И я даже не понимаю, на самом деле, почему продуктовая аналитика отличается от дата-аналитика?
10:08 Мне кажется, что названий для аналитиков нужно прям сильно меньше.
10:13 Мне кажется, что всех людей можно уложить в бизнес-аналитик, системный аналитик и продуктовый аналитик.
10:19 И Никакие больше не нужны.
10:22 Я не знаю, зачем это было придумано.
10:24 До сих пор, вот уже там четвертый год в компании, все это время только в области аналитики, и я не знаю, зачем такой зоопарк, потому что ты каждый раз приходишь к человеку, ты смотришь на скоп его задач, но одно и то же.
10:39 Есть еще всякие операционные аналитики, маркетинговые аналитики, которых пытаются выделять.
10:45 И мне кажется, что это просто люди, которые.
10:49 То есть, это больше не про классификацию задач, которые ты делаешь, а про твою собственную идентику.
10:54 Но мы об этом еще поговорим, когда будем обсуждать, что такое продукт, на самом деле.
10:58 Да, давай я обсудим, что такое продукт.
11:01 Я думаю, мы до конца дойдем и не обсудим, что такое продукт.
11:04 Но мы об этом поговорим, когда обсудим продукт.
11:07 Не, ну вот ты продуктовый руководитель, продуктовых дизайнеров.
11:11 Ты ведущий продуктовый дизайнер.
11:14 Я руковожу продуктовыми аналитиками.
11:19 Спросим, наверное, у продуктового дизайнера.
11:21 Мне кажется, что ближе к всему.
11:23 Вот как расскажи нам, как ты утром встала и поняла: типа, я продуктовый дизайнер.
11:29 Вот не просто дизайнер, а продуктовый.
11:32 Не веб-дизайнер, не Ева, иикс.
11:35 Ну, наверное, когда в метрики начинаешь лезть, то ты понимаешь, что ты уже не просто кнопочки двигаешь или складываешь их рядом друг с другом.
11:44 А ты понимаешь, что ты сложил кнопочки определенным образом, и вот они повлияли на метрики так и, принесли либо миллионы, либо унесли эти миллионы из компании.
11:55 А вот можешь сказать: вот смотри, есть аналитики.
11:59 Аналитики берут - ну, неважно, какое изменение, и смотрят, как и на что оно повлияло.
12:07 Как вы меняете, как меняется ваша работа, в зависимости от метрик, которые вы видите, и вообще за какими метриками вы, например, смотрите чаще всего.
12:16 Так у каждого домена свои метрики.
12:19 У тебя в домене какие метрики, за которыми ты смотришь, и которые влияют.
12:24 Так, ну ладно, по предыдущему домену, да, по навигации.
12:29 Например, реопены мы смотрели.
12:37 В общем, метрика реопонов - это когда человек сворачивает приложение и быстро разворачивает его То есть понятно что он запутался например в навигации и поэтому он выгружает приложение чтобы вернуться обратно
12:49 Ну и да, например проводили АБ тесты которые там снижали эту метрику, то есть сделали пользователю лучше.
12:56 Становилось понятно, что навигация для него становилась удобнее и понятнее.
13:00 А почему нужно было следить именно за конкретной метрикой, а не просто чтобы какой-то другой человек пришел и сказал: Ну, это плохое изменение.
13:09 Вы сделали, делайте другое изменение.
13:10 Ну, один человек это не репрезентативно.
13:12 Нет, ну вот там руководитель.
13:18 Руководитель репрезентативный, смотри, какого уровня,
13:24 смотрю, насколько нас точен посоветовал.
13:30 Ну, я понял, то есть, дизайнер становится продуктовым в тот момент, когда он начинает смотреть за результатами своей работы.
13:41 И гипотезы ты уже предполагаешь, не из там каких-то своих субъективных, не знаю,
13:48 мыслей, а тоже опираясь на метрики.
13:51 То есть у нас уже есть знания, как ты говоришь о том, какие тесты были.
13:56 В целом у нас есть понимание точки Б, куда мы идем, каких метрик мы хотим достичь, и через какие посредством каких вечей.
14:04 То есть есть какая-то стратегия, да.
14:07 Вы наблюдаете за метриками.
14:09 А теперь давайте - типа, небольшой твист.
14:12 Что делает аналитика продуктовым аналитикам, если применять эту же логику?
14:16 Итак, все аналитики работают с данными, работают с метриками, делают выводы и формируют стратегию.
14:22 Тогда что делает простого аналитика?
14:25 Вот мне интересно, как вы думаете: вовлеченность в продукт сам, куда мы вообще идем и зачем?
14:32 Да, смотрит ли он дизайн,
14:35 то есть на самом деле,
14:39 ключевая фишка продукта, две ключевые фишки продукта для меня.
14:42 Первая - это создание ценностей и командная работа.
14:46 То есть, вот как только ты начинаешь работать в такой вот кросс-доменной команде, когда у тебя есть такой арбитр, в лице продукт-менеджера, у тебя есть получается продуктовая разработка, продуктовый дизайн и продуктовая аналитика, когда они все чуть-чуть погружены в специфику друг друга и хорошо общаются, вот тогда они продуктовые.
15:07 И получается, что на самом деле вы либо продуктовая команда, и вы все продуктовые, либо никто из вас не продуктовый.
15:14 Блин, мне нравится это.
15:15 Ну, потому что действительно, я имел опыт работы в команде, которая друг к другу относилась, как у нас всех своя зона ответственности.
15:24 Тут продукт решает, что делать, дизайнер делает, разработчик делает потом свою часть.
15:28 Это где ответы - это не ко мне.
15:31 У которых четкие, как границы в их ответственности есть.
15:36 И всем в целом, окей, они живут, делают, ну, получится что-то хорошее или нет, всех по отдельности мало интересует, они делятся вызов ответственности.
15:46 И это очень хорошее определение.
15:47 Я не задумывался раньше об этом: что продукт - это именно то, что делает группа людей совместно, осознанно и пересекаясь в зонах ответственности.
15:57 Ну, вот это объяснение, которое лично для меня больше всего подходит.
16:01 И вообще, в целом, очень сильный сторонник именно командной работы, когда у тебя не происходит размытие ответственности, что мы нарисовали, как вы будете это программировать или тестировать - это ваша проблема.
16:10 Мы считаем, что дизайн хороший.
16:12 Разработчик пришел и сказал: слушайте, чуваки, я напрограммировал, Куас сказал, что нет багов, все это значит хорошо, значит, хороший код я написал, и продукт у меня тоже хороший.
16:23 Пришел продукт и говорит: ну это
16:27 не вопросы к продукту, где он был раньше.
16:30 Вопросы к продукту, где он был.
16:32 И аналитик такой говорит: вот там типа значение метрики такое, что вы хотите с этим, то и делайте.
16:42 Захотелось вести понятие как продуктовый разработчик.
16:47 А на самом деле они есть, я их где-то видел.
16:50 Они так себя не позиционируют, они просто разработчики называются.
16:53 Но по сути, да, есть люди, вовлеченные, мы об этом как раз говорили с Пашей Щедухиным на Е-коде о том, что про вовлечение ребят из разработки в продуктовую работу.
17:04 Вот опять же, метрики, целеполагания, вот это все.
17:08 И блин, было бы хорошо, если бы было на стафе написано, что этот чувак продуктовый разработчик.
17:14 И что к нему можно приходить со своими такими идеями, а давай сделаем круто.
17:18 А вот к этому можно не приходить, потому что он такой: я работу работаю.
17:22 Мне вообще кажется, что это вот самое страшное, что может случиться с человеком в плане его карьерного трека, это потерять вовлеченность и начать делать то, что ты умеешь, просто потому что тебе за это платят.
17:35 Ну вот мы команда, получается.
17:38 Сколько там потребуется времени, чтобы понять, что мы команда?
17:43 Ты здесь 5 лет работаешь.
17:46 Да, и вот мы наконец-то дошли.
17:48 Я почему стал вообще задаваться этим вопросом?
17:51 Я пришел, меня назвали продуктовым аналитиком.
17:54 Я решил не показываться глупым человеком, меня просто не спросил.
18:03 Что такое продуктовым?
18:04 Я думал, что я должен извлекать знания из данных,
18:10 и отвечать на вопрос: я назвал бы себя просто аналитиком.
18:13 Но назвали продуктовым, и я решил вместо того, чтобы переименовываться и переименовать весь отдел, а тогда еще отдел, я решил просто принять это и попытаться найти ответ, почему так произошло.
18:26 И уже потом я стал спрашивать: знаете кого?
18:29 Те, кто должен быть ближе всех к продукту, да, вот к этой эфемерной сущности, это продукт-менеджер.
18:34 Они, во-первых, не слышали во мнениях.
18:37 Во-вторых, некоторые откровенно говорили: там типа, я не знаю, а продуктовый менеджер, он кто?
18:42 Вот давайте без продуктового, пока они не видят, не слышат, можем по обсудить, только продуктовый менеджер тогда.
18:50 Кто финально отвечает за продукт?
18:52 То есть этого человека ответственность выделяет.
18:55 Но это делает его менеджером.
18:56 А что делать его продуктовым?
18:58 Если опять же возвращаться к чат-пти - это как называется
19:05 Он составляет промпты и вкидывает их в аналитиков, в дизайнеров, в разработчиков - какие-то массивы, запросы.
19:12 Типа делайте, делайте, делайте, а потом такой результат.
19:16 Ну, я вот здесь на самом деле ожидал, что мы придем к той же логике, по которой мы строили продуктовых аналитиков и продуктовых дизайнеров?
19:24 Что, мол, если человек слушает мнение своей команды для того, чтобы создать ценность и прислушивается к экспертам, которые есть в соседних областях, то он продукт-менеджер.
19:34 Если он пришел, раздал всем задание, то он прожект.
19:38 Если он пришел и сказал, что вот вы это сделаете, вот это вы сделаете, потом он пришел с презой к стейкхолдерам, у него спросили, зачем ты это сделал, он такой, а.
19:51 Вы сказали, я сделал.
19:52 Да, вы сказали, я сделал.
20:01 Мне кажется, наши зрители вообще ничего не поняли, конкретно, что делает ваша команда.
20:10 все начинается с идеи.
20:11 Вот буквально расскажу про.
20:13 Давайте я расскажу, чем занимается вся команда.
20:17 Потому что мы же определили, что продукт это про команду.
20:20 Но давайте я вам расскажу, как создать ценность.
20:24 У вас есть тонны идей того, как вы хотите создать ценность.
20:29 Первое, что вы должны сделать, вы должны через вашу экспертизу, которая у вас есть, быстро отсечь.
20:36 Слишком сложные, очевидно, плохие или неоднозначные идеи.
20:44 Просто сложности и дороговизна зачастую это типа очень схожие факторы.
20:52 для оставшихся идей вы должны попытаться оценить, какую аудиторию они затрагивают, какой инкремент для этой аудитории они могут дать, и за счет чего будет достигаться этот эффект.
21:05 Потом взять, придумать себе какой-то скорб, там, ай, рай, еще какую-нибудь методологию.
21:10 Отсортировать эти идеи.
21:12 После чего вы должны брать эти идеи по порядку, после чего вы
21:18 их разрабатываете, тестируете, запускаете тест с какой-то гипотезой, которая тянется с вами вот прям с самого первого дня, когда вы идею взяли в работу, проверяете эту гипотезу, делаете разболетов.
21:34 там не успешны, неуспешный вы провели эксперимент, то вы пытаете понять, почему, и можете ли вы это быстро поправить и запустить новый эксперимент, либо вам нужно полностью от этой гипотезы отказываться и делать следующую.
21:47 После чего вы хотите для себя понять,
21:54 этой фичей там пользуются, и для этого создаете мониторинг.
21:58 Вот мы работаем в начале в начале воронки, вот этой идейной, мы помогаем вместе с продуктом сидим, не с продуктами, не с продуктом.
22:14 Продукты, аналитики, дизайнеры, разработчики - они все сидят, фильтруют этот огромный поток гипотез, который невозможно переварить, после чего они
22:23 берут, выбирают самые жизнеспособные, их ранжируют, мы помогаем, включаемся равно, как и вся команда, на этом этапе.
22:30 После чего мы ждем, когда она разработается, мы
22:35 запускаем эксперименты, оцениваем, ну, вообще, зараляла гипотеза или нет, и после этого настраиваем мониторинг, чтобы все знали, что там с вечой происходит.
22:47 Ну, и есть такой момент, что есть вот этот пресловутый процесс Дискавери в командах, и он как работает.
22:55 То есть, вы со всех этих этапов, с разработки, дизайна, тестирования, аналитики, с дешбордов откуда-то.
23:04 Вы вытаскиваете разные идеи и снова добавляете их как бы наверх воронки.
23:09 То есть еще раз финализируем.
23:11 Первое: большой пул идей, выбор самых жизнеспособных: скоринг, дизайн, разработка, тестирование, эксперимент, мониторинг и снова на второй круг.
23:30 цикл продуктовой разработки, как мне кажется, доставки ценностей до пользователя.
23:34 И мы работаем не работаем в середине, но иногда правда приходится, но в основном мы в середине работаем.
23:40 Мы работаем с входящим потоком задач - стараемся выбрать самые же неспособные и оцениваем те, что к нам пришли.
23:47 Потом мы смотрим за фичами, как они себя показывают на пользователях, и говорим, стоит это раскатывать или не стоит.
23:57 И если это уже раскатили, то мы берем и делаем дешборд - то, что все так любят, вот, зайти в дешборд посмотреть, а что там с конверсией, класс, спасибо.
24:09 Мне кажется, теперь стало сильно понятнее.
24:11 Вообще, есть небольшой дисклеймер.
24:13 Мы как раз уже записали с Никитой нашу рубрику любимую Озон Дизайн Токс.
24:19 И там Никита выдал базу - прям хороший или кбес по АБ-тестам.
24:24 Поэтому здесь мы, наверное, такие базовые вопросы по АБ-тестированию уже брать не будем, а проразгоняем чуть-чуть подальше, да?
24:31 Потому что в целом, вот вы занимаетесь сопровождением этого процесса, но часто возникают вопросы на самом деле к этому процессу.
24:40 Например, всегда ли это точный инструмент?
24:43 Вот во всех ли тестах.
24:45 Я могу свой случай привести.
24:46 Например, у нас был ряд тестов, достаточно много - может быть, даже не знаю порядок, но точно десятки - где мы увеличиваем вьюпорт и
24:56 какие-то метрики на этом у нас растут.
25:00 Этих тестов и успешность этих тестов была такая регулярная, что, в общем, казалось, что мы знаем, мы увеличиваем въепорт, все хорошо.
25:09 В мини-апах для навигации мы это въепорт сокращали, чтобы было удобнее из мини-апа выходить.
25:14 И казалось, действия обратные.
25:16 Мы уменьшаем въепорт, и мы думали, ну, тест будет красный.
25:19 Красный - то есть, метрики покрасятся в красный, ухудшатся для пользователей, все будет плохо, как бы вообще таба-тест засрочно не остановили.
25:26 Но ничего не покраснело.
25:28 То есть, мы сделали обратное действие.
25:29 Почему ничего не покраснело?
25:31 И мне в такие моменты кажется: я ничего не понимаю в жизни.
25:35 какие-то тесты по-разному отрабатывают?
25:37 Слушай, на самом деле это хороший вопрос.
25:40 Да, действительно, вот АБ-тесты - это не инструмент, который позволяет вам
25:47 принимать только правильные решения.
25:49 Это инструмент, который позволяет вам принимать подавляющее большинство правильных решений.
25:57 Технически тебе может не повести, не стоит из-за этого расстраиваться.
25:59 Но вместе с тем нужно понимать, что есть точность измерения, и здесь оба тестов контролируемая ошибка, за которой мы очень внимательно следим на уровне платформы.
26:11 это вот та случайность, про которую мы говорим.
26:14 Что не повезло, и мой тест не покрасился.
26:17 Или покрасился не в той метрике, случайно, а я принял на этом решение и все запорол.
26:24 На самом деле, не я все сразу, это статистика виновата.
26:28 А есть ошибки интерпретации, в которых тест-то посчитал все верно и он показывает тебе различия между группами, которые на самом деле существуют.
26:36 Просто ты неверно это интерпретировал.
26:39 И вот ты удивишься: но если ты возьмешь одну какую-нибудь фичу, будешь красить кнопку.
26:45 И ты каждый раз будешь делать?
26:48 Зеленый-красный, в зеленый красный - снова тест запускать.
26:52 То на горизонте на каком-то ты можешь выяснить, что, например, каждое перекрашивание кнопки дает тебе инкремент, просто потому что ты привлекаешь внимание пользователя к этой кнопке, потому что она постоянно в интерфейсе меняется.
27:05 А, получается, мы смазываем контекст.
27:07 Да, и на самом деле в тестах в целом важен и эффект новизны.
27:13 Да, и привыкание - в том числе.
27:16 Вот, насколько я помню, у неффликса был ряд экспериментов.
27:19 Они взяли, меняли раз в 3 месяца то ли полку, то ли каталог.
27:24 И на протяжении года, каждый раз, когда они одно и то же действие делали - просто по кругу, у них прирост был.
27:33 прирост достигаете за счет того, что вы своими изменениями, как любят говорите,
27:39 освежаете инфейс, привлекаете внимание пользователей, или им становится что-то непонятно - да, вы выбрали неправильную метрику и они просто дольше скролят.
27:49 Мне так понравилась эта интонация.
27:51 Она была иронична или токсична?
27:53 нет, нет, я вообще типа самый нетоксичный человек в компании, если кто спросит.
28:05 Спрашивать не приходится
28:07 потом с тобой поговорим, запустишь свои АБ-тесты, да.
28:20 Хорошо, другой вопрос.
28:22 Надо ли все тестить в интерфейсе?
28:24 Слушай, это, наверное, самый вообще сложный вопрос.
28:26 Ну, то есть, у тебя, допустим, есть какой-то человек, принимающий решение.
28:30 А давай дадим контекст.
28:31 Тут наше рабочее первое знакомство с Никитой было.
28:34 Это не первое знакомство.
28:36 Это было не первое знакомство, я имею дорабочее.
28:40 Было на полдня тредом, где мы спорили, надо ли проводить АБ-тест, где мы сменили цвет шатки у фарше, в мини-апе.
28:47 Да, было весело там с эскалацией, со всеми вещами.
28:51 Вот я считала, что не надо, но мы всего лишь меняем цвет.
28:54 Ты считал, что надо?
28:56 Вообще, я чуть-чуть назад, короче, забегу.
29:00 Вот помнишь: мы говорили о том, что АБ-тесты у них есть какой-то контролируемый уровень ошибок.
29:08 И на самом деле Аб-тесты приносят ценность компании только когда все играют по одним и тем же правилам.
29:15 И в какой-то момент ну, то есть, у нас централизованные АБ-тесты всем доступны.
29:21 У нас в Азоне централизованные АБ-тесты, они всем мы всем даем доступ к каждому эксперименту и рассказываем, как и на что он влиял.
29:30 Это полезно и для Дискавери, и в основном он, конечно, для Дискавери, но и понятно делать для принятия решений и защиты своих продуктов от чужих изменений.
29:38 И у нас есть такая штука, как регламент, которая говорит, что изменение должно проходить через Б-тест, если нет причины, по которой вы либо не можете это протестировать, либо это слишком опасно.
29:52 Ну вот, просто сам тест запускать, например, репутация: что вы не можете создавать, например, ценовую дискриминацию между пользователями и требования фаз, что вы не можете тестировать сами.
30:04 А вот если изменение слишком маленькое.
30:06 А вот видишь, где граница?
30:08 Да, тут вопрос в том, что есть какая-то граница гигиены, да, вот эта пресловутая, и ты ее никогда не можешь оценить.
30:16 И вот эта вот гигиена, что да, это гигиеническая фича, или она там слишком маленькая,
30:23 ее невозможно никак измерить.
30:25 И это та единица хаоса, которая нарушает весь процесс и не позволяет тебе принимать
30:33 подавляющее большинство правильных решений, которые должно гарантировать процесс аботестирования в компании.
30:41 Ну, в итоге мы можем катнуть, если вот там, не знаю, какой-то малюсенький дизайн-долг?
30:49 Покрасить кнопку - это гигиена?
30:52 Смотря какую, и в какой цвет.
30:55 А можешь ли ты перечислить типа все комбинации кнопок и мест и цветов, в которых их точно нельзя красить, и все в которые можно?
31:03 Ну, смотри, там новая дизайн-система закатывается, условно, кнопочку в новый, там на 2 пикселя выше или ниже.
31:11 Мы из этих значений будем тогда тестировать?
31:16 Просто дело в том, что мы одновременно тестируем очень много вещей.
31:23 что гигиена, а что нет, решают люди.
31:26 И потом решают люди снова, когда они видят результаты экспериментов.
31:32 Да, и получается так, что чем больше у тебя в этом процессе решают люди, а не статистика, тем больше ты не можешь контролировать.
31:41 То есть АБ-тесты делают процесс изменений контролируемым.
31:44 У меня встречный вопрос.
31:46 Ну, вот АБ-тесты сейчас там, особенно в условиях наших технологий, запускать очень легко.
31:51 Если у вас есть действительно дизайн-долг, почему вам сложно запустить АБ-тест на каждый чих?
31:57 Потому что это еще время продукта, продуктовый ресурс тоже ограничен.
32:02 А какой продуктовый ресурс?
32:03 Это же очевидное изменение, с которым продукт не может не согласиться.
32:08 Оно же очевидно хорошее.
32:10 Кнопку побольше на 2 пикселя сделать.
32:13 нет, не важно, одно, хорошее или плохое, но, допустим, есть у нас цель консистентности привести.
32:19 И мы вот, допустим, 90% уже сайты приложения привели к какому-то виду консистентному, и осталось 10%.
32:25 И мы такие, ну зачем тестировать?
32:27 Мы же все равно это сделаем, без разницы.
32:31 Например, иконки мы уже протестировали на ряде виджетов, что мы переезжаем на вот эти золитые иконки, они лучше по ряду причин.
32:41 И надо в каких-то других разделах уже, ну вот действительно, просто для консистентности заменить инлайновые на филд-иконки.
32:49 Давайте приведу пример.
32:51 То есть, ну, понятное дело, что кейс, который я привожу, это корнер.
32:56 Но раз уж мы говорим, что у нас есть какие-то вещи, которые мы не будем мерить, то этот корнер-кейс, мы не знаем, какая частота его наступления.
33:04 Итак, допустим, что вы на 2 пикселя увеличили кнопку?
33:08 У вас на 2 пикселя сдвинулся рекламный виджет.
33:11 Нашлись пользователи, у которых теперь этот виджет не отрисовывается, потому что он выпадает из вьюпорта.
33:19 Вы потеряли рекламу.
33:20 Вы это не тестировали, вы не знаете.
33:23 Да, таких пользователей может оказаться очень мало, а может оказаться много.
33:26 И проблема в том, что если вы не потестировали, то вы никогда не узнаете об этом.
33:32 тогда про уменьшение ее порта, мне кажется, мы все тестируем, потому что мы понимаем этот риск.
33:36 А если, например, мы его увеличиваем, в целом, кажется, мы имея наше знание, думаем, ну тут нет рисков.
33:44 Или иконку заменить.
33:45 Вот на зале, то есть.
33:46 Только ты уменьшил, когда ты уменьшил вьюпорт, то ничего не изменилось в метриках.
33:51 И тебя обмануло твое же собственное знание.
33:54 То есть ты исходя из результатов предыдущих экспериментов, сделал какие-то выводы, но они не подтвердились.
34:02 самая ключевая проблема здесь в том, что ты не можешь найти границу изменений, когда твои знания и представления объективной реальности тебя не обманывают в том, как эта штука сработает.
34:12 И тебе просто банально проще все тестировать.
34:16 если ключевая проблема здесь для вас, в том, что какие-то изменения катятся слишком долго или требуют какого-то ресурса.
34:23 Мне кажется, здесь нужно вкладывать не в развитие экспертизы или снятие ограничений на раскатку гипотез, а нужно наоборот вкладываться в автоматизацию и культуру процесса об атестировании в компании так, чтобы это проходило просто проще, а если результаты будут разнонаправлены?
34:40 Не сделает ли это процесс условно редизайна с нашими целями и так далее еще дольше.
34:48 Кстати, хороший вопрос.
34:49 У нас навигация, да?
34:51 В мини-апах у нас крестик сверху для закрытия, но в одном мини-апе у нас есть стрелочка назад.
34:59 Я до сих пор не могу простить этого.
35:01 Если бы я фальсифицировал когда-нибудь результаты теста в своей жизни, я бы фальсифицировал тест, который стрелку сделал.
35:08 Так это исходно - это контроль.
35:10 Мы не можем от нее избавиться, потому что по какой-то причине в одном из всех мини-апов она показывает красный прокрас.
35:17 Там еще считают отказ.
35:19 Да я ей смотрел - обышница - там все красное.
35:22 Как будто вырубаешь стрелочку, у тебя все крашется, к фигам.
35:27 А до этого есть там несколько тестов - прям, где новый паттерн навигации закрытия меня хорошо себя показывает.
35:35 И вот, и что, например, допустим, делать?
35:37 Если этот тест тоже подтвердится неудачно.
35:39 У нас разнообральное действие, но есть цель навигация.
35:42 Ну, и в целом, давайте договоримся, что навигация должна быть консистентной, чтобы пользователь не сходил с ума, то, что вот у меня, он выходит так, а вот в другом так.
35:50 Ну это вопрос принять решение.
35:52 То есть тест показывает то, что у тебя происходит здесь и сейчас.
35:56 И вот есть такая штука, к которой я очень скептически отношусь: это ухудшающие АБ-тесты.
36:04 Их очень часто проводят неправильно.
36:06 Давайте сделаем ремарку для зрителей: что такое ухудшающий або-тест.
36:10 Что такое ухудшающий або-тест?
36:11 Вот обычно вы чините что-то, а тут вы намеренно что-то ломаете.
36:16 Но правда, не совсем так.
36:20 Допустим, сделали новую иконку, которую протестировали, и она растет вам конверсия.
36:26 Потом, спустя время, вы себе говорите: а что если я эту иконку уберу?
36:30 Вы знаете, а потеряю ли я конверсию?
36:33 Если уберу эту иконку обратно.
36:35 И вы как бы ухудшаете - то есть откатываетесь обратно и говорите: я убираю эту иконку, но мне снова надо это тестировать.
36:44 И дело в том, что тут может быть несколько разных сценариев.
36:49 Первое: вы в первый раз пользователи сралял эффект новизны, то есть пользователи увидели новую конкурс, стали на нее жать.
36:56 И теперь она уже не новая, и ее изменения ни к чему не приводят.
37:00 Пользователи видели и старую новую иконку.
37:02 Что может случиться с иконкой?
37:05 Вы добавляете новую иконку, пользователи такие: О, новая иконка, да, Как круто.
37:11 И, значит, начинают на нее больше жать, метрики у вас растут.
37:16 И какое очевидное поведение вы ожидаете?
37:19 Что если вы вернете старую иконку, то вы потеряете там, ну пример 2% конверсии, которую вы сделали своим первым тестом.
37:27 Этого не происходит.
37:31 Но на самом деле у вас просто пользователь стал безразличен к этой иконке.
37:35 То есть, возвращаясь к исходной мысли, тест показывает вам только то, что есть прямо здесь и сейчас.
37:44 И он не рассказывает о том, как это будет в будущем работать.
37:47 Бонусом ко всему, там же еще есть куча других команд, которые работают в одном и том же продукте.
37:54 И он меняется вокруг вашей фичи, которую вы уже протестировали.
37:58 И вы можете получить гигантский аплифт
38:03 посчитать в каком-то эксперименте
38:06 на какой-то страниц.
38:08 Но потом вся стратегия продукта изменится, эта страница перестанет быть популярным у большинства пользователей, туда снизится трафик, и туда будут заходить пользователи с другой целью или другие пользователи.
38:20 Все, нужно новый тест.
38:22 Нужно что-то ухудшать.
38:25 Ну и получается, надо аккуратнее с экстраполированием, да, каким-то образом.
38:28 Да, вот это вообще очень распространенная ошибка, которая говорит: ну, то есть, если тест сработал сейчас, не значит, что он в будущем также сработает.
38:39 Ну, есть какой-то коммонсенс, который есть у людей, вот у нас с вами, а вот у статистики его нет.
38:44 И она не доказывает, что это эффект можно растягивать на год.
38:47 Особенно мне нравится вот этот подсчет, допустим, тест шел две недели.
38:52 Мы экстраполируем и считаем то, что за год это произойдет столько делать.
38:56 Так, кстати нельзя делать.
38:57 Вообще, кстати, есть еще одна очень интересная вещь, которая говорит нам о том, с вами, что об тесты, это, в общем-то, инструмент принятия решений, а не инструмент измерения.
39:09 То есть он дает вам какой-то набор информации, которая помогает в совокупе с вашим собственным мнением решить, это надо или не надо.
39:22 Или команда продуктовая.
39:24 Вообще, если мы говорим, что продукт - он только тогда - продукт, когда он работает с командой, то и решать должна команда.
39:31 Он же приходит к аналитикам, и вот прокрас не тот, которого он ожидал, он же спрашивает аналитиков, почему так.
39:40 А что делать, если циферка не красится ни в красный, ни в зеленый остается серым.
39:45 Катить или не катить?
39:47 Вот это если у вас серый тест - это всегда дилемма.
39:51 С одной стороны, ну то есть, давайте разберем прямо по кейсу.
39:55 Итак, кейс номер один: эффект изменился немного в положительную сторону: да.
40:00 То есть, там есть небольшой прирост такой, что вы не смогли это заметить.
40:09 небольшое ухудшение, да, то есть, как бы снижение вашей метрики, но тоже такое, что вы не смогли заметить.
40:16 И по-хорошему вы находитесь в ситуации, когда вы не знаете, вы улучшили продукт или ухудшили на самом деле.
40:22 То есть, серый тест это не значит строго, что он ни на что не влияет.
40:28 Возможно, он влияет, просто вы не смогли на это заметить.
40:32 И если вы придерживаетесь такой вот стратегией безопасной, сохранности, то лучше не катить серые тесты, потому что сделать, перетестить, пока не изменяет.
40:42 Да, есть вариант подержать подольше, либо вариант, может быть, изменить гипотезу.
40:51 Или критерий успешности.
40:52 Если ты серой, то катим.
40:58 Так лучше, конечно, не делать.
41:00 Но это же ничего не поменяло, а наверное, мы видим в этом ценность.
41:04 Вот ты говоришь, что мы смотрим на циферки.
41:06 Деньги-то уже потратили.
41:08 Да, деньги уже потратили.
41:10 Мы смотрим на циферки: красный, зеленый.
41:13 Ну, там все серенькое.
41:15 И ты говоришь, мы не видим ценностей.
41:18 Но вот для меня, как для дизайнера, часто понятна ценность.
41:22 Даже если все красное.
41:24 У тебя есть серый тест.
41:26 Ты говоришь, я там с такой-то вероятностью мог заметить такой-то эффект.
41:30 Да, допустим, не знаю, полпроцента.
41:33 И возможно, что этот эффект лежит от.
41:37 Ну, типа, если мы практически всегда замечаем эффект от минус 5% до плюс 0,5%, то возможно наш эффект просто лежит в другом диапазоне, в другом интервале доверительном, типа от минус 0,4 процента до плюс 0,4 процента.
41:56 И вот тут все зависит от того, какой стратегии ты следуешь.
42:00 Ты можешь сказать: я считаю, что это изменение, я считаю, что это изменение, его ценность, которую я в нем вижу как дизайнер, оно точно отыгрывает падение меньше того порога, который я хотел бы заметить в тесте.
42:15 Да, то есть, ты говоришь, даже если это минус 0,4%,
42:20 то ничего, ценность эта перебивает.
42:22 Ничего, что он серый, я к этому готов.
42:24 Я принимаю этот риск.
42:25 Либо ты можешь сказать, что давайте мы будем искать эффект, поищем его еще какое-то время, но.
42:36 Поищем его какое-то время, изменим критерии успешности эксперимента.
42:40 Да, там поменяем гипотезу.
42:42 Мне кажется, что это жалкие потуги.
42:46 ты заходил в этот эксперимент с великой целью, и теперь ты, как слезняк такой, говоришь: да, ну ладно, ладно, может быть, хотя бы там просмотры увеличится.
43:02 Он сделал хуже метриком.
43:05 Ты продукт или нет, в конце концов, да?
43:08 Ты продукт или нет, принимай на себя ответственность.
43:12 Делай продукт лучше, а расскажи про а тесты.
43:22 и расскажи, что это такое, может быть, не все и слушатели знают.
43:25 В общем, АБ-тест - это довольно сложный процесс.
43:29 Прежде чем вам подходить к этому вашей компании, вам нужно понять, что инструменты и метрики, которые вы используете, они подходят для того, чтобы тестировать их в АБ.
43:41 И вы говорите: давайте-ка мы проведем А-тест.
43:44 И в А-тесте, если мы на протяжении большого числа А-тестов,, да, их их не не дела делаютют никогда.
43:50 Типа вот один а-тест провели и сделали вывод.
43:53 Мы берем и делаем 1000 а-тестов, да, тысячу, 10 тысяч а-тестов.
43:58 И мы на таком большом количестве а-тестов, да, они это когда мы сравним две группы, про которые мы точно знаем, что они ничем не отличаются, потому что мы либо сгенерировали эту выборку самостоятельно, либо мы знаем, что мы взяли одних и тех же пользователей и случайно их смешали, у них нет никакого изменения.
44:16 Это значит, что мы не должны находить ошибку чаще,
44:25 Есть там пресловутый уровень альфа, это вот вероятность того, что вы сказали, что эффект есть, а его на самом деле нет.
44:32 И вот становится вопрос: а с чего вообще взяли, что обтесты работают?
44:36 Это только благодаря тестам и произошло.
44:40 То есть, вы берете и говорите: я буду сравнивать бесконечно выборку и саму собой.
44:48 Если я там не найду ошибок, ну то есть не скажу, что они отличаются чаще там, типа чем в пяти случаях из 100, значит, у меня удовлетворительный уровень ошибок первого рода для этой метрики.
45:00 Круто, то есть мы проводим.
45:02 да, мы для каждой метрики, которую мы запускаем, мы проводим тесты, чтобы убедиться, что она в существующих условиях, да, или может быть по каким-то техническим причинам, не превышает уровень значений ошибок первого рода.
45:19 И вот логичным завершением нашей дискуссии является такой вопрос: а как мы вообще проверяем: как мы вообще проверяем, что мы на дистанции, да, вот типа свои АБ-тесты делаем, как мы понимаем, что мы создаем инкремент и ценность компании на промежутке?
45:36 Ну, все очень просто, мы оставляем 5% пользователей, чтобы они рассказали всем остальным, что с нами лучше цели.
45:43 Нет, ну серьезно, мы просто
45:46 не показываем 5% пользователей ничего, никаких новых изменений.
45:52 У них не происходит никакой эпилепсии от того, что у них интерфейс раз в два дня нет.
45:55 Просто зрители добавьте, мне туда.
45:58 Да, и есть какая-то когорда пользователей, которым мы не показываем ничего.
46:05 Пользователи свободны от изменений, как так называемая холда-ут-группа или глобальная контрольная группа.
46:11 Вот, и мы с ней можем сравнивать остаток нашей выборки и говорить, что мы действительно создаем ценность.
46:19 И здесь мы проверяем гипотезу.
46:22 Вот во всех экспериментах очень важна гипотеза.
46:25 Это буквально самое важное, что есть в эксперименте.
46:27 То есть со всем остальным можно работать.
46:32 Простите, персональная боль такая вот гипотеза.
46:36 Гипотеза - это самое важное, что есть в эксперименте.
46:40 Просто это должно быть у каждого продуктового менеджера, продуктового дизайнера и продуктового аналитика на подкорке.
46:47 У него должно быть на потолке написано, чтобы он просыпался.
46:51 Такой гипотезы - это самая важная часть эксперимента.
46:56 в новый рабочий день.
46:57 И что на самом деле глобальный тест с глобальной контрольной группой он тоже проверяет гипотезу.
47:04 Он проверяет гипотезу о том, что наш текущий подход к проведению экспериментов в компании лучше, чем полное отсутствие процесса экспериментов как такового.
47:16 Как мы это проверяем?
47:18 Ну, типа, он сравнивает, что Ну вот мы типа какие-то у нас потуги были, что-то мы делали.
47:24 Что было бы, если бы мы за то же время ничего не сделали?
47:27 Нет, это в целом, вот кажется, что тут гипотеза, что не то, что мы правильно тестим или не тестим, а то, что мы работаем вообще.
47:35 Это стоит того или нет?
47:38 Ну, то есть буквально глобальная контрольная группа проверяет, стоит ли наша работа свечь.
47:47 А есть ли какие-то интересные случаи ложных прокрасов или каких-то приколов, которые вам встречались?
47:53 Слушай, абсолютно точно: есть
47:57 В бытестах бывают выбросы.
47:59 Это когда буквально один человек, да, или некоторая группа людей может сместить, да.
48:07 Весь эксперимент оно просто смещает среднее, и оно настолько сильно его смещает, что
48:14 эксперимент красится просто по вине одного человека.
48:18 Если его убрать, то как бы выборки не и различаются.
48:21 И это было с покупкой самолета, с покупкой автомобилей, крупными покупками юрлиц, там типа 1000 бутылок воды - условно.
48:33 60 айфонов купили в фроше.
48:36 И безусловно, мы как бы опытная платформа, исключительно опытная аналитики.
48:42 Мы не пропускаем такие случаи, И работаем с выбросами в каждом эксперименте.
48:47 Поэтому влияет ли это на нас в целом, с точки зрения принятия решений?
48:53 То есть, не знали ли мы, что кто-то купил 60 айфонов, когда анализировали этот эксперимент, знали.
49:04 То есть, вы узнаете об этом уже после того, как тест заканчивается.
49:08 А в моменте - это на этапе валидации, получается?
49:11 Это на этапе анализа.
49:12 Пост анализа эксперимента.
49:13 Пока тест идет, продакт-менеджер сидит седой, да, и смотрит: такой гос, почему все красное?
49:19 Есть, и в оба тестах есть такая штука - проблем подглядывания.
49:22 Ну, то есть, вот у тебя есть пи-ве.
49:25 Я себя по рукам бью,
49:28 И одно, знаете, зачастую похоже, ну, там, типа на кардиограмму.
49:32 Ну, то есть, довольно редко происходят тесты, когда оно начинается - такое пум, типа за 0.05 зашло, и там вот осталось ровно до конца эксперимента.
49:42 Бывает такое, что его немножко колбасит, и оно за эксперимент несколько раз может пробить в целом этот порог.
49:48 Но так как мы следуем вот этому подходу фикстен, когда мы выбираем заранее срок эксперимента и только в конце подводим итог,
49:57 подглядев в эксперимент, вы можете как раз на небольшой дисбаланс наткнуться в этих выборках, особенно в первые дни, особенно прям в первый день экспериментов.
50:07 Вы не знаете, но много из них красится.
50:09 Но потом все это уходит, выборки стабилизируются.
50:12 Да, вот буквально в эксперимент заходит 100 человек, приходит 101-й, и вы же не можете эквивалентно разделить.
50:21 Ну, типа, вы его отнесете либо в группу 1, либо в группу 2,
50:27 Да, но он не покупает 60 айфонов, он просто покупает, да.
50:35 И, ну, понятное дело, что на больших данных это происходит немножко по-другому, но суть остается та же.
50:42 Если вы подглядываете в эксперимент, то вы можете ошибиться.
50:46 Ждите до конца и смотрите один раз.
50:48 Есть, кстати, еще одна штука - она называется поле чудес.
50:52 Вот вы же знаете, да, про метрочницу - большое такое полотно, где все метрики озона для каждого эксперимента насчитаны.
51:01 Итак, в одном эксперименте каждое изменение метрики, изменение каждой метрики - это отдельная гипотеза.
51:09 То есть на самом деле эксперимент - это совокупность ваших гипотез.
51:12 Вы говорите: конверсия вырастет, потому что реклама изменится вот так, а вот это не изменится, да, останется серым.
51:21 Ну, это на самом деле изменится не больше, чем на х.
51:24 Тут начинается магия.
51:27 Проверяя каждый раз одну метрику, вы можете ошибиться.
51:33 И каждый раз открывая новую метрику, как на поле чудес, вы увеличиваете себе вероятность того, что вы ошибитесь хотя бы в одной.
51:40 Ну, то есть, изначально у вас существует некоторое пространство метрик, вы из него выбираете какое-то количество и говорите: ну, кажется, я ну вот из тех, что я выбрал, у меня вот такая вероятность ошибиться.
51:53 Получается, и добавляя туда метрику, вы увеличиваете вероятность ошибиться во всех остальных на самом деле, и прикол в том, что
52:03 у нас была однажды гипотеза, что мы все метрики скроем для каждого эксперимента, и мы будем каждый раз, когда кто-то одну метрику смотрит, просто смотрит, увеличивать порог для уровня значимости, который нужно пробить.
52:20 Уменьшать, точнее, уменьшать порог значимости, которую нужно пробить.
52:25 То есть, вот п--2 было 0.05.
52:29 Мы посмотрели больше метрик, оно стало пониже.
52:33 То есть, мы говорим, мы отбираем только те гипотезы, в которых
52:37 пи-валью самый низкий из всех.
52:39 И прикол в том, что если вы в какой-то момент посмотрите достаточно большое количество гипотез, у вас все гипотезы станут незначимыми по этой поправке.
52:48 Это называется поправка на множественное тестирование.
52:50 Есть на самом деле парадокс обтестах: что чем больше вы метрик наблюдаете, тем больше вероятность ошибиться хотя бы в одной метрике.
52:59 И поэтому мы как бы берем в эксперименте и говорим, чем больше метрик вы смотрите, тем ниже должно быть пивели у тех, которые вы посмотрели, чтобы они остались значимыми.
53:09 И что дальше происходит?
53:11 У вас весь тест красный, вы смотрите на все метрики, но они все незначимые по поправке.
53:16 Это вот некоторый парадокс математический об этостировании, но сейчас у нас есть методы, которые с этим работают.
53:21 Сколько у нас всего метрик?
53:27 Можешь их всех перечислить сейчас.
53:42 Я самый быстрый читальщик-метрик в мире, и сейчас я прочту вам 800 метрик за 30 секунд.
53:49 Если подглядывать в эксперимент, пока он идет.
53:54 Результат изменится.
53:55 Я узнаю, что есть такой эффект физический.
53:58 А, эффект наблюдателя.
54:01 Короче, смотри, вот многие думают, что эксперимент нельзя смотреть.
54:05 Смотреть можно, принимать решения нельзя.
54:07 Ну, то есть, тут такое небольшое мислидящее, ну, очевидно, мислидище название, что это эффект подглядывания.
54:16 На самом деле, это эффект принятия досрочного решения.
54:20 То есть, если ты посмотрел в первый день, там покрасилась, и ты сказал: все, все, все останавливаем, да?
54:26 Вот так ты можешь ошибиться.
54:27 А если у некоторых людей вот Фетиш, да, подглядывать.
54:30 Может быть, мы будем как-то продавать это, монетизировать.
54:35 Нет что-то такой взрослый.
54:41 Я не доучился научился пить.
54:46 А какой твой любимый фетиш?
54:48 Это французское слово?
54:49 Я не знаю, я не жди лингвист, я даже.
54:53 Да, фетиш, я точно знаю, что так.
54:56 Зачем тебе это понадобилось?
55:09 Не в первый раз, кстати.
55:13 Это просто показывает мою пуританскую сущность.
55:17 Я хотел, чтобы люди подгадывали, но мы с этого профит имели.
55:20 Не, ну вообще можно легально подглядывать.
55:22 Абашницы платная сделать.
55:23 АБ Да, у нас у нас была идея типа АБ премиус.
55:28 Ну там, короче, там досрочно результат показывается.
55:32 Там, значит, экспресс-валидация эксперимента.
55:35 Типа зашел тебе сразу, выделенный выделенный персональный продакт-менеджер работает своей гипотезой.
55:42 Да, и после этого специальная команда аналитиков, которые ничем больше не занимаются, они сразу же корректируют все в твоем эксперименте.
55:49 Ну и ты можешь 10 прокрасов поменять в месяц.
55:53 Можно, пожалуйста, я первый очередь готова забашлять.
55:56 Какие еще фичи в АБ премиус?
55:59 Тестить пока не позеленеет.
56:02 Уличенная пролонгация экспериментов бесконечная.
56:06 Можешь тестить 100 дней, 200, да.
56:08 А за 3 дня можно сразу получить.
56:11 Да, конечно, экспресс, экспресс, супер,
56:15 редизайн сделаем за месяц.
56:17 Слушай, там специально, специально для принятия таких решений, там сидит мартышка, и у нее шар восьмерка, и она трясет на каждую метрику.
56:24 А я думал, карта Таро.
56:25 Кстати, знаете, знаете, вот я должен.
56:27 Все, я больше не могу.
56:29 Я должен признаться.
56:30 Вы знаете, почему вообще множественное сравнение, множественное тестирование - это плохо.
56:36 Это потому что АБК работает?
56:38 Там сидит обезьянка, и она шар восьмерку трясет, и у нее лапки устают просто трясти на каждую метрику.
56:47 Так, мы можем ее избавить от этого труда и сказать, какая метрика, в какой цвет должна покраситься.
56:59 Тебе лишь бы покрасить, что абсолютно.
57:01 Я знаю, я знаю хорошие цвета, правда?
57:04 Твой любимый царя Дальтоник, кстати.
57:06 Вот та же забавная штука.
57:07 Вот если бы я не был дальтоником, может быть, я стал бы дизайнером, а так я вот плохие шборды делаю.
57:12 В чем проявляется такой дальтанизм?
57:14 А я вот близкие оттенки не вижу.
57:16 То есть, я не могу работать с градиентом.
57:17 В принципе, то есть, для меня хитмап, да, вот есть такое распространенный вид графика, там где чуть-чуть цвета отличаются.
57:26 Коротко это приводило всегда к тому, что у меня супер стремные дышборды выходили.
57:31 Прям с точки зрения дизайна мне просто
57:34 в градиентах, но ты этого не знал.
57:36 Да, такое тоже было.
57:44 Я поэтому вот это вот красный, зеленые метрики, я до этого не смотрю, особо цвета какие-то, у меня там циферки рядом, я по ним ориентируюсь.
57:55 Хорошо, но если я просто пытаюсь представить, а если у тебя очень далекие цвета с градиентом от черного к белому, ты видишь, как
58:04 Так я вижу: знаешь, это приходит.
58:07 Вот ты приходишь, когда в магазин, и тебе говорят: вот надо краску выбрать.
58:12 И там, значит, есть такая штука: типа от красного до розового.
58:16 И подподелена на секции.
58:18 Ты секции не видишь.
58:19 Да, я секции не вижу, я вижу просто одну красную полоску.
58:24 Девушка мне сказала просто: типа, это ты мужчина просто.
58:27 Нет, не потому что ты дальтоник.
58:30 Я не отличил, не отличил красный от Кораллового и все, и зашкварился.
58:36 Да, мы недавно обновили Мадженту.
58:44 Мы же не через забы-то.
58:51 А я должен раздеваться на камеру, чтобы зрители поняли, почему.
58:59 Я футболку, я футболку, между прочим, даже погладил сегодня, впервые за 4 года, чтобы прийти покраски.
59:06 Всю душноту мы проговорили, как и много чего другого.
59:11 Всю душноту погоди, нет, еще немножечко есть.
59:15 Ты говоришь, что вы как продуктовые аналитики, смотрите на дизайн.
59:21 Этим вы отличаетесь от других аналитиков.
59:24 Мы смотрим скорее на совокупность факторов.
59:25 То есть, мы не то что мы продуктовые аналитики, потому что мы фигму открыли и посмотрели, что это они там наделали.
59:33 А мы продуктовые, потому что мы работаем над одним продуктом и мы взаимодействуем как команда.
59:38 То есть мы прямо слушаем дизайнера, какую он идею это вкладывал, помогаем ему подобрать метрики так, чтобы его изменения действительно чтобы он действительно увидел эффект от своего изменения и понял, как ему дальше выстраивать свою дизайн-стратегию.
59:55 Так, ну и раз мы тут команда и разделяем ценности друг друга, наверное, вы бы хотели, чтобы выигрывал вариант, который нравится команде.
1:00:13 Вот несмотря на это продукт - продукт - это
1:00:17 некоторая сущность, которая направлена.
1:00:19 Я говорил, первое, что отличает продукт, это то, что мы все работаем в команде и погружаемся в соседние области друг друга.
1:00:27 На самом деле это всегда очень сложная тема, нравственная, я бы сказал.
1:00:31 Но еще раз, продукт это сущность, в которой все, значит, ее участники вместе работают, погружаются в доменные области друг друга, понимают направление, боли, желания, но все равно эта штуковина направлена на принесение ценности, создание некоторой ценности.
1:00:54 мы бы не были беспристрастными с точки зрения проверки гипотез, то, во-первых, бы это не очень хорошо работало, потому что снова каждый раз, когда вы в процесс обо-тестирования вмешиваете больше и больше факторов, в которых люди принимают решения, то вы начинаете сильнее ошибаться.
1:01:12 И да, ты можешь взять и начать катить то, что тебе нравится, но тогда ты должен признаться, что ты себе врешь с точки зрения метрик, с точки зрения принесения ценностей.
1:01:22 Либо ты можешь взять и сказать, ну, у меня одна большая тестовая группа и один большой холд, один большой холд-аут, большой контроль, и вот я качу все, что хочу, и принимаю потом последствия, но все эти изменения у меня либо хорошие, либо плохие последствия.
1:01:41 Я не знаю, какое из них конкретно хорошее, какое из них конкретно плохое.
1:01:46 Ну, то есть, если такая опция есть, каждый такой кейс мы воспринимаем как кейс-чемпионат.
1:01:53 Есть фича, мы ее сделали, и мы
1:01:58 не часть продуктовой команды в этот момент.
1:02:00 Единственное, когда мы не часть продуктовой команды, мы
1:02:04 непревзято оцениваем объективную реальность и стараемся это сделать с вами сейчас максимальной погрешностью.
1:02:10 Поэтому, вообще, наверное, самое позорное для аналитика - это сказать: блин, да, мне не важно, что там думают мои пользователи.
1:02:17 Я эту фичу покачу, потому что это мне не нравится.
1:02:20 Мы же продукт не для себя делаем, а для них.
1:02:23 Нет, ну это честно.
1:02:25 Но я буду знать, что ты не всегда, конечно, в команде играешь.
1:02:34 В первую очередь ценность, во вторую очередь команда.
1:02:39 каждый член команды иногда все-таки тянет одеяло на себя немножко.
1:02:43 Ну, вот аналитиков я за этим заставал гораздо реже.
1:02:48 Ваше одеяло, оно такое, чтобы четенько было, потянуто.
1:02:53 Основано на данных.
1:02:54 Мое одеяло основано на да..та дривен одеяло Да.
1:02:59 Это утяжеленная, да?
1:03:02 У меня, кстати, такое дома.
1:03:05 Там шарики стеклянные.
1:03:09 Нет, у меня что-то типа гречки тоже.
1:03:11 Не-не-не, у меня прям маленькие стеклянные гранулы.
1:03:13 Они просто такие маленькие, что ты можешь принять их за гречку, только не ешь.
1:03:17 Это души красных тестов.
1:03:21 Я когда тогда из него не вылез.
1:03:22 У меня запоминание, как в головоломке.
1:03:26 Вот что-то типа такое, только маленькое.
1:03:28 И водиль, а не в голове у кого-то, не на полочках.
1:03:32 Очень комфортно спиться.
1:03:34 Я стал спать лучше.
1:03:35 Если вот там в середине кто-то там проматывает этот подкаст в надежде найти какую-то мякотку, то вот оно - ваша мякотка.
1:03:43 Купить себе уряженное одеяло - мне суперкомфортно спать стало.
1:03:47 Возможно, это самое полезное.
1:03:58 Так, и что вы думаете, что у нас конфликт поколений начнется посреди подкаста?
1:04:06 Ты родился, когда был айфон.
1:04:07 Я вас не осуждаю за это.
1:04:12 Ты помнишь, как это читать?
1:04:15 Я люблю читать на самом деле.
1:04:16 Знаешь, что обозначает метафора: на иконке сохранить?
1:04:21 На иконке сохранить?
1:04:23 Я не помню, как выглядит иконка сохранить.
1:04:25 Кстати, сейчас сохранение.
1:04:27 Да, вы смеетесь, а у меня были дискеты и программы на дискеттах.
1:04:30 Я 1998 года рождения, просто из маленького города.
1:04:35 Это очень крутая история.
1:04:37 Я пришел работать в Озон.
1:04:38 Мне в первый день выдали носки с моим годом рождения.
1:04:40 Я такой: ничего себе!
1:04:42 Вот это персонализированный подход к выводу сотрудников на работу.
1:04:46 Вот, я первый ходил, у меня первая футболка, первый мерч - это типа Озон Креаторс 1990 у себя такой.
1:04:54 Да, само рождение, креатора озона.
1:04:58 Кстати, я даже знаю, что такое скеоморфизм.
1:05:01 Я наверное все иконки знаю, откуда они пришли.
1:05:06 И трубка у меня была, да, такая, в которой надо было по кругу звонить.
1:05:11 Я понимаю, что не все трубки выглядят плоско, как смартфоны.
1:05:19 Вообще, с зумера же они там, типа с 1995 или 96 года выпуска.
1:05:22 А я думал, с 2000-го, нет?
1:05:25 Я тоже думал с 2000-го.
1:05:26 Это альфа, по-моему, уже да.
1:05:27 Нет, альфа - это еще дальше.
1:05:30 Видите, мы даже не можем определить определить.
1:05:33 Ну, не я, тогда не изумер.
1:05:36 На самом деле, мы там периодически с кем-то обсуждаем, и довольно часто возникает тема, что или статьи какие-то я вижу, вот как зуммер себя ведут на работе.
1:05:49 И там везде говорят, вот они, значит, хрупкие,
1:05:53 да, снежинки, им очень важно, что думают другие, для них важно делать дело, а не что бы им платили.
1:06:02 честно, мне не нравится в каком виде преподносят зумеров.
1:06:07 Мне кажется, это прям уб странным.
1:06:09 Вот у меня большинство народу в команде это молодые ребята, от 23 до 26 лет.
1:06:18 я бы сказал, что я хрупких людей среди них не вижу.
1:06:22 Так ты сам нанимаешь, ты такую выборку сам себе делаешь.
1:06:27 А может быть, хрупки у тебя не задерживаются?
1:06:30 Самый нетоксичный человек лазает.
1:06:32 На самом деле, вот такая атмосфера в команде, что у нас люди прям очень нехотя уходят.
1:06:38 Ты их не отпускаешь?
1:06:40 С наручниками тяжело уйти.
1:06:43 Тяжело уйти на сломанных ногах.
1:06:48 Ну, они просто у них столько работы, что у них не остается времени на собеседование.
1:06:54 Лайфхак для руководителей.
1:06:57 Но если ваш сотрудник пошел куда-то пособеседовался, значит, вы недостаточно ему тикетов в джиру нарезать.
1:07:02 Короче, на самом деле, вот мне кажется, что
1:07:07 образ зумера, про который там все говорят, в том числе и в контексте российского рынка найма он не репрезентативен, потому что большинство людей и большинство статей, которые описывают этот портрет Зумера, они описывают западного Зумера, а не российского, и я, когда читаю там где-то в Линкен эти статьи в телеге, я просто такой: блин, меня хотят оскорбить!
1:07:34 Или я там из выборки выпадаю, там исключение подтверждающее правило.
1:07:39 На самом деле образ российского зумера - он вообще не такой.
1:07:45 не считаю, что их нужно там бояться нанимать или что они хуже работают, чем сотрудники миллениалы.
1:07:53 И вообще, ну, Озон, это наверное, все-таки я никогда не видел признаков иджизма в компании.
1:08:01 То есть, у нас есть, и у меня был у меня был стажер, ему было за 40.
1:08:09 Товарищ переходил из финансов.
1:08:11 И вот после нашей стажировки - он, к сожалению, большому не остался работы в компании.
1:08:15 Но он пошел - практически сразу после этого медлом в Билайн.
1:08:21 Да, и не знаю, мне было с ним так же комфортно работать, как и
1:08:27 с людьми своего возраста.
1:08:29 Я в целом не ощущаю нигде в озоне
1:08:34 возрастную дискриминацию.
1:08:36 Ни в худшую, ни в лучшую сторону.
1:08:38 Точнее, ни вверх, ни вниз.
1:08:40 А то я тут реально, сам мейджизм и нагнал только что.
1:08:44 Хорошо, что поправился.
1:08:49 Вообще, как вы считаете, дизайнер творческая профессия?
1:08:57 Давайте вы сначала договоритесь, а потом процедием.
1:09:02 Конечно, хочешь какой-то.
1:09:04 Расскажите, почему?
1:09:05 Вот почему ты считаешь, что это творческая профессия.
1:09:09 Потому что я могу здесь делать то, что чувствую правильным, не основываясь на данных.
1:09:18 Они могут делать то, что думают, что правильно, не основываясь на твоем мнении.
1:09:23 Если мне понравится.
1:09:25 А, то есть, вот почему это происходит.
1:09:28 Потому что типа ты творческий, а я считаю, что это скорее инженер.
1:09:34 Ну, потому что это проектирование.
1:09:37 А инженерия - это что, не творческая профессия?
1:09:39 Ну, тоже творческая.
1:09:40 Но если с этой точки зрения, то.
1:09:42 А что вообще такое творчество?
1:09:45 найти изящное решения.
1:09:48 А вот художник он ищет изящные решения.
1:09:51 Но с художниками все просто: а вот в работе инженера.
1:09:54 В работе инженера.
1:09:55 Ну, мы же каждый раз все равно, любое решение, какое бы оно ни было, мы оцениваем с точки зрения эстетики.
1:10:02 То есть мы все-таки вкладываем в это: оно красивое и некрасивое.
1:10:06 Творчество же оно появится.
1:10:07 Само решение оно может быть даже творческим, если оно выходит, наверное, если оно какое-то нетиповое.
1:10:13 Условно, мы всегда красили кнопку, а сейчас мы поняли, что кнопки, например, вообще не должно быть.
1:10:18 Тут вообще нет дизайна.
1:10:19 Мы, допустим, вообще-то убрали.
1:10:22 Но это там как-то изящно решает проблему.
1:10:25 Это творческий подход,.
1:10:26 да Творческий, да, и стандартный.
1:10:28 Ну, вот есть физики, физики, да, и они решают проблемы.
1:10:33 Ну, буквально там теоретическая физика - это все решение проблем.
1:10:38 Это не же физики, химические.
1:10:40 Это тоже гипотезы подтверждения.
1:10:43 Ну, я знаю, там огромный коллайдер, да, они там сталкивают частицы.
1:10:47 Зачем они это делают?
1:10:48 Они ищут новые так.
1:10:50 Может быть, и не создают проблемы?
1:10:51 Да, ты вот думаешь, зачем мы разделены на разные команды, и мы периодически сталкиваемся.
1:10:55 Это чтобы новые гипотезы вылетали.
1:10:57 Мы - большой адрон и коллайдер.
1:10:59 Мне кажется, что любая профессия, она может быть творческой, зависимо отсти того, как ты к ней относишься.
1:11:05 Если ты хочешь вкладывать частичку себя в нее, или ты хочешь просто делать свою работу и деньги получать, вот у тебя тут граница творчества и заканчивается.
1:11:15 На самом деле, ну, ладно, ладно, я признаюсь,
1:11:18 есть зачем спросил.
1:11:22 описывать какие-то вещи.
1:11:24 Да, вот я почему спросил: что такое продукт, кто такой дизайнер, творчество.
1:11:28 Мне на самом деле нравятся описывать какие-то сущности, да, и чтобы их потом было легко отличать друг от друга.
1:11:37 Тут точно так же, мне интересно было, можем ли мы с вами дойти до того, что такое творчество, и однозначно решить, там дизайнер - творческая профессия или нет.
1:11:47 Ну ладно, я согласна.
1:11:48 Если мы говорим то, что инженер творческой профессии, то есть.
1:11:52 Тогда все профессии творческие.
1:11:53 Про карьерный путь мы с вами не поговорили.
1:11:55 Вот, типа, как вы решили?
1:11:58 Вот в какой момент вы решили, что я все, я дизайнером хочу быть?
1:12:00 Вот ты на полях рисовал.
1:12:02 Нет, на полях это предпосылка.
1:12:04 А решил, что я дизайнер, когда, два курса отучившись, не увидел компьютера и понял, что программист из меня не получится, скорее всего, с таким подходом.
1:12:11 Мы на бумаге писали код, и дедушка-профессор у нас скомпилировал его у себя в голове.
1:12:17 Давал ошибку - всего возраста, скорее всего.
1:12:24 Вам дет скомпилировал в голове что-то, и я дизайнер.
1:12:27 И я подумал: что если я могу код на листочке бумажки написать и это будет считаться, то рисунки на полях - ну, наверное, тоже имеют свой вес.
1:12:36 Я могу продолжить и в целом и по этой ветке развития.
1:12:40 А что вообще нужно, чтобы стать дизайнером?
1:12:42 Вот я хочу стать дизайнером.
1:12:44 Что мне надо сделать?
1:12:48 А дальше из дизайн-системы он сможет кубики составлять.
1:12:51 Там ему даже с цветами работать, не приходится, там все есть.
1:12:55 Не, ну подожди, у него есть.
1:12:56 Мы как будто говорим, что сначала поумней.
1:13:01 А потом уже приходи к этому.
1:13:04 Это не я таксически.
1:13:08 Никита, ты нам не подходишь, потому что нам ум нужен.
1:13:12 А ты как страшил, из волшебника Изумрудного города?
1:13:19 Я думала, почему страшила, а не тупица.
1:13:23 ты страшила, но у тебя нет ума.
1:13:25 То есть, ты страшно, что
1:13:29 Я думал, ты гипотетически спрашиваешь, а не про себя.
1:13:33 Чтобы не читал, что.
1:13:34 Ну, первое, хорошо.
1:13:37 Но часто нужно просто подумать, и многие как будто пропускают этот путь.
1:13:43 То есть, опять же, применение для любой практических навыков, кроме фигма, не нужно.
1:13:47 То есть, ты типа учишься думать, почему?
1:13:51 Если взять какой-нибудь курс, там стандартный будет, что такое продакт-менеджмент, почему мы смотрим на метрики, про вот этот баланс между защитой пользователей и целями бизнеса.
1:14:01 Все это какой-нибудь курс возьми, там это будет.
1:14:07 Насмотренность и умение владеть инструментом.
1:14:10 Все, что тебе нужно, чтобы стать дизайнером.
1:14:12 Дальше уже ты идешь развиваешься по карьере.
1:14:15 Ну, чтобы стать-то дизайнером.
1:14:17 Уметь пользоваться инструментом.
1:14:19 Проходит собеседование вообще на дизайнера.
1:14:20 Ну, типа, вы такие, приходит чувак, и вы такой, нарисуй мне котика или.
1:14:25 Нет, а мы по портфолио понимаем, может он нарисовать котика или нет.
1:14:28 То есть, он должен заранее вам что-то нарисовать.
1:14:31 Если дизайнер должен быть портфолио.
1:14:33 Если у дизайнера есть портфолио-котики, мы понимаем, что это тот дизайнер, который нам нужен.
1:14:37 Если там еще мем есть, если он мачется с нашими любимыми мемами.
1:14:41 Какой ваш любимый мем вообще?
1:14:42 Я в своем познании настолько пресполнился.
1:14:46 Блин, я был не готов к этому вопросу.
1:14:52 Блин, я реально не готов.
1:14:54 Я не знаю, какие сейчас мемы-то.
1:14:56 И сейчас, а бери из классики.
1:14:57 Нет, я из классики не хочу.
1:14:59 Но последнее, вот мне.
1:15:03 Вот это вот мне очень нравится сейчас.
1:15:07 Они тот факт, что этот мем вообще мне очень нравится, когда молодой продакт приходит.
1:15:14 Молодой продакт приходит и говорит: тебе: слушай, может, все-таки раскать им этот эксперимент?
1:15:19 Ты говоришь, слушай, там не выполнились предпосылки эксперимента и гипотеза серая, лучше это не качать.
1:15:25 Но может все-таки выкатим это ему на доступном языке?
1:15:28 А ничего, тот факт, что у тебя ветрика красная.
1:15:32 Я вспомнил, какой мем мне нравится больше всех.
1:15:34 Вот именно шаблон - мема.
1:15:37 муж с женой лежат в простели, муж отвернут, и там подписано что-нибудь там.
1:15:43 О чем он думает, да?
1:15:44 Вот у меня куча подборка целая, вариаций.
1:15:46 А ты знаешь, что есть телеграм-каналы мономемы?
1:15:50 Да, конечно, я подписан на Мемсус Крист.
1:15:53 Мы тоже обожаем религиозные мемы.
1:15:56 Вот я подписана на моно мема про вагонетку.
1:16:01 Дилемма об вагонетке, да, называется?
1:16:04 Тебе надо сделать просто свой канал - вот с этим мемом, получается.
1:16:11 Присытиться, и мне надо что-то разнообразие.
1:16:13 Хотите, короче, расскажу про дилемму вагонетке с точки зрения продуктового аналитика?
1:16:18 Почему всегда надо переключать?
1:16:20 Так метрика растет.
1:16:36 Смотри, ты опередил нас, потому что у нас есть блиц.
1:16:39 Мы спрашиваем, ты можешь отвечать коротко или длинно, в общем, на самом деле, как хочешь.
1:16:44 Мы тогда сменим порядок вопросов и спросим: у тебя, а какой твой любимый мим?
1:16:53 есть мем, там такой
1:16:56 товарищ с раскраской Джокера, и сам он белый.
1:17:01 Вставите там, типа, на постпродакшен - налицо мне прием.
1:17:04 И там есть у этого мема много вариаций, на самом деле.
1:17:08 И моя любимая - это типа Абсолют, увы.
1:17:12 Я считаю, что там, ну, вот, например, в тестах, там, которые неудачей закончились, или там вообще феерическим падением метрик, надо ставить вот это - абсолют, увы, Никит.
1:17:24 А какую суперспособность ты бы хотел?
1:17:31 И в такойй молодо.
1:17:34 начнется трагическая музыка играть сейчас.
1:17:38 И вот, ну, типа, про правду жизни.
1:17:39 Я, наверное, об этом говорил.
1:17:41 Ну, только, наверное, с там родителями, может, с самыми близкими.
1:17:45 Я очень боюсь смерти.
1:17:47 И я боюсь его не потому, что вот это типа небытие, потому что в загробную жизнь я не верю, а просто с каждым днем в мире появляется столько всего нового и интересного, что мне хочется потрогать и изучить, что я никак не могу насытиться вообще этой информацией.
1:18:03 Я так переживаю, что я чего-то не увижу в своей жизни, и больше всего я боюсь умереть, и поэтому хотел быть бессмертным ничего себе ой такой трогательный момент достойный ответ я аж прослезился хорошо давай чуть собьем сентиментальность какого человека или персонажа ты бы пригласил в бар в бар
1:18:23 есть этот один кадр конечно
1:18:30 на этом мы можем закрывать наш подкаст
1:18:33 ждали гости которые так ответил.
1:18:37 О чем бы это спросил?
1:18:38 О дизайне, конечно, я бы тест.
1:18:44 А теперь по-настоящему.
1:18:47 Пригласил бы в бар?
1:18:49 Не знаю, Никиту на самом деле опять.
1:18:53 Мы как-то сопьемся.
1:18:54 Да, нет, мы хорошие друзья, и у меня нет какого-то прям человека, с которым бы я не примерно хотел бы выпить
1:19:05 Ну ладно, давай завершу.
1:19:09 Твой девиз по жизни?
1:19:11 О, это очень хороший вопрос.
1:19:13 Лучше спросить и показаться дураком, чем не спросить, и дураком оказаться.
1:19:17 Этот девиз сделал больше всего для моей карьеры.
1:19:19 Вот вместо того, чтобы сидеть и угадывать, как отреагирует другой человек, какого он мнения об этом, ты можешь просто пойти и спросить его.
1:19:27 И вне зависимости от результата разговора, ты можешь узнать это.
1:19:32 И не важно, не бывает глупых вопросов.
1:19:34 Ну, то есть, ты можешь не спросить, наделать какую-то фигню и потом тебе за это влетить.
1:19:39 И ты все равно будешь в итоге дурак.
1:19:45 ты сначала спросил, то в твоей жизни столько всего нового может случиться и измениться.
1:19:52 И не пытайся никогда вообще читать мысли других людей, просто спросите, что они думают.
1:19:57 Ну, это было прекрасно.
1:19:59 То есть, ты противник
1:20:01 той философии, что лучше
1:20:04 просить прощения, чем разрешение.
1:20:10 Я не хочу спрашивать, что думаешь.
1:20:12 Та фраза про другое.
1:20:14 Она про то, как преодолеть корпоративщину.
1:20:17 С вами были подкаст Диванные дизайнеры.
1:20:21 Очень рад, что мы сегодня побеседовали.
1:20:23 Узнали сегодня про все типа аналитиков - вот это - как тесты туда-сюда проводятся.
1:20:28 Зачем это вообще нужно?
1:20:29 Спасибо, Никита, что пришел.
1:20:31 Весело было поболтать.
1:20:32 И подписывайтесь на телеграм-канал Озондизайн.
1:20:35 Каждую неделю ведет новый дизайнер из Озона и рассказывает что-то интересное, что обязательно будет интересно и вам.
1:20:42 Спасибо большое, что пришел.
1:20:44 Спасибо, что позвали.
1:20:46 Я еще бы добавил, что подписывайтесь на наш Ютуб и ВК, потому что мы начали активно записывать видосы.
1:20:52 И чтобы ничего не пропускать, лучше всего подписаться и там тоже.
1:20:55 И обязательно посмотрите видео с Никитой Озондизайн Токс, если еще не посмотрели.
1:21:02 Было очень приятно.
1:21:06 Мы в продуктовой команде работаем сейчас.
1:21:12 Все хорошо, все нормально, сейчас будем драться.
1:21:18 Бам-бам-бам, бизнес аналитики, продуктовые аналитики, системные аналитики, красная плесень.
1:21:24 Аналитик должен быть беспристрастным, аналитик должен быть беспристрастным.
1:21:30 Аналитик должен быть беспристрастным.
1:21:33 Аналитик должен быть беспристрастным.
1:21:36 Гипотеза - это важно.
1:21:37 Гипотеза, это важно.
1:21:39 Аналитик должен быть беспристрастным.
1:21:42 Этот гость сломался.
1:21:47 Тут прикол в том, что.
1:21:55 Ничего, может молчать.
1:21:56 Просто я пытался не начать орать.
1:22:00 А что можно не катить через обтас?
1:22:05 Вырежьте это, я даже не знаю, зачем нам нужны обтасницы.
1:22:10 Я делаю их только потому, что мне платьят, чтобы я их делал.
1:22:18 Я зарабатываю на том, что вы не можете принять решение, и вам нужна циферка, покрашенная в красный или зеленый, чтобы что-то сделать.
1:22:31 Я самый быстрый читальщик метрик в мире, и сейчас я прочту вам 800 метрик за 30 секунд.
Комментарии
Войдите, чтобы оставить комментарий.