Плейтесты острова: как проверять до релиза
Остров, который автор знает наизусть, всегда понятен — автору. Здесь 5 кругов проверки: что ловится в одиночку, что видно только на чужих людях и что нужно повторять у каждой версии. Отмечать ничего не надо — это порядок действий, а не второй чеклист.
Круги проверки
-
1
Сухой прогон
Убрать поломки, которые видно и без чужих глаз. Звать людей на остров, где заход обрывается на середине, — тратить их время.
- Круг проходится от старта до конца, ни на чём не застревая.
- Все награды выдаются, все счётчики считают, конец захода наступает.
- Из зоны игры нельзя выйти туда, где ничего нет.
- Перезаход не ломает прогресс и не выдаёт награду второй раз.
Круг пройден Три прохода подряд без единой остановки.
-
2
Первый чужой человек
Проверить не баланс, а понятность: доходит ли игрок сам до того, что нужно делать. Это самый дешёвый тест и самый болезненный — сразу видно, что автор объяснял вслух, а не в игре.
- Сколько секунд проходит до первого осмысленного действия.
- В какой момент задан вопрос «а что тут делать».
- Куда игрок пошёл первым — туда, куда ты рассчитывал, или нет.
- Что он назвал целью игры, когда ты спросил после захода.
Круг пройден Два человека подряд поняли цель без подсказок.
-
3
Закрытый плейтест
Посмотреть остров на людях и в компании: как ведёт себя наполнение, хватает ли места, что происходит, когда игроки мешают друг другу или расходятся по углам.
- Сколько человек дошло до конца круга, а сколько вышло раньше.
- Где собирается толпа и где пусто.
- Какие способы игры ты не задумывал, но они работают.
- Что ломается только при полном острове: спавн, очередь, лут, счёт.
Круг пройден Круг проходят большинство и почти все понимают, кто выиграл.
-
4
Устройства и сеть
Остров играют не только на твоём компьютере. Просадка кадров и мелкий нечитаемый текст на телефоне — это те же баги, просто ты их не видишь.
- Кадры в самом нагруженном месте и в момент, когда все игроки вместе.
- Читается ли текст интерфейса на маленьком экране.
- Как играется на геймпаде и сенсоре то, что придумано под мышь.
- Что происходит при высоком пинге и при вылете одного игрока.
Круг пройден Полный заход с телефона и с консоли — без вылетов и без слепых мест.
-
5
Проверка каждой версии
Обновление ломает то, что работало год. Короткий круг по тем же пунктам стоит двадцати минут, а починка после жалоб игроков — недели просадки.
- Старый прогресс игроков после обновления не потерян.
- Правки баланса не сломали то, что не трогали.
- Новое содержимое находят те, кто не читал описание обновления.
- Числа острова после обновления не рухнули — если рухнули, откатывай.
Круг пройден Сухой прогон и один чужой заход на новой версии — до релиза.
Как провести закрытый плейтест
-
Правило Epic
Собери приватную версию
Публикация из Creative («Publish Island» в настройках острова) или из UEFN («Publish Project» в меню Project) создаёт приватную версию с кодом. Тест идёт на ней: релиз для этого не нужен. Кого пускает приватная версия, решают настройки проекта в Creator Portal — сверься там до того, как раздашь код.
-
Методика
Назначь время и длительность
Час, из него сорок минут игры и двадцать разбора. Тест без конца превращается в посиделки: люди устают и начинают хвалить.
-
Методика
Скажи заранее, что не готово
Одна фраза до начала: что тестируем и чего пока нет. Иначе полчаса разбора уйдёт на текстуры-заглушки, а не на игру. А вот что именно ты хочешь услышать, не говори — это подсказка.
-
Методика
Молчи, пока идёт заход
Самое ценное на тесте — момент, когда игрок не понимает, что делать. Подсказал — момент потерян, и на релизе рядом с игроком тебя не будет. Записывай вопрос и терпи.
-
Методика
Смотри, а не спрашивай
Пока идёт игра, веди список: секунда, что произошло, что сказал игрок. Запись экрана одного из тестеров стоит десяти пересказов — спроси разрешение заранее.
-
Методика
Разбор сразу после захода
Через день человек помнит своё впечатление, а не то, что было. Сначала пусть каждый скажет своё, потом общий разговор: в общем первый громкий голос задаёт мнение всем остальным.
-
Методика
Скажи, что изменилось
После правок покажи тестерам, что из их слов попало в остров. Это единственная плата, которая у тебя есть, и она работает: на второй тест такие люди приходят.
«Правило Epic» — то, что написано в документации для разработчиков; ссылки на неё внизу страницы. «Методика» — как тест устроен у нас, и требованием площадки это не является.
Что спрашивать после захода
Эти вопросы дают ответ
- Что ты делал первые две минуты? Проверяет вход в игру и показывает, куда игрок пошёл сам, без твоего замысла.
- В чём была цель, как ты понял? Если ответы разных людей не совпадают, остров объясняет себя плохо — дело не в игроках.
- Где ты застрял или не понял, что делать? Прямо называет место, которое надо чинить.
- Что ты сделал бы во второй заход по-другому? Показывает, есть ли в острове стратегия или выигрышный способ ровно один.
- В какой момент стало скучно? Скука приходит по времени, и её называют точно: «после третьей волны», «когда собрал всё».
- Кому бы ты это включил и почему? Ответ описывает аудиторию острова словами игрока, а не твоими.
А эти — нет
- Тебе понравилось? Знакомый человек ответит «да». Ответ не указывает ни на одно место в острове.
- Правда же круто получилось? Вопрос уже содержит нужный ответ — так собирают похвалу, а не данные.
- Что улучшить? Тестер начнёт проектировать за тебя. Он хорошо чувствует проблему и плохо придумывает решение.
- Сложно было? — задан во время игры Вопрос по ходу захода сбивает игру и подсказывает, что здесь должно быть сложно.
- Ты понял, что надо было идти налево? Это не вопрос, а подсказка. После неё тест этого куска закончен.
-
Жалоба точна, решение — нет
Тестер верно называет место, где ему было плохо, и почти всегда ошибается в том, как это чинить. «Дай больше патронов» часто значит «бой слишком длинный».
-
Считай повторы
Одно мнение — мнение. То же самое от трёх человек из шести подряд — свойство острова. Веди список так, чтобы повторы было видно, иначе решает тот, кто громче.
-
Отделяй «непонятно» от «не нравится»
«Непонятно» чинится обучением и интерфейсом, «не нравится» — балансом или самим замыслом. Это две разные починки, и путать их дорого.
-
Не спорь с тестером
Объяснять, почему он неправ, бессмысленно: на релизе объяснять будет некому. Спрашивай дальше, пока не поймёшь, что именно он видел.
-
Записывай сразу, решай потом
Правка по ходу разбора ломает остров чаще, чем чинит. Сначала собери всё, потом посмотри, что повторяется, и только потом трогай остров.
Баги: что записывать и что чинить первым
Отчёт о баге
Шесть строк, по которым баг можно повторить. Если повторить нельзя, чинить нечего — остаётся догадываться.
- Что делал Шаги по порядку, от начала захода. «Сломалось» без шагов — это не отчёт: воспроизвести по нему нельзя.
- Что должно было случиться Ожидание словами. Иногда оказывается, что бага нет, а есть непонятное правило — это тоже находка.
- Что случилось на самом деле Факт без объяснений и догадок о причине.
- Устройство и версия острова Компьютер, консоль или телефон и код приватной версии. Половина багов живёт только на одной платформе.
- Часто ли повторяется Каждый раз, через раз или случилось однажды. От этого зависит, чинить сейчас или наблюдать.
- Скриншот или запись Кадр экрана закрывает половину вопросов. Проси его сразу: через день у тестера его уже нет.
Список багов ведётся там, где тебе удобно: таблица, доска, заметки. Портал их не хранит — чужие баги это чужие данные, и место для них у автора уже есть.
-
P0
Блокирует игру
Заход не начинается, круг не заканчивается, прогресс теряется, остров вылетает. С таким багом релиз не выходит, а вышедший — откатывается.
-
P1
Ломает правила
Награду можно получить дважды, из зоны игры есть выход, счёт считается неверно. Играть можно, но играют не в то, что ты собрал.
-
P2
Мешает, но обходится
Неудобный спавн, застревание в углу, подсказка не там. Чинится в ближайшем обновлении.
-
P3
Видно, но не мешает
Щель между блоками, съехавший текст, лишняя тень. Копится в список и разбирается, когда список важного пуст.
Что считать на тесте
Аналитика острова живёт в Creator Portal у автора, и доступа к ней у портала нет. Зато эти числа снимаются на самом тесте — секундомером и списком в блокноте.
- Время до первого действия Как считать Секундомер от появления игрока до первого шага по замыслу: взял оружие, нажал кнопку, побежал к цели. О чём говорит Больше тридцати секунд у нескольких человек — вход в игру не объясняет себя.
- Доля дошедших до конца круга Как считать Сколько человек из захода добрались до конца, делённое на число участников. О чём говорит Меньше половины — круг длинный, непонятный или обрывается.
- Длина захода Как считать От старта до выхода, по каждому игроку отдельно. О чём говорит Сравнивай с тем, на сколько минут ты остров задумывал: разница в два раза — это про баланс, а не про игроков.
- Вопросы «что делать» Как считать Считай вслух заданные вопросы за заход и помечай минуту. О чём говорит Вопросы кучкуются в одном месте — чинить надо это место, а не весь остров.
- Досрочные выходы Как считать Кто вышел раньше конца и на какой минуте. Причину спрашивай сразу. О чём говорит Ранние выходы на одной и той же минуте — там дыра в темпе игры.
- Просадки и вылеты Как считать Отмечай момент и место, где падают кадры, и каждый вылет с устройством. О чём говорит Всё, что случилось на тесте, на релизе случится чаще: игроков будет больше.
- Второй заход Как считать Сколько человек начали новый круг, когда их никто не просил. О чём говорит Самое честное число теста. Ноль — остров проходят один раз, и это надо чинить до релиза.
Шесть человек — не выборка, и проценты по ним считать не стоит. Пиши числами: «четверо из шести застряли на входе». Снаружи остров видно только после релиза — это чарты и разбор рынка.
Официальный тест, который у тебя есть
Единственный тест, который Epic даёт автору сам, — сравнение двух обложек при публикации. Он не про игру, а про то, нажимают ли на карточку острова.
- Две обложки на выбор На вкладке Promotional Media релиза можно отправить вторую обложку и включить «Create A/B Test». Картинки должны отличаться; вторая не считается дублем. Тест необязательный — от него можно отказаться и опубликоваться с одной обложкой.
- Как идёт показ После публикации обложки показываются игрокам поровну — в Discover, в списках и в поиске. Игрок, увидевший одну картинку, дальше видит только её.
- Что считается Показы, клики и доля кликов (CTR). Числа лежат на странице публикации острова в блоке релиза — это данные Creator Portal, у нас их нет.
- Сколько идёт и чем кончается До 90 дней. Закончить можно раньше, выбрав картинку; если не выбрать, по истечении срока обложку выберут за тебя по результату. Пока тест идёт, новый релиз создать нельзя.
- Одна картинка тянет за собой обе Если одна обложка не проходит модерацию, не проходит весь остров: придётся исправить картинку и пройти проверку заново.
Что показывать на самой картинке — в разделе о тумбнейле: там правила Epic и разбор своей обложки.
Чего этот раздел не делает
Не собирает тестеров. Людей на закрытый тест зовёшь ты сам — из друзей, из своего сообщества, из чужих островов того же жанра. Портал не сводит незнакомых людей друг с другом: за такую комнату кто-то должен отвечать, а отвечать некому.
Не хранит отзывы и баги. Формы обратной связи здесь нет. Чужие ответы — чужие данные, и складывать их у себя без аккаунтов и согласия мы не будем.
Не показывает аналитику твоего острова. Показы, время в игре и возвраты считает Epic и отдаёт их автору в Creator Portal. Портал считает только то, что видно снаружи.
Не обещает результат. Пройденные круги проверки — это отсутствие известных поломок, а не место в Discover. Остров без багов может быть неинтересным, и тест это тоже показывает.
Дальше по порядку
Откуда это взято
-
Publishing Islands in Fortnite Creative
Приватная версия и её код, релиз в Creator Portal и вкладка Visibility — на чём и для кого идёт закрытый тест.
-
A/B Thumbnail Testing in Fortnite Creative
Тест двух обложек: как включить, как идёт показ, какие числа собираются и сколько он длится.
-
How Discover Works in Fortnite
По каким сигналам Epic оценивает остров после релиза — на них и стоит смотреть, когда выбираешь, что мерить на тесте.
Ссылки ведут на сайт Epic Games. Fortnite Universe с Epic Games не связан. Методика тестов — наша: в правилах площадки её нет.