A/B-тестирование
A/B-тестирование (англ. A/B testing, Split testing) — метод маркетингового исследования, позволяющий на основе статистики оценить влияние изменения на метрики продукта. A/B-тест состоит из рандомизированного контролируемого эксперимента. В ходе теста сравнивается вариант «A» и вариант «B», а целью является определение лучшего из двух протестированных вариантов[1][2][3]. В результате эксперимента выбирают тот вариант, который значимо улучшает один или несколько целевых показателей.
Разновидностью A/B-тестирования является многовариантное тестирование. В этом случае тестируются не два целостных варианта, а сразу несколько элементов продукта или составных частей исследуемого объекта в различных сочетаниях, при которых каждый тестируемый элемент может быть двух видов (A или B)[4].
Практическое применение
[править | править код]Метод часто используется в веб-дизайне, типичные применения — исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта[5]. В веб-дизайне часто тестируются две очень похожие веб-страницы (страница А и страница В), которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/n-тестированием). Страницы А и В показываются различным пользователям в равных пропорциях, при этом посетители, как правило, не знают об этом. По прошествии определённого времени или при достижении достаточно большого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы. Преимуществом метода является использование при проектировании объективных данных[4]. Для A/B-тестирования веб-дизайна часто используются инструменты от сервисов веб-статистики; в этом случае также часто важно применение механизма для разбиения пользователей, которым будет показан тот или иной вид дизайна (одному и тому же пользователю нужно показывать тот же самый вариант дизайна), например, на основе IP-адреса и затем установкой HTTP cookie[4].
Другие подходы
[править | править код]Когда проведение A/B-тестирования нецелесообразно, могут использоваться альтернативные методы[6].
Примечания
[править | править код]- ↑ The Surprising Power of Online Experiments // Harvard Business Review. — 2017-09-01. — ISSN 0017-8012. Архивировано 14 августа 2021 года.
- ↑ Ron Kohavi, Roger Longbotham. Online Controlled Experiments and A/B Tests (англ. ) // Encyclopedia of Machine Learning and Data Science. — 2023. — С. 891—892. Архивировано 21 апреля 2023 года.
- ↑ Ron Kohavi, Diane Tang, Ya Xu. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. — Cambridge University Press, 2020-04-02. — 291 с. — ISBN 978-1-108-72426-5.
- ↑ 1 2 3 Mathis, 2011.
- ↑ Big data: The next frontier for innovation, competition, and productivity (англ.). — 2011. — P. 28. Архивировано 6 декабря 2024 года.
- ↑ Василий Сабиров. Игра в цифры. Как аналитика позволяет видеоиграм жить лучше. — Litres, 2020-06-23. — 502 с. — ISBN 978-5-04-259284-3.
Литература
[править | править код]- Lukas Mathis. A/B Testing // Designed for Use. — Pragmatic Bookshelf, 2011. — 344 p. — ISBN 978-1-934356-75-3.
Ссылки
[править | править код] | В другом языковом разделе есть более полная статья A/B testing (англ.). |