Сделай сам SEO Сплит инструмент тестирования с причинно-следственной связи

1. Что такое сплит-тест SEO?
2. Что вам нужно, чтобы использовать этот инструмент
3. Как вы используете его?
4. Как это работает?
5. Почему мы не показываем статистическую значимость?
6. Почему мы сделали этот инструмент?

Получить инструмент

У нас есть новый инструмент для обмена! Этот инструмент позволяет вам измерить эффект любых сплит-тестов SEO, которые вы можете запустить на своем сайте. Вы можете найти это Вот , В этом посте вы узнаете, как его использовать, но прежде чем мы это сделаем, давайте вернемся на шаг назад:

Что такое сплит-тест SEO?

Сплит-тест SEO - это то, где вы вносите изменения в свой веб-сайт в подмножестве определенного шаблона страницы, чтобы увидеть, как эти страницы работают по-другому по сравнению с другой половиной.

Например, вы можете изменить теги заголовка на 50% страниц вашего продукта и посмотреть, как они работают по сравнению с другой половиной.

Это отличается от сплит-теста CRO, где вы показываете пользователям разные версии одной и той же страницы.

Время для некоторых быстрых определений

Что вам нужно, чтобы использовать этот инструмент

Вам нужно будет запустить (или запустить) сплит-тест SEO (см. «Как работает А / Б-тестирование для SEO?» В эта почта за помощью). Вам нужно будет разделить ваши страницы на две группы, внести изменения в их процент, а затем загрузить общий органический трафик в каждое из двух сегментов.

(Одним из способов сделать это с помощью GA является отправка пользовательского измерения уровня попадания, содержащего «контроль» или «вариант», а затем измерение органических входов, или вы также можете сделать это, загрузив данные для каждой из отдельных страниц и затем сопоставив их на ваш контроль и вариант ведра.)

В частности, что вам нужно, это:

Для обеих этих групп вам понадобятся 100 дней этих данных до начала теста, а также те дни, когда ваш тест выполнялся.

Таким образом, если ваш тест выполняется в течение 14 дней, вам понадобятся данные за 114 дней.

Почему 100 дней исторических данных? Короче говоря, это то, что позволяет математике за этим работать правильно.

Хотите увидеть пример набора данных? Вот один мы собрали в листе Google.

Зарегистрируйтесь, чтобы узнать больше о нашей новой платформе ODN для научного подхода к SEO.

Как вы используете его?

Вы вводите контрольные и вариантные данные в соответствующие поля, выбираете дату начала теста и нажимаете кнопку «Выполнить».

(Инструмент знает, что ваш тест начинается через 100 дней, поэтому ввод даты начала предназначен только для правильной установки оси.)

Затем инструмент построит ваш вариант по отношению к элементу управления с использованием модели причинно-следственной связи, начальная дата будет выделена на графике, и вы сможете увидеть, как они работают относительно друг друга.

Если красная линия положительная, ваше изменение было хорошим. Если синяя линия выше, значит, ваше изменение было плохим.

Вы также можете загрузить данные в CSV, чтобы рассчитать, насколько лучше они работают.

Как это работает?

Мы собираемся войти в удивительный мир математики, так что приготовьтесь.

Этот инструмент использует модель Google Causal Impact (вы можете найти академическую статью Вот , там не так много написано, если вы не склонны к математике, хотя я думаю, эта почта был лучше, чем некоторые другие).

Это форма модели регрессии и работает примерно так (упрощение впереди).

Причинно-следственная связь позволяет разбить данные временных рядов (данные, которые представлены день за днем) на составные части, а именно: сезонность, влияние отрасли и лежащий в основе тренд.)

Вы предоставляете причинно-следственную связь с данными для моделирования этих эффектов (сезонность, спрос в отрасли и т. Д.), А затем она создает модель с использованием этих входных данных и данных временных рядов. Выделив другие эффекты, вы сможете увидеть истинную производительность под ними.

Так как же это работает в этом случае?

Ну, данные нашего временного ряда - это набор вариантов. Мы хотим знать, как работал бы этот набор страниц, если бы не было изменений, поэтому мы можем использовать модель причинного воздействия, чтобы имитировать это.

Мы предоставляем переменную времени (вы никогда этого не видите) и набор данных контроля (то, что вы вводите), который затем помогает модели учитывать любые колебания, такие как продажи или обновления Google, которые должны одинаково влиять как на элемент управления, так и на вариант. Это позволяет нам вычленить и сравнить вариант и смоделированный контроль, который будет учитывать сезонность и колебания всего участка.

Почему бы просто не сравнить непосредственно контроль и вариант? Мы не можем напрямую сравнивать их из-за возможных различий в вариантах и ​​контрольных группах, наиболее очевидный пример этого - две группы могут иметь разные размеры в зависимости от того, как страницы были отсортированы.

Например, ваш вариант может иметь в среднем 5000 обычных сессий в день, а под вашим контролем может быть в среднем только 4000 органических сессий в день, поэтому мы не можем сравнить абсолютные колебания в наших двух разделах.

Это еще не все, но это самый простой пример для подражания.

Почему мы не показываем статистическую значимость?

Статистическая значимость является важной концепцией. При любом виде статистического моделирования будет ошибка.

Однако это становится немного сложнее, если смотреть на прогноз с течением времени. Если бы мы просто сравнивали два дня, мы могли бы сказать, что A> B на такую ​​величину, что результат является статистически значимым.

Однако если мы сравниваем двухвременные ряды, то важна производительность с течением времени, а не одноразовая дата. Если один постоянно превосходит другой, то важен общий совокупный объем сеансов, а не какой-либо отдельный день. Все отдельные дни могут быть в пределах допустимой погрешности, и, тем не менее, общая сумма делает их особенно значительными.

Это в основном вводит в заблуждение значимость день ото дня, что показывает этот график. Вместо этого вам нужно вычислить значимость для общих совокупных сеансов, то есть общего количества сеансов, чтобы контролировать общее количество сеансов для варианта, что вам нужно будет вручную сделать с помощью любого стандартного инструмента значимости.

Почему мы сделали этот инструмент?

Мы полностью вовлечены в сплит-тестирование. Мы думаем, что это будущее SEO и пути развития индустрии. Мы даже построили вокруг него целую платформу - DistilledODN ,

Но мы также понимаем, что не каждый может позволить себе крупномасштабные корпоративные инструменты, поэтому мы хотели, чтобы основные математические знания были доступны каждому и поощряли проведение более отраслевого тестирования.

Хотя математика здесь является более простой версией того, что мы используем в DistilledODN (мы не можем инвестировать одинаковые масштабы ресурсов в тестирование различных моделей в этом инструменте, как мы можем в полном объеме программного обеспечения), основа (причинное воздействие) там, в отличие от нашего ODN, где у нас должен быть общий набор математических вычислений, применимый к кому угодно и где угодно, способность тестировать и вычислять числа самостоятельно означает, что вы можете делать корректирующие вызовы, чего не может платформа. Например, если вы знаете, что у вас есть продажа в одном разделе вашего сайта, который отличается от нормы, вы можете исключить это при предоставлении чисел для инструмента.

Во всяком случае, достаточно вафли. Я надеюсь, что вы все найдете это полезным!

ПОЛУЧИТЕ ИНСТРУМЕНТ

Похожие

Комментарии