А/Б тестирование в Яндекс.Директ: как избежать провала при изменении РК

Наш клиент – завод-производитель огнеупорных теплоизоляционных материалов и изделий. К моменту, описанному в этом кейсе (июль-август 2024), сотрудничество по контекстной рекламе в Яндекс.Директ шло уже несколько лет. Рекламные кампании приносили стабильные конверсии.

Клиент попросил во все объявления добавить УТП, после внедрения которого предполагалась, что конверсии могут в разы вырасти, так как это одно из значимых преимуществ, влияющих на принятие решение о заявке.
Теперь каждый текст должен был включать упоминания о том, что покупать напрямую с завода на 80% выгодней, чем у компаний-посредников.
Надо сказать, что указание на выгоду при покупке у производителя в нашей кампании уже было: эта информация отображалась в расширении, когда объявление показывалось на первой позиции в выдаче.
Здесь Яндекс объясняет, что это за расширение и как оно работает.

Вкратце: промоакция — дополнение к объявлению, которое содержит краткое описание акции и выделяется особой меткой или подложкой. На поиске объявление дополняется промоакцией, если в выдаче оно расположено на первом месте премиум-показов.

Вот как выглядит такое объявление:

Но стоит вашему объявлению уйти с первой позиции, расширение не показывается. УТП в виде 80% выгоды пользователь уже не видит.

Менять сразу все объявления - рискованный поступок. Во-первых, это массовое изменение может повлиять на переобучение алгоритмов, что в последствии может повлиять на наработанные результаты по конверсиям, CTR, цене за клик и другим показателям. Во-вторых, эффективность самого нововведения мы еще не протестировали и не знали, насколько предлагаемая собственником информация сработает в качестве фактора привлечения клиентов.
Вместо того, чтобы массово заменять объявления, мы убедили клиента, что можно провести а/б тестирование, запустив параллельно отдельные кампании, а затем сравнить результаты. На основании которых принимать решение. Так мы бы проверили гипотезу, не сбивая работу алгоритмов уже обученных кампаний, приносивших стабильные конверсии.

Для а/б тестирования мы выбрали одну кампанию, на основании которой были созданы две копии - таким способом отсчет данных пойдет с одинаковой даты и при одинаковых внешних факторах. Одну кампанию оставили неизменной, выгода отображалась в расширении. Во второй кампании заменили объявления. Выгода была прописана в самой первой строчке и уже не зависела от позиции показа: информация, добавленная клиентом, была видна всегда.

По итогам нашего А\Б тестирования и сравнения двух кампаний (той, где выгода прописана в расширении «промоакция» и той, где мы «зашили» это в текст) мы выяснили следующее.

Кликабельность (CTR) объявлений в кампании с промоакцией была выше на 13,56%, Клик в кампании с промоакцией оказался дешевле (CPC) на 23,42%, от чего показов и кликов получилось больше. Остальные показатели были примерно одинаковые.

В кампании с промоакцией их оказалось чуть больше, а стоимость конверсии была ниже на 3,51%. Однако, коэффициент конверсий оказался выше в кампании, где выгода прописана в тексте: 6,21% против 4,93%.

• В первую неделю эффективней была новая кампания, где выгода прописана в тексте, но по результатам месяца обе РК показали себя одинаково.
• Если бы объявление, где выгода была в тексте, сработало лучше, чем с выгодой в расширении, мы бы его продублировали во все кампании, однако такой необходимости мы не увидели.
• Да, тестирование удвоило месячный бюджет кампаний (34 тысячи вместо 18,5), но при этом суммарно мы получили на 12 конверсий больше и в целом наш А-Б тест принес клиенту прибыль.

Посмотрев на результаты, мы решили в действующей кампании ничего не менять: информация о 80% выгоде по-прежнему появлялась в режиме промоакции. Второй вариант объявления, где УТП было в первой строчке, мы просто добавили в действующую кампанию в качестве дополнения, ведь оно тоже приносило конверсии.

Проверка гипотез – важная часть маркетингового процесса. Только так можно расширить рамки, найти новые возможности. Однако, делать это нужно осторожно, не нарушая основной процесс, который в данном случае мы выстраивали не один месяц.
Весь процесс тестирования проводился в тесном контакте с клиентом. Мы показывая ему промежуточные и окончательные результаты, которые, в итоге, доказали, что первоначальная стратегия (когда дополнительные выгоды были зашиты в расширение, а не в основной текст) была выбрана верно.
Главный вывод: проверяя на жизнеспособность новые идеи, не ломайте то, что уже работает и приносит прибыль.