[Dev Story] А/B тестування іконки, скріншотів і опису для AppStore: довіряй - але перевіряй

Нам пише Олексій Волков.

Цього літа нам на очі потрапила стаття «Як проводити A/B тестування для опису додатків в AppStore та Google Play. Збільшення числа завантажень програми після мікро-тесту вразило і ми провели своє тестування на нашій грі «Слово за слово - гра з друзями».

А/В тестування складалося з 4 кроків:

Ми підготували по 4 варіанти іконки, опису і скріншотів, а потім приступили до створення лендингов.

Всього було зроблено 12 сторінок, які імітували сторінку в AppStore. До кнопку «завантажити» прикрутили лічильник, який відстежував кількість кліків.

Приклад лендинга.

Після підготовки лендингов ми почали наганяти на них трафік з Google AdWords. Створивши 12 кампаній, оголошення та ключові слова, з подихом полегшення відправили їх на модерацію.

Але на наступний день всі 12 сторінок відкинули, з позначкою «додайте індивідуальності».

Приклад скоригованого лендинга:

Після збору статистики, ми отримали наступні результати (кількість трафіку на кожному з лендингов - 1000 користувачів):

Іконка:

№ 1 - 29 переходів - 3 місце;
№ 2 - 47 переходів - 1 місце;
№ 3 - 42 переходу - 2 місце;
№ 4 - 25 переходів - 4 місце.

Опис:

№ 1 - 16 переходів - 4 місце;
№ 2 - 44 переходів - 3 місце;
№ 3 - 46 переходу - 2 місце;
№ 4 - 48 переходів - 1 місце.

Скріншоти:

№ 1 - 19 переходів - 3 місце;
№ 2 - 17 переходів - 4 місце;
№ 3 - 22 переходу - 2 місце;
№ 4 - 43 переходу - 1 місце.

І показники ставали гірше! Звичайно, ми повернулися до колишнього варіанта N1.

Було прийнято рішення викотити новий білд, змінивши в ньому «імідж»: використовувати найбільш виграшні за підсумками тестування іконку, опис і скріншоти.

Понеділок день важкий, але може бути ще важче. До внесення змін гра займала наступні позиції:
RU-Overall - 119 місце;
RU-Games - 43;
RU-Puzzle - 10;
RU-Word - 1.

Після внесення змін:
RU-Overall - 530 місце;
RU-Games - 153;
RU-Puzzle - 41;
RU-Word - 5.

І показники ставали гірше! Звичайно, ми повернулися до попереднього варіанту.

Результат тестування виявився для нас несподіваним, а наслідки - шокуючими. Але негативний досвід - теж досвід. У процесі аналізу проведеного тестування ми зробили висновок, що аудиторія рекламної мережі Google AdWords відрізняється від нашої цільової аудиторії в AppStore, на відміну від додатка автора статті, на яку ми спиралися.

iPhone + iPad: Freemium [Завантажити в App Store]