Experimenteren is al sinds jaar en dag een essentieel onderdeel van (online) marketing. Met methodes zoals A/B-testing kunnen we snel en betrouwbaar achterhalen welke versie van de content het beste aansluit bij de lezer of gebruiker. Dit kan ook toepast worden voor jouw mobiele app. A/B-testing is onderdeel van App Store Optimalisatie. In deze tutorial leggen we je stap voor stap uit hoe jij door middel van tot de optimale vermelding in de App Stores kan komen. Ready, Set? Test!
Waarom zijn A/B-testen belangrijk voor App Store Optimalisatie?
Oké. First things first. Als we het hebben over App Store Optimalisatie zoeken we naar manieren om een app beter zichtbaar te krijgen in de verschillende App Stores. Eerder schreven we al over de basics van App Store Optimalisatie. Factoren zoals titels, omschrijvingen en previews (de screenshots in de App Stores) hebben allemaal invloed op de ranking. Maar hoe weet je nou dat er een optimale versie van jouw App Store vermelding online staat?
Met A/B-testen kun je de app-vermelding verbeteren door content, functies en designs te tonen aan de doelgroep. Vervolgens kijk je of de versies daadwerkelijk invloed hebben op de belangrijkste statistieken zoals conversie-ratio, inkomsten etc).
Wat kan je allemaal A/B-testen in de App Stores?
We gebruiken in dit voorbeeld de twee grootste App Stores: de Google Play Store en de Apple App Store. Het verschilt namelijk per platform wat je kan testen.
Apple App Store
We beginnen met de Apple App Store. Alle data van je app staat in App Store Connect. Daarin kan via de pagina ‘App Store Optimalisation’ een aantal test aanmaken met de volgende elementen:
- AppIcon
- App Store Previews (de screenshot die in de App Stores ziet)
Nu hoor ik je direct denken. That’s it? Jup. Meer kan je op dit moment nog niet testen. Als mensen zijn we erg visueel ingesteld, dus deze twee elementen hebben wel veel impact.
Google Play Store
Alle gegevens van jouw Android app staan in Google Play Connect. Onder het tablad “Store listing experiments kan je alle A/B-testen bijhouden. Binnen de Play Store kan je de volgende elementen testen:
- Short description
- Full description
- App icon
- Feature graphic
- Screenshots
- Video
Bij Google kan je dus al wat meer testen, waaronder tekst. Dat is een groot voordeel. Want tekst betekend indexering en indexering betekend ranking! Oftewel. Met Google’s Store Listing Experiments kan je testen welke copy beter aansluit bij je doelgroep.
A/B-test aanmaken in de App Stores
App Store Connect
Stap 1: Log in op App Store Connect en Klik op op App Store Optimisation (onder Features)
Stap 3: Klik op het + teken om een nieuwe AB test aan te maken
Stap 4: Kies de naam en variabelen van je test.
Reference name: Wij gebruiken altijd dezelfde format:
AB-test - [Versie] - [Element] - [Land] . Voorbeeld: AB test - V1.0 - AppIcon - The Netherlands
Number of Treatments: aantal verschillende versies heb je. Maximum is 3.
Traffic Proportion: Hoeveel procent van alle bezoekers krijg deze AB test te zien? Kies voor de snelste resultaten het hoogste percentage.
Localizations: heeft jouw app meerdere talen beschikbaar? Kies dan welk land deze AB-test krijg te zien. (je kan ze ook allemaal selecteren).
Na het invullen van deze variabelen geeft App Store Connect direct een schatting van de test duration. Je kan hier eventueel het benodigde procentuele verschil selecteren. Voor 99% van de testen kan je dit zo laten.
Stap 5: Upload/selecteer je nieuwe assets bij de treatments.
Ga jij voor een A/B-test met verschillende App Store Previews? Deze kan je direct in Connect uploaden. Zorg ervoor dat je deze in alle juiste formaten upload. De vereiste afmetingen staan ook op de site van Apple. Let op: wil je een test draaien met verschillende App Icon’s? Dan moet je deze eerst toevoegen aan de Assets folder in Xcode. Klik hier voor de uitgebreide documentatie.
Stap 6: Start het experiment. Time to go live! 🙂
Yes. Je AB-test gaat nu richting Apple voor review. Test je verschillende AppIcon’s? Dan is je test gelijk al van start gegaan, dit komt omdat je bij het toevoegen van de AppIcon’s al een keer door de review bent gegaan.
Stap 7: Nu is het wachten. In de Analytics van je app kan je direct de eerste resultaten bekijken. Valt je al iets op? Het is aan te raden om minimaal 14 dagen de test te draaien. Verschillen ga je pas zien als er honderden bezoekers de verschillende treatments hebben gezien. Wacht dus rustig af.
Google Play Connect
Stap 1: Een AB-test binnen Google Play Connect werkt vergelijkbaar. Log in en ga naar ‘Experimenten voor winkelvermeldingen'
Stap 2: Kies de naam, winkelvermelding en experimenttype
Naam van aangepaste winkelvermelding: wij gebruiken altijd dezelfde format:
AB-test - [Versie] - [Element] - [Land] . Voorbeeld: AB test - V1.0 - AppIcon - The Netherlands
winkelvermelding: kies hier primaire winkelvermelding
Experimenttype: Dit ligt aan welk onderdeel je wil testen. Standaardexperiment is voor je Nederlandse vermelding. Ga je liever per land testen, dan kan je hier kiezen voor een gelokaliseerd experiment.
Stap 3: Kies het aanbevolen doelstatistiek.
Stap 4: Kies de varianten (hoeveel variaties wil je testen, maximaal 3)
Stap 5: Doelgroep van experiment, minimaal waarneembaar effect en betrouwbaarheids-niveau
Deze kunnen bij 99% van alle AB-testen op default blijven staan.
Stap 6: Variant-configuratie
Nu gaan we beginnen. In de Google Play Store kan je veel meer testen dan in App Store. Kies de kenmerken die je wilt testen in vergelijking met je huidige winkelvermelding. Voor de beste resultaten selecteer je 1 item tegelijk. Onder varianten kan je de assets toevoegen.
Stap 7: Start het experiment. Time to go live! 🙂
Yes. Je AB-test gaat nu richting Google voor review. Dit duurt enkele dagen. Zodra het experiment geaccepteerd is, staat de AB-test ook gelijk live.
Stap 8: Nu is het wachten. In de Analytics van je app kan je direct de eerste resultaten bekijken. Valt je al iets op? Het is aan te raden om minimaal 14 dagen de test te draaien. Verschillen ga je pas zien als er honderden bezoekers de verschillende treatments hebben gezien. Wacht dus rustig af.
A/B-test resultaten analyseren
Data-analyse is de belangrijke stap bij het draaien van experimenten. Hierbij is het essentieel dat je daarbij gaat focussen op het primaire doel van je experiment. Wat wil je bereiken: meer downloads? Hogere retentie? Dit kan je achterhalen door in de data te duiken. We nemen je mee aan de hand van een voorbeeld.
Case: BabyManager Play Store AB-test
BabyManager is een app voor toekomstige en kersverse ouders. Elke gebruiker krijgt drie maanden BabyManager vergoed door zijn/haar zorgverzekeraar. De app heeft veel functionaliteiten, zoals 24/7 chatten met kraamzorgprofessionals, een persoonlijke fotoboek en in-app cursussen. Tijdens de AB-test (in eerste instantie Android-only) hebben we ons gefocust op de twee belangrijkste functionaliteiten van de app: chatten en het fotoboek. Primaire doel: meer downloads. Dit waren de resultaten na enkele weken:
Bij deze AB-test hebben we het eerste scherm van App Store Assets (afbeeldingen van de app) aangepast zodat hierin de focus lag op beide USP's. Zoals je ziet hebben nagenoeg gelijke aantal installerende gebruikers de varianten gezien. Echter zien we direct verschillen. De focus lag op nieuwe installerende gebruikers, omdat de app recentelijk was gelanceerd. Uit deze test blijkt dat beide nieuwe schermen beter presteren dan de huidige vermelding. Maar welke versie van de Treatments (variabelen) heeft nu gewonnen? Dat zie je door naar de zekerheidsinterval te kijken. Bij Treatment A- Focus op fotoboek zie je namelijk dat er een twijfel van -6,7% te zien is in resultaten. Dit betekend dat er ook een mogelijkheid is dat Treatment A zelf slechter presteert dan de huidige vermelding. Bij Treatment B is hier geen twijfel over mogelijk.
Je kan ervoor kiezen om nu Treatment B als de nieuwe huidige vermelding toe te passen. Een extra validatie-stap zou zijn om een nieuwe AB-test aan te maken met één treatment, namelijk 'Focus op Chat/Videobellen'. Zo weet je altijd dat de data valid is.
Binnen App Store Connect werkt het bijna hetzelfde. Hier zie je alleen Conversion-rate (percentage views/downloads) in plaats van installerende gebruikers.
Wil jij (organisch) groeien? Let us help
Zoals je leest komt er veel kijken bij het effectief uitvoeren van een AB-test. Onze gecertificeerde App Marketing specialisten adviseren graag het optimaliseren van jouw App Store vermelding. Boek direct een adviesgesprek in of kom gezellig langs op ons kantoor in Utrecht.
