Konverteringsoptimering
A/B-tester med statistik ni kan stå bakom.
Hypotes-arbete, experimentdesign, Bayesian och frequentist-analys. Vi kör tester på data som faktiskt går att lita på och tolkar utfallet utan att överselja det.
Det viktigaste resultatet är ofta att inget hände. Den tolkningen kräver bra statistik.
Många CRO-resultat baseras på p-värden som inte håller för granskning eller på frequentist-tester som lurar er att tro mer på svaret än ni borde.
Vi kör Bayesian-analyser där det passar. De ger er sannolikhet för att variant B slår variant A, inte bara ett binärt ja eller nej. Det är skillnaden mellan att fatta beslut på en p-värde-tärning och att ha en faktisk uppskattning av risken.
Det vi går in med
Fyra arbetsområden. De flesta uppdrag kombinerar två eller tre, inte alla.
- 01
Hypotes-arbete och prioritering
Vi börjar med era affärsfrågor och er data. Vilka hypoteser är värda att testa, vilka är för dyra eller för osäkra för att vara värda en plats i kö? Resultatet är en prioriterad backlog som faktiskt går att jobba sig igenom.
Bra hypoteser har två egenskaper: de är specifika nog att kunna falsifieras, och de är värda nog att kosta er tid att testa.
- 02
A/B-testdesign och uppsättning
Sample size, test-duration, segmenteringsstrategi och guardrail-metrics. Vi designar tester som faktiskt kan svara på den fråga ni ställer, och som inte avslutas för tidigt eller för sent.
Implementation i Optimizely, VWO, Convert, AB Tasty, Statsig, Eppo eller GrowthBook. Eller egenbyggd setup när det passar bättre.
- 03
Statistisk analys
Bayesian när det passar, frequentist när det är rätt verktyg. Vi väljer metod baserat på er datamängd, era guardrail-krav och hur svaret ska användas.
Som diagrammet ovan visar ger Bayesian-analys er sannolikhet, inte ett binärt ja eller nej. Det är ofta skillnaden mellan att fatta beslut och att gissa.
- 04
Tolkning, beslut och rollout
När testet är klart sätter vi oss med er och tolkar utfallet i sin affärskontext. Inte bara vad statistiken säger, utan vad ni ska göra med svaret. Inklusive tester som inte gav signifikant skillnad, eftersom det också är ett resultat värt att förstå.
Hur vi jobbar
- 01
Förstå
Era affärsfrågor, era nuvarande mätning och era beslutsfattare. Vad ska testet svara på, för vem?
- 02
Hypotisera
Data-driven prioritering. Vilka hypoteser är värda att testa, vilka är för dyra för osäkerheten?
- 03
Testa
Rätt verktyg, rätt setup, rätt sample size. Vi kvalitetsgranskar setupen innan testet startar.
- 04
Tolka
Bayesian eller frequentist, alltid med konfidensintervall. Inte bara vad det säger, utan vad ni ska göra.
När det här passar er
- 01 Befintligt CRO-program där siffrorna inte alltid känns rätt och resultaten inte håller över tid.
- 02 Behov av rigorös statistik på låga konverteringsfrekvenser där små rörelser är svåra att tolka.
- 03 A/B-tester där p < 0.05-regeln inte längre räcker för era beslutsfattare.
- 04 Test-program som ska skalas upp utan att tappa kvalitet i designen och tolkningen.
Verktyg vi jobbar med
Optimizely, VWO, Convert, AB Tasty, Statsig, Eppo och GrowthBook för A/B-test-uppsättning. Egna Bayesian-pipelines i Python och R när standardverktygen inte räcker. GA4, Amplitude eller Mixpanel för segmentering och tolkning. BigQuery, Snowflake eller Redshift för djupare analys när det behövs.
Vem som leder
Två av oss arbetar mest inom det här området.
KLExperimentering och statistik är hans hemmaplan. Bayesian A/B-testning, GA4 custom implementations för experiment-tracking, dataLayer-design. Skriver återkommande om ämnet på Insights.
MSHypotes-arbete från marknadssidan, A/B-test för kampanj- och checkout-flöden, och tolkning av utfall i affärskontext. Bakgrund som Conversion Manager på Trigger Company.
Inte säker på var ni står? Mätningsdiagnos är ett bra första steg Fast pris, 2 till 3 veckor, tydlig leverans.
Vill ni läsa mer om hur vi tänker? Bayesian A/B-test Plus setupguider för spårning: GA4 och Piwik PRO
Hör av er, vi pratar konkret om ert läge.
Mejl till hej@addinginsight.se eller boka tid direkt.
Boka 30 minuter