Pārliecības intervāli neto veicinātāja rezultātiem — MeasuringU

0
Pārliecības intervāli neto veicinātāja rezultātiem — MeasuringU

Net Promoter Score (NPS) ir plaši izmantots rādītājs, taču statistiski ar to var būt sarežģīti strādāt.

Viens no pirmajiem statistikas soļiem, ko iesakām veikt pētniekiem, ir saviem rādītājiem pievienot ticamības intervālus. Uzticamības intervāli nodrošina labu vizualizāciju par to, cik precīzi ir aprēķini no paraugiem. Tie ir īpaši noderīgi garengriezuma izpētē, lai palīdzētu atšķirt neizbēgamās datu svārstības no izlases kļūdas ar nozīmīgām izmaiņām, kurām bieži nepieciešama turpmāka izmeklēšana.

Taču vēl nesen nebija precīzi definētas metodes NPS ticamības intervālu aprēķināšanai.

NPS izmanto vienu ieteikuma iespējamības (LTR) jautājumu (“Cik iespējams, ka jūs ieteiktu mūsu uzņēmumu draugam vai kolēģim?”) ar 11 skalām no 0 (nemaz ticams) līdz 10 (ārkārtīgi iespējams). Uzticamības intervālu var aprēķināt pēc vidējā LTR rādītāja, izmantojot labi zināmu vērtēšanas skalu metodi, taču šī pieeja neņem vērā to, kā tiek aprēķināts NPS. Saskaņā ar NPS terminoloģiju respondenti, kuri LTR jautājumā atlasa 9 vai 10, ir “reklāmdevēji”, tie, kas izvēlas no 0 līdz 6, ir “pretēji”, bet visi pārējie ir “pasīvie”. NPS ir Reklāmdevēju procentuālā daļa, no kuras atņemts Noliedzēju procentuālais daudzums (“Neto” sadaļā “Neto veicinātājs”).

NPS izstrādātāji uzskata, ka vadītājiem ir viegli saprast un izmantot šo rādītāju, lai izsekotu izmaiņām laika gaitā, un pētījumi ir parādījuši, ka NPS ir cieša saistība ar uzņēmuma izaugsmi un faktisko ieteikumu uzvedību.

Ja veicat meklēšanu tīmeklī, lai atrastu veidus, kā aprēķināt NPS ticamības intervālus, jūs atradīsit daudz ieteikumu bez papildu pētījumiem par iegūto intervālu precizitāti. Liels izņēmums ir lielisks raksts, ko publicējis Brendans Roks (2016) iekšā Amerikāņu statistiķis. Lai novērtētu sešu metožu kvalitāti NPS ticamības intervālu aprēķināšanai, viņš pētīja to precizitāti un aptvērumu paraugiem, kas iegūti no teorētiskajiem trinomu sadalījumiem un no vairāk nekā tūkstoš NPS sadalījumiem, pamatojoties uz reāliem datiem.

Uzticamības intervāla precizitāte ir tā platums: šaurāki intervāli ir labāki nekā platāki. Uzticamības intervālu aprēķināšanas metodes pārklājums ir to reižu procentuālā daļa iteratīvā atkārtotā atlasē, kad aprēķinātais intervāls satur aplēstās statistikas patieso vērtību (šajā gadījumā NPS, kas aprēķināta no visas datu kopas izlases), kurai vajadzētu būt tuvu norādītais ticamības līmenis. Citiem vārdiem sakot, ja esat iestatījis ticamību uz 95%, tad jūs sagaidāt, ka intervāls satur mērķa vērtību 95% gadījumu. No šiem kvalitātes rādītājiem pārklājums ir svarīgāks par precizitāti.

Rocks galvenais atklājums bija tāds, ka vislabākā metode NPS ticamības intervālu izveidošanai bija pielāgotās Volda metodes variants, kas apzīmēts ar (3, T). Mēs pirmo reizi sastapāmies ar pielāgotajām Wald metodēm 2005. gadā, kad atklājām, ka tā ir labākais veids, kā aprēķināt binomiālo ticamības intervālu (Tāpēc tā ir visievērojamākā metode mūsu tiešsaistes ticamības intervāla kalkulatorā pabeigšanas rādītājiem).

Adjusted-Wald metodes darbojas, pievienojot vērtības novērotajiem skaitļiem. Lai iegūtu binomiālu ticamības intervālu, jums ir jāatrod Z vērtība vēlamajam ticamības līmenim (piemēram, 1,96, lai nodrošinātu 95% ticamību) un pēc tam jāpievieno Z2/2 skaitītājam un Z2 līdz saucējam, pirms izmantojat Valda metodi, lai aprēķinātu ticamības intervālu. Plašāku informāciju par bināro datu koriģēto Valda intervālu skatiet 3. nodaļā sadaļā Lietotāja pieredzes kvantitatīva noteikšana.

Piemērojot šo koncepciju NPS, Roks atklāja, ka labākā pielāgošanas metode bija pievienot konstanti 3 izlases lielumam (n), ¾ detractoru skaitam un ¾ veicinātāju skaitam un pēc tam aprēķināt intervālu, izmantojot standarta kļūda, kas balstīta uz starpības dispersiju divās proporcijās.

Mēs nolēmām paši izmēģināt Roksa pielāgoto Volda metodi, salīdzinot to ar divām citām procedūrām, kuras viņš savā pētījumā neiekļāva — Means metodi un bootstrapping metodi.

Trīs metodes NPS uzticamības intervālu aprēķināšanai

Šeit ir sniegta informācija par trim metodēm, kuras mēs pētījām NPS ticamības intervālu aprēķināšanai. Ņemiet vērā: lai aprēķini šajā sadaļā būtu vienkārši, mēs strādājām ar NPS kā proporcijas un pārveidojām procentos.

Adjusted-Wald (3, T)

Lai izmantotu šo metodi, jums jāzina negatīvo, pasīvo un veicinātāju skaits. Aprēķinu soļi ir

  1. Pievienojiet izlases lielumam 3: n.adj = n + 3.
  2. Pievienojiet ¾ detractoru skaitam: ndet.adj = ndet + ¾.
  3. Pievienojiet ¾ veicinātāju skaitam: npro.adj = npro + ¾.
  4. Aprēķiniet detractoru koriģēto proporciju: pdet.adj = ndet.adj/n.adj.
  5. Aprēķiniet veicinātāju pielāgoto proporciju: ppro.adj = npro.adj/n.adj.
  6. Aprēķiniet dispersiju: ​​Var.adj = ppro.adj + pdet.adj − (ppro.adj – pdet.adj)2.
  7. Aprēķiniet koriģēto NPS: NPS.adj = ppro.adj − pdet.adj.
  8. Aprēķiniet koriģēto standarta kļūdu: se.adj = (Var.adj/n.adj)1/2.
  9. Meklējiet Z vērtību vēlamajam ticamības līmenim (piemēram, 90% ticamībai, Z = 1,645).
  10. Aprēķiniet kļūdas robežu: MoE = Z(se.adj).
  11. Aprēķiniet ticamības intervāla augšējo un apakšējo robežu: NPS.adj ± MoE.

Piemēram, UX aptaujā par tiešsaistes sapulču pakalpojumiem, kas tika veikta 2019. gadā, mēs apkopojām vērtējumus par iespējamību ieteikt. GoToMeeting (GTM) bija 8 nosodītāji, 13 pasīvie un 15 veicinātāji, un NPS bija 19% (n = 36). WebEx bija 12 nosodītāji, 12 pasīvie un 7 veicinātāji, un NPS bija -16% (n = 31). 1. tabulā parādītas darbības, lai aprēķinātu to 90% ticamības intervālu.

apkalpošana n.adj ppro.adj pdet.adj NPS.adj var.adj tēvs adj z90 EM90 Zemāks90 Augšējais 90
GTM 39 0,40 0.22 0.18 0,596 0,124 1.645 0,203 −0,02 0.38
WebEx 34 0.23 0.38 −0,15 0,581 0,131 1.645 0,215 −0,36 0.07

1. tabula: 90% koriģēto Valda ticamības intervālu aprēķināšana divu tiešsaistes sapulču pakalpojumu NPS.

Līdzekļi

Lai izmantotu šo metodi, jums ir jābūt datiem par katru atbildi uz vienumu, kuram ir iespēja ieteikt, piešķirot –1 nelabvēļiem, 0 pasīvajiem un +1 veicinātājiem. Aprēķinu soļi ir

  1. Aprēķiniet parauga vidējo un standarta novirzi(-es).
  2. Aprēķiniet standarta kļūdu: s/(n1/2).
  3. Atrodiet t vērtību vēlamajam ticamības līmenim un brīvības pakāpēm (df = n−1).
  4. Aprēķiniet kļūdas robežu: MoE = t(se).
  5. Aprēķiniet ticamības intervālu: vidējais ± MoE.

Ņemiet vērā, ka šī metode ir tas pats t balstītais intervāls, kas tiek izmantots reitingu skalas datos, taču tā vietā, lai izmantotu visus LTR 11 punktus, tā tiek aprēķināta, izmantojot trīspunktu NPS trinomu (-1, 0, 1).

2. tabulā parādītas skaitļošanas darbības un rezultāti GTM un WebEx datiem:

Statistika GTM WebEx
Vidēji 0.19 −0,16
St Dev 0,79 0,78
N 36 31
ar 0,131 0,140
df 35 30
tcrit90 1.690 1.697
EM90 0,221 0,237
Augšējais 90 0.42 0.08
Zemāks90 −0,03 −0,40

2. tabula: 90% ticamības intervāli diviem tiešsaistes sapulču pakalpojumiem, izmantojot līdzekļu metodi.

Bootstrapping

Bootstrapping ir bez neparametriskā sadalījuma ticamības intervālu aprēķināšanas metode. Lai izmantotu šo metodi, jums ir jābūt datiem par katru atbildi uz vienumu, kuram ir iespēja ieteikt, piešķirot –1 nelabvēļiem, 0 pasīvajiem un +1 veicinātājiem. Aprēķinu soļi ir šādi:

  1. Aizstājot, no novērotā parauga noņemiet nejaušu paraugu, kas ir vienāds ar tā izlases lielumu.
  2. Aprēķiniet nejaušās izlases vidējo vērtību.
  3. Saglabājiet šo vidējo.
  4. Atkārtojiet 2. un 3. darbību vismaz tūkstoš reižu.
  5. Kārtojiet saglabātos līdzekļus no mazākā uz lielāko.
  6. Vēlamajam ticamības līmenim identificējiet vērtības sadalījuma apakšējā un augšējā galā, starp kurām vidējo proporcija atbilst vēlamajai ticamībai (90% intervālam tās būtu vērtības pie 5th un 95th procentiles).
  7. Šīs vērtības ir sāknēšanas uzticamības intervāla apakšējā un augšējā robeža.

Tā kā empīriskā sadalījuma izveidošanai nepieciešams liels iterāciju skaits, ir nepieciešams izmantot datorus. Šim novērtējumam mēs izmantojām bootstrapping funkcija pieejama SPSS. Lietojot to GTM un WebEx datiem, mēs ieguvām šādus 90% sāknēšanas uzticamības intervālus:

  • GTM: −.03 līdz .42
  • WebEx: –.40 līdz .08

Metožu salīdzināšana

3. tabulā parādīti 90% intervālu platumi (precizitāte) katrai no trim metodēm dilstošā secībā. Uzticamības intervālu grafiku skatiet 1. attēlā.

Metode GTM WebEx Vidēji
Līdzekļi 0.44 0.47 0.46
Bootstrap 0.43 0.46 0,45
Adžs Valds 0,40 0.43 0.42

3. tabula: 90% ticamības intervāla platumi trim metodēm.

1. attēls: 90% ticamības intervāli gan pakalpojumiem, gan trim metodēm.

Visas trīs metodes radīja intervālus ar līdzīgu atrašanās vietu un precizitāti. Mums par pārsteigumu vienkāršā līdzekļu pieeja radīja intervālus, kas nebija ievērojami plašāki par tiem, kas tika ģenerēti ar sarežģītākām metodēm. Tomēr saskaņā ar Rocks (2016. g.) konstatējumiem pielāgotajam Voldam bija neliela precizitātes priekšrocība — 40% platums GTM (salīdzinājumā ar 43% bootstrap un 44% Means) un 43% WebEx ( salīdzinājumā ar 46% bootstrap un 47% līdzekļiem).

Šie provizoriskie rezultāti atbalsta koriģētās Wald (3, T) izmantošanu kā vēlamo metodi ticamības intervālu konstruēšanai ap NPS. Turpmākajos pētījumos šo jautājumu var izpētīt sīkāk, piemēram, pētot plašāku reālās pasaules NPS datu kopu klāstu un izmantojot lielākas izlases lieluma un ticamības līmeņu atšķirības.

Kopsavilkums un diskusija

Net Promoter Score ir populārs klientu lojalitātes rādītājs. Lai to padarītu par patiesi noderīgu metriku, jums ir jābūt labi pamatotai ticamības intervālu aprēķināšanas metodei.

Neskatoties uz plaši izplatīto NPS izmantošanu, vēl nesen nebija precīzi definētas metodes NPS ticamības intervālu aprēķināšanai. Mēs pētījām Rocks (2016) piedāvāto metodi, kas ir pielāgotās Volda metodes variants, ko mēs iesakām binārajiem datiem, divās reālās pasaules NPS datu kopās. Mēs salīdzinājām šo pieeju ar divām citām: Means metodi ar individuālām atbildēm, kas novērtētas kā –1 (pretēji), 0 (pasīvie) un +1 (reklāmdevēji); un bezizplatīšanas sāknēšanas metode.

Mēs atklājām, ka visas trīs metodes radīja līdzīgus ticamības intervālus attiecībā uz atrašanās vietu un precizitāti, bet koriģētajai Volda metodei bija neliela precizitātes priekšrocība. Lai gan šie rezultāti ir provizoriski, gaidot vairāk reālās pasaules NPS datu kopu novērtēšanu ar lielākām izlases lieluma un ticamības līmeņu atšķirībām, tie atbalsta koriģēto Wald kā vēlamo metodi ticamības intervālu izveidošanai ap NPS.