NPS uzticamības intervālu novērtēšana ar reāliem datiem — MeasuringU

0
NPS uzticamības intervālu novērtēšana ar reāliem datiem — MeasuringU

Net Promoter Score (NPS) ir populārs uzņēmējdarbības rādītājs, ko izmanto klientu lojalitātes izsekošanai. Tajā tiek izmantots viens ieteikuma varbūtības (LTR) jautājums (“Cik iespējams, ka jūs ieteiksiet mūsu uzņēmumu draugam vai kolēģim?”) ar 11 skalas pakāpi no 0 (nemaz ticams) līdz 10 (ļoti iespējams) ).

Saskaņā ar NPS terminoloģiju respondenti, kuri LTR jautājumā izvēlas 9 vai 10, ir “Promoteri”; tie, kas izvēlas no 0 līdz 6, ir “nelabotāji”; visi pārējie ir “pasīvie”. NPS ir Reklāmdevēju procentuālā daļa, no kuras atņemts Noliedzēju procentuālais daudzums (“Neto” sadaļā “Neto veicinātājs”).

Neskatoties uz kāda kritika UX kopienā pētījumi ir parādījuši, ka NPS bieži ir cieša saistība ar uzņēmuma izaugsmi un faktisko ieteikumu uzvedību.

Mēs nesen aprakstījām trīs metodes NPS ticamības intervālu aprēķināšanai:

  • Pielāgots-Wald: pievienojiet konstanti 3 izlases lielumam (n), ¾ detractoru skaitam un ¾ veicinātāju skaitam un pēc tam aprēķiniet intervālu, izmantojot standarta kļūdu, pamatojoties uz starpības dispersiju divās proporcijās.
  • Trinomiāls nozīmē: Piešķiriet -1 nelabvēļiem, 0 pasīvajiem un +1 veicinātājiem. Aprēķiniet intervālu, izmantojot standarta kļūdu, pamatojoties uz šo rādītāju vidējo vērtību.
  • Bootstrapping: Piešķiriet –1 nelabvēļiem, 0 pasīvajiem un +1 veicinātājiem. Izmantojot vismaz 1000 iterāciju, ar aizstāšanu izveidojiet nejaušu datu paraugu ar izlases lielumu, kas vienāds ar sākotnējo datu kopu. Aprēķiniet katras iterācijas vidējo vērtību un saglabājiet to masīvā. Kārtojiet masīvu un nosakiet ticamības intervāla beigu punktus tā, lai ticamības intervālā iekļauto vidējo procentuālā daļa atbilstu vēlamajam ticamības līmenim, un vienādi procenti tiek izslēgti katrā sadalījuma daļā.

Divās reālās pasaules NPS datu kopās, kuras izmantojām, lai novērtētu šīs trīs metodes, mūsu rezultāti saskanēja ar pētījumu rezultātiem, kas publicēti Amerikāņu statistiķis (Rocks, 2016)kurā tika konstatēts, ka pielāgotā Wald metode ir vislabākā veiktspēja.

Lai gan mūsu sākotnējie rezultāti bija daudzsološi, mēs vēlējāmies (1) paplašināt savu pētījumu, iekļaujot NPS datu kopu kolekciju ar plašāku reālās pasaules NPS vērtību un izlases lielumu diapazonu, un (2) izpētīt pielāgotā Wald over pārklājuma īpašības. plašāks izlases lielumu un ticamības līmeņu diapazons.

Ja ar šīm plašākajām analīzēm koriģētais Valds joprojām būtu precīzāks UN tam būtu precīzs pārklājums, mēs būtu ērti ieteikt to kā vēlamo metodi NPS ticamības intervālu izveidošanai UX pētījumu praksē.

1. pētījums: Trīs metožu salīdzinājums

Datu kopas

Ik pēc diviem gadiem mēs izpētām atlasītu biznesa un patērētāju programmatūru, pēdējo reizi 2020. gadā. Šī pētījuma ietvaros mēs apkopojām LTR vērtējumus un aprēķinājām katra produkta NPS. 1. tabulā ir parādīti izlases lielumi (n), NPS un veicinātāju, pasīvo un negatīvo faktoru skaits 17 nesenāk novērtētajiem patēriņa produktiem. Produktu NPS svārstījās no –53% līdz 43%, un izlases lielums bija no 29 līdz 111. Mēs sakārtojām produktus trīs grupās, pamatojoties uz to izlases lielumu (mazs: 29–35; vidējs: 49–50; un liels: 101–111).

Produkts n NPS Reklāmdevēji Pasīvie Nelabvēļi
Video redaktors A 35 9% 11 16 8
Valodas lietotne 35 23% 16 11 8
Nodokļu sagatavošana 29 21% 14 7 8
Mūzikas dienests A 33 0% 13 7 13
Video redaktors B 30 -3% 9 11 10
E-pasts A 31 -42% 6 6 19
Mūzikas dienests B 50 18% 22 15 13
Pārlūkprogramma A 49 43% 29 12 8
Finanšu lietotne 50 -8% 13 20 17
PDF programma 50 10% 19 17 14
E-pasts B 49 -53% 7 9 33
Pārlūkprogramma B 111 13% 46 33 32
App Suite A 101 39% 53 34 14
E-pasts C 107 42% 61 30 16
App Suite B 108 23% 47 39 22
Lietotne Slaidi 102 18% 48 24 30
Vārdu procesors 109 6% 39 38 32

1. tabula. Septiņpadsmit reālās pasaules NPS datu kopas.

Salīdzinājumi

Kā parasti mūsu praksē, mēs aprēķinājām 90% ticamības intervālus 17 datu kopām, izmantojot visas trīs metodes, un rezultāti parādīti 1. attēlā un 2. tabulā. Priekšroka tiek dota šauram intervālam, nevis plašam intervālam, jo, ja visas pārējās lietas ir vienādas, tas ir precīzāk.

1. attēls: 90% ticamības intervālu grafiki 17 NPS datu kopām un trim skaitļošanas metodēm.
90% uzticamības intervāla platums
Produkts Adž-Valds Bootstrap Trinomiālie līdzekļi
Video redaktors A 39% 41% 43%
Valodas lietotne 42% 45% 46%
Nodokļu sagatavošana 49% 53% 55%
Mūzikas dienests A 48% 52% 54%
Video redaktors B 45% 49% 50%
E-pasts A 45% 48% 50%
Mūzikas dienests B 37% 39% 40%
Pārlūkprogramma A 35% 36% 37%
Finanšu lietotne 35% 36% 38%
PDF programma 36% 38% 38%
E-pasts B 34% 35% 36%
Pārlūkprogramma B 25% 27% 27%
App Suite A 23% 24% 24%
E-pasts C 23% 24% 24%
App Suite B 24% 24% 24%
Lietotne Slaidi 27% 27% 28%
Vārdu procesors 25% 25% 25%

2. tabula. Rezultāti trim NPS ticamības intervālu aprēķināšanas metodēm.

Pārbaudot 1. attēlu un 2. tabulu, redzams, ka visas trīs metodes radīja līdzīgus intervālus, bet maziem un vidējiem izlases lielumiem (n = 29 līdz 50) koriģētie-Wald intervāli vienmēr bija šaurāki. Ja izlases lielums bija liels (n > 100), koriģētie-Wald intervāli bija tikpat šauri vai šaurāki nekā pārējie.

3. tabulā parādīti katras metodes un izlases lieluma grupas vidējie platumi. Maziem izlases izmēriem koriģētā Volda metode bija vidēji par pieciem punktiem šaurāka nekā vidējā trinominālā metode un par trim punktiem šaurāka nekā sāknēšanas metode. Pielāgotā Wald priekšrocība bija nedaudz mazāka vidēja lieluma izlasei — par trim punktiem šaurāka nekā trīsnoma vidējā metode un par diviem punktiem šaurāka nekā sāknēšanas metode. Kad izlases lielums bija lielāks par simtu, starp metodēm nebija konsekventu atšķirību.

Parauga lielums Adž-Valds Bootstrap Trinomiālie līdzekļi
Mazs 45% 48% 50%
Vidēja 35% 37% 38%
Liels 25% 25% 25%

3. tabula. Rezultāti, kas aprēķināti vidēji trīs paraugu lieluma grupām.

2. pētījums: Adjusted-Wald metodes pārklājums

Ja visas pārējās lietas ir vienādas, šaurāki intervāli ir labāki. Tomēr šis apgalvojums ir patiess tikai tad, ja šaurāki intervāli ir precīzi. Viens no veidiem, kā novērtēt ticamības intervālu konstruēšanas metodes precizitāti, ir izlases veida izlase ar datu kopas aizstāšanu lielu skaitu reižu. Pēc tam pārbaudiet, vai to intervālu procentuālais daudzums, kas satur mērķa vērtību, atbilst nominālajam ticamības līmenim (citiem vārdiem sakot, vai pārklājums ir tāds pats kā norādītajam ticamības līmenim).

Šim pētījumam mēs atlasījām datus no ļoti lielas reālās pasaules NPS datu kopas (n = 670) ar R programmu, kas aprēķināja koriģēto Volda ticamības intervālu noteiktam izlases lielumam un ticamības līmenim. Mēs atkārtojām katru programmas izpildi 10 000 reižu un novērtējām, ka izlases lielums ir no 25 līdz 500, un ticamība no 80 līdz 99%.

Kā parādīts 4. tabulā, novērotais pārklājums atbilda nominālajam ticamības intervālam 26 no 32 šūnām, un absolūtā atšķirība nekad nebija lielāka par 1%. Piemēram, ja izlases lielums bija 25, koriģētā Volda metode radīja 90% ticamības intervālus, kas 89% gadījumu saturēja faktisko NPS (par 1% mazāk nekā reklamētā pārklājuma). Ar 95% pārliecību segums faktiski bija 96% (par 1% lielāks nekā tā seguma mērķis). Kopumā šī veiktspēja ir lieliska, daudz labāka nekā daudzas no metodēm, kas novērtētas Rocks (2016) vai mūsu pētījumos par dažādiem veidiem, kā aprēķināt binomiālo ticamības intervālu (Sauro un Lūiss, 2005).

N 80% 90% 95% 99%
25 80% 89% 96% 99%
50 80% 91% 95% 99%
75 80% 90% 95% 99%
100 79% 90% 95% 99%
200 80% 90% 95% 99%
300 80% 90% 95% 99%
400 79% 90% 95% 99%
500 79% 90% 95% 99%

4. tabula. Koriģēto Volda ticamības intervālu pārklājums dažādiem paraugu izmēriem un ticamības līmeņiem, kas noapaļoti līdz tuvākajam procentam.

Kopsavilkums un diskusija

Mēs veicām divus pētījumus, lai novērtētu koriģēto Volda metodi NPS ticamības intervālu konstruēšanai.

Pirmajā pētījumā mēs salīdzinājām trīs metodes NPS ticamības intervālu aprēķināšanai: koriģēto Wald, bootstrapping un trinomiālo vidējo. Ja izlases lielums bija mazs vai vidējs (n = 29 līdz 50), intervāli bija līdzīgi, bet koriģētais Valds konsekventi radīja šaurākus (precīzākus) intervālus. Ja izlases lielums bija liels (n > 100), intervālu platumi visām trim metodēm bija vienādi.

Šie rezultāti tika atbalstīti, izmantojot koriģēto Volda metodi, aprēķinot NPS ticamības intervālus, taču tikai tad, ja koriģētajai Volda metodei bija precīzs pārklājums. Otrajā pētījumā mēs novērtējām tā pārklājumu ar neatkarīgu liela parauga NPS datu kopu (n = 670). Aptvērums bija ļoti precīzs izlases lielumam no 25 līdz 500 un ticamības līmeņiem no 80 līdz 99%. Vairumā gadījumu tas precīzi atbilda mērķa ticamības līmenim; kad tas nenotika, atšķirība nekad nebija lielāka par 1%.

Pamatojoties uz šiem rezultātiem, mēs iesakām UX pētniekiem, kuriem ir nepieciešams NPS ticamības intervāls, izmantot pielāgoto Volda metodi.