Četri potenciālo apsekojuma kļūdu veidi – mērīšana U

0
Četri potenciālo apsekojuma kļūdu veidi – mērīšana U

Veicot aptauju, mēs vēlamies patiesību, pat ja mēs ar to netiekam galā.

Taču, stāvot ceļā mūsu sapņiem par efektīvi savāktiem datiem, kas atklāj patiesu patiesību par klientiem, potenciālajiem klientiem un lietotājiem, četri jātnieki apsekojuma kļūdām.

Pat labi pārdomātai aptaujai būs jātiek galā ar neizbēgamo izaicinājumu, ko šīs iespējamās kļūdas radīs jūsu datu patiesumam.

Lai gan lielākā daļa domā, ka šīs kļūdas galvenokārt ietekmē aptaujas (galvenokārt šīs metodes visuresamības dēļ), tās var ietekmēt arī jebkuru pētniecības metodi, kas ietver izlases ņemšanu no populācijas, tostarp neregulētus UX pētījumus un lietojamības testēšanu.

Pielāgots no Dillmans et al. (2014), šeit ir četras kļūdas, kurām jāpievērš uzmanība un kā tās rīkoties, veicot aptaujas (un citas metodes, kas ietver aptaujai līdzīgus jautājumus un izlasi).

Atšķirībā no četriem Apokalipses jātniekiem, šīs iespējamās kļūdas neizraisa mēri un karus, taču tās joprojām var ietekmēt jūsu rezultātus, jo rodas kļūdas, kas nosaka, kurš atbild (pārklājums, izlase un neatbildēšana) un kā cilvēki reaģē (mērīšana). kļūda).

1. Pārklājuma kļūdas

Reprezentativitāte ir vissvarīgākā. Uzdodot pareizos jautājumus nepareizi cilvēki ir nepareizas interpretācijas recepte. Aptvēruma kļūdas var būt no nopietnām (aptaujājot vispārējus ASV patērētājus par Eiropas korporatīvo finanšu atbilstību) līdz smalkām (aptaujājot tikai pašreizējos klientus par apmierinātību ar produktu, nevis nesen apšaubītos klientus).

Jo svarīgāk ir zīmēt precīzs vispārinājumus par kopu no izlases, jo svarīgāk ir ņemt vērā pārklājuma kļūdas ietekmi. Lai gan jūs, iespējams, nemēģināt prognozēt vēlētāju aktivitāti prezidenta vēlēšanās 1% robežās, citi augstas likmes lēmumi var būt atkarīgi no jūsu pārklājuma. Dati par nodomu iegādāties, lietot vai ieteikt var ietekmēt produkta nonākšanu tirgū vai ietekmēt finansējuma piešķiršanu problēmas novēršanai.

Lielākajai daļai lietoto aptauju jautājums nav vai ir pārklājuma kļūda, bet cik daudz pārklājuma kļūda un ko tā ietekmē.

Pirmais solis, lai veiktu aptauju ar labu pārklājumu, ir palielināt iespēju, ka ikvienam jūsu mērķa grupā ir iespēja atbildēt. To bieži dēvē par parauga rāmis. Personām, kas nav iekļautas izlases ietvaros, nav iespējas atbildēt uz aptauju.

Galvenās bažas saistībā ar pārklājumu ir tādas, ka cilvēki, kas atbild uz aptauju, var būtiskā veidā atšķirties no cilvēkiem, kuri nav uzaicināti piedalīties, jo viņi nav iekļauti kadrā, kā rezultātā mērījumi atšķiras no interesējošās populācijas. Šī iespēja ir galvenais riska faktors, kas saistīts ar vispārināšanu ārpus jūsu izlases rāmja.

1. attēlā ir parādīti divi paraugu kadri vienā un tajā pašā populācijā — viens ar mazāku pārklājumu un viens ar vairāk. Punkti ārpus kvadrātiem apzīmē cilvēkus, kuri neatrodas kadrā un tāpēc netiks aicināti atbildēt. Parauga rāmis var attēlot klientu sarakstu, tiešsaistes paneli vai datubāzi (piemēram, reģistrēto tālruņu numuru).

1. attēls: divu vizualizētu paraugu kadru piemēri. Kreisajā pusē esošajam parauga rāmim ir mazāks pārklājums nekā labajā pusē; abiem ir viena un tā pati mērķauditorija. Punkti, kas nav zili, apzīmē respondentus ar izteikti atšķirīgām īpašībām nekā lielākajai izlasei (piemēram, atšķirīgi pirkuma nodomi vai atšķirības iepriekšējā pieredzē).

Pirms bija iespējamas tīmekļa aptaujas, izplatīta stratēģija, lai reprezentatīvai respondentu kopai ASV iegūtu pareizo paraugu rāmi, bija tālruņu kataloga izmantošana un zvanīšana uz fiksētajiem tālruņiem. Pēdējo 20 gadu laikā to cilvēku skaits ASV, kuriem ir fiksētie tālruņi ir ievērojami samazinājies. Iegūtais izlases rāmis saruka, nesamērīgi izslēdzot noteiktas populācijas un samazinot šīs pieejas pārklājumu un reprezentativitāti, lai iegūtu proporcionālu ASV iedzīvotāju izlasi (ar līdzīgi modeļi Eiropā).

Lietišķās UX izpētei jūs, iespējams, nezvanāt dalībniekiem un, visticamāk, paļaujaties uz e-pasta ziņojumiem, kas nosūtīti maksas dalībnieku tiešsaistes paneļiem. Ne visi paneļi ir izveidoti vienādi. Daži paneļi piedāvā piekļuvi varbūtības paraugiem, kas atspoguļo plašāku interešu grupu, piemēram, ģeogrāfiju, vecumu un dzimumu. Tomēr lielākā daļa paneļu apkopo cilvēku sarakstus un reklamē tos, kas var reģistrēties atsevišķiem pētījumiem. Process, kas ne vienmēr rada reprezentatīvu dalībnieku kopu, pamatojoties uz lietotāju veidu proporcijām noteiktā vispārējā populācijā.

Kļūdu samazināšanas stratēģija: iekļaujiet izlases ietvarā pēc iespējas vairāk mērķauditorijas. Apsveriet iespēju izmantot varbūtības paraugus ar zināmiem paraugu rāmjiem, lai pieņemtu augstas likmes lēmumus. UX izpētē izmantojiet to, ko zināt par savu interesējošo populāciju, lai noteiktu kvotas, tādējādi nodrošinot, ka tiek savākts pietiekami daudz datu par katru mērķa segmentu (parasti pamatojoties uz pieredzi noteiktās jomās un ar konkrētiem produktiem).

2. Izlases kļūda

Ja vien jums nav iespējas aptaujāt katru interesējošās grupas personu (piemēram, visus mobilās lietotnes lietotājus), jums būs jārisina izlases kļūda. Lietišķajos aptauju pētījumos paraugu rāmji, kas aptver visas interesējošās populācijas, ir ārkārtīgi reti.

Bet pat tad, ja jūsu izlases ietvarā ir labs (vai pilnīgs) pārklājums, jums joprojām būs jārisina izlases kļūdas nejaušība.

Par laimi, izlases kļūdu var novērtēt diezgan labi. Statistikas metodes var norādīt, cik precīzi ir jūsu aplēses (ticamības intervāli) un vai novērotās atšķirības pārsniedz izlases kļūdu (nozīmīguma testi, piemēram, t-testi). Jo vairāk palielināsit izlases lielumu, jo vairāk samazināsiet izlases kļūdu, jo precīzāki ir jūsu aprēķini un jo labāk varat atšķirt apakšgrupas.

2. attēls. No parauga rāmja ņemta parauga vizualizācija.

Lai gan ticamības intervālu matemātika šķiet mazāk intuitīva nekā aptvēruma problēmu izpratne, to ir vienkārši aprēķināt. Turpretim pārklājuma kļūdas ir grūtāk novērtēt, ja vien nezināt kaut ko par cilvēkiem, kuri neatbildēja (par ko mēs runāsim tālāk).

Kļūdu samazināšanas stratēģija: ja jūsu mērījumi nav pietiekami precīzi, lai pieņemtu lēmumus, labākais veids, kā samazināt izlases kļūdu, ir palielināt izlases lielumu. Tomēr, palielinot izlases lielumu, atdeve samazinās, īpaši vairāk nekā par dažiem simtiem.

3. Neatbildēšanas kļūda

Jums var būt lielisks pārklājums, lieliska izlases stratēģija un pat liels izlases apjoms, taču daži cilvēki var neatbildēt. Viņi var izkrist pirms atbildes uz jautājumiem, atbildēt tikai uz dažiem pirmajiem jautājumiem vai izlaist neobligātos jautājumus (sk. 3. attēlu).

3. attēls. Respondentu vizualizācija aptaujas izlasē, kuri neatbildēja (tukši punkti).

Atbildes rādītājs ir pirmā vieta, kas jāsāk, novērtējot neatbildēšanas kļūdu (ti, to cilvēku procentuālo daļu, kuri pabeidza, salīdzinot ar uzaicinātajiem). Labāk ir augsts atbildes līmenis (piemēram, 85%) nekā zems atbildes līmenis (piemēram, 5%). Tomēr pat augsts atbilžu līmenis nevar pilnībā pateikt, cik daudz jums ir neatbildēšanas kļūdu. Piemēram, jautājums par ienākumiem var likt daudziem respondentiem ar augstiem vai zemiem ienākumiem atteikties no aptaujas.

Līdzīgi kā pārklājuma kļūda, lielākās bažas par neatbildēšanas kļūdu rada tas, ka cilvēki, kuri atbildēja uz aptauju, var būtiskā veidā atšķirties no cilvēkiem, kuri tika uzaicināti atbildēt, bet izvēlējās nepiedalīties.

Neatbildēšanas kļūdu varat aprēķināt, salīdzinot to personu īpašības, kuras atbildēja, ar tiem, kuri neatbildēja. Ideālā gadījumā sistemātiskas atšķirības nebūs. Ir metodes, lai noteiktu, vai atbildes nav sistemātiskas vai nejaušas.

Kļūdu samazināšanas stratēģija: Visizplatītākie veidi, kā palielināt atbilžu skaitu, ir stimulu piedāvāšana, atkārtota sazināšanās ar atlasītajiem dalībniekiem un pēc iespējas īsākas aptaujas.

4. Mērīšanas kļūda

Jums var būt lielisks pārklājums, liels izlases lielums un pilnībā pilnīgas atbildes, taču jums vienmēr būs jātiek galā ar pēdējo jātnieku: mērījumu kļūdu. Šī kļūda ietver visas lietas, kas var noiet greizi saistībā ar jautājumu un atbilžu variantu uzrādīšanu un to, kā respondenti tos var nepareizi interpretēt. Plaisa starp to, ko mēs plānojam izmērīt, un to, kādus rezultātus mēs iegūstam, liecina par aptaujas pamatotību.

Problēmas, kas izraisa mērījumu kļūdu, ietver

Šīs mērījumu kļūdas var izraisīt atbildes novirzi (sistemātisku kļūdu) un mainīgumu (mazāku atbildes precizitāti). Abas kļūdas ir vizualizētas 4. attēlā.

4. attēls. Neobjektivitātes un mainīguma atšķirības vizualizācija.

Kļūdu samazināšanas stratēģija: Ja iespējams, izmantojiet standartizētus jautājumus un atbilžu skalas, kas ir uzlabotas, lai samazinātu mērījumu kļūdu, kā arī citas metodes, lai padarītu jautājumus un atbildes iespējas skaidrākas.

Kopsavilkums

Veicot aptauju (vai jebkuru citu metodi, kas ietver aptaujai līdzīgus jautājumus un atlasi), pievērsiet uzmanību šīm četrām iespējamām aptaujas kļūdām. Tāpat kā Apokaliptiskajiem jātniekiem, jums jācenšas izvairīties no tiem visiem:

  • Pārklājuma kļūdas: mērķauditorija nav atlasīta atbilstošiem cilvēkiem.
  • Izlases kļūda: neizbēgamas nejaušas svārstības, kas rodas, apsekojot tikai daļu no izlases rāmja.
  • Neatbildes kļūda: sistemātiska atšķirība no tiem, kuri neatbild uz visiem vai dažiem jautājumiem.
  • Mērīšanas kļūda: atšķirība starp to, ko vēlaties izmērīt, un to, ko iegūstat, jo atbildes ir novirzes un mainīgums.