Skip to the main content

Original scientific paper

https://doi.org/10.31784/zvr.7.1.1

DOES THE HIGH HURDLE TECHNIQUE AFFECT WEB-SURVEY RESULTS?

Marko Maliković orcid id orcid.org/0000-0001-8333-0651 ; Faculty of Humanities and Social Sciences in Rijeka, Croatia
Domagoj Švegar orcid id orcid.org/0000-0002-4163-139X ; Faculty of Humanities and Social Sciences in Rijeka, Croatia


Full text: croatian pdf 296 Kb

page 17-30

downloads: 663

cite

Download JATS file


Abstract

The high hurdle technique is one of the strategies for controlling dropout in web-surveys. Using the high hurdle technique, it is attempted to cause dropout of less motivated participants as early as possible, with intentionally and artificially caused delay in loading of the first page of the webquestionnaire. Therefore, it is expected that those participants who, in spite of the waiting period, continue to fill in the questionnaire, will be more motivated, and because of that their answers will be of higher quality. So far very few studies and papers regarding the high hurdle technique (and similar techniques) have been published, and the obtained results are unclear and/or opposed. This article describes the research investigating the effects of the high hurdle technique on a web-survey on the sample of 235 students of the Faculty of Humanities and Social Sciences in Rijeka. A web-questionnaire measuring general attitudes towards the Internet was applied. Specifically, two versions of the webquestionnaire were used, one with a delayed loading of the first page, as experimental condition, and one without delay as a control. The effects of the delay were established for dropout rate, but not for content of the responses or for responding speed.The application of the delay resulted in a significant decrease in the number of participants who began answering the questionnaire. However, since participants who began responding to the questionnaire in spite of the delay finished filling the questionnaire in a significantly higher percentage than control participants, the number of completely filled questionnaires did not differ between the groups.

Keywords

web-survey; high hurdle technique; dropout

Hrčak ID:

219961

URI

https://hrcak.srce.hr/219961

Publication date:

13.5.2019.

Article data in other languages: croatian

Visits: 2.567 *




1. UVOD

Odustajanje od web-ispitivanja 1 je slučaj kada ispitanik započne ispunjavati web-upitnik, ali ga ne završi (Heerwegh, Loosveldt, 2006) . Odustajanje se, dakle, odnosi na odluku da se s ispunjavanjem ne nastavi i treba je razlikovati od odluke o tome hoće li se uopće sudjelovati u ispitivanju, poznate i kao samoselekcija (Reips, 2002a) . Odustajanje je općenito u internetskim istraživanjima mnogo veće od odustajanja u tradicionalnim metodama istraživanja i može predstavljati velik problem (Tijdens, 2014) . U tradicionalnim metodama (na primjer "licem u lice" ili telefonski) socijalni pritisak ispitanika može spriječiti da kaže "želim odustati", bez obzira na uvjeravanja istraživača da to može učiniti u bilo kojem trenutku (Buchanan, Williams, 2010) . S druge strane, sudjelovanje ispitanika u internetskim istraživanjima najčešće je dobrovoljno i anonimno, pa nema takva pritiska na ispitanike. Posljedica je toga da je stopa odustajanja u internetskim istraživanjima mnogo viša. Na kraju, u slučaju kada je odustajanje sustavno vezano uz neku nezavisnu varijablu u istraživanju, tada će i rezultati istraživanja biti kompromitirani. Ideja je tehnike visoke prepreke 2 (Reips, 2007) da se umjetno i namjerno izazvanim zastojem u učitavanju početne stranice web-upitnika osigura što ranije odustajanje manje motiviranih ispitanika, odnosno očekuje se da će oni ispitanici koji unatoč čekanju ostanu u ispitivanju biti motiviraniji, a time i da će njihovi odgovori biti više kvalitete. Djelomična je eksperimentalna potvrda korisnosti tehnike visoke prepreke dana u sažetku rada iznesenom na skupu u Bostonu, SAD (Reips, Frauendorfer, 2009) . Prema autorima dobiveni su rezultati pokazali da tehnika ima učinka, ali samo za osobe koje su iskazale da će ispitivanju pristupiti ozbiljno (za razliku od osoba koje su iskazale da namjeravaju "samo pogledati pitanja"). Podatak o ozbiljnosti ispitanika dobiven je takozvanom provjerom ozbiljnosti 3 , posebnom tehnikom za kontrolu odustajanja ispitanika koju opisujemo detaljnije u poglavlju 2. 4

U potrazi za daljnjim radovima koji eksperimentalno potvrđuju ili opovrgavaju korisnost tehnike visoke prepreke pretražili smo znanstvene baze časopisa Scopus i Web of Science tako da su pretraživanjem obuhvaćeni naslovi, sažetci i ključne riječi radova. Upotrijebili smo sljedeću kombinaciju pojmova: "high hurdle technique" OR "high entrance barrier" jer se tehnika visoke prepreke pojavljuje pod oba ta naziva. U bazi Scopus pronašli smo sveukupno tri rada (Reips, 2002b) , (Göritz, Stieger, 2008) i (Reips, 2009) , dok smo u bazi Web of Science pronašli također tri rada, ali su prva dva rada iz baze Scopus te rad (Stieger, Göritz, 2008) , koji je samo konferencijski sažetak. Nakon što smo sve navedene radove pažljivo pročitali, zaključili smo da, osim u već spomenutom (Reips, Frauendorfer, 2009) , koji samo djelomično potvrđuje korisnost tehnike visoke prepreke, razmatranu temu detaljnije istražuje još samo rad (Göritz, Stieger, 2008) . Taj rad obuhvaća dva eksperimenta 5 , u kojima je učitavanje prve stranice upitnika trajalo 1, 4, 7 ili 10 sekundi. Taj rad, pak, opovrgava korisnost tehnike visoke prepreke, odnosno ne nalazi dokaze da ta tehnika povećava kvalitetu rezultata dobivenih ispitivanjem, a autori su zaključili da je umjetno odgađanje učitavanja početne stranice upitnika kontraproduktivno, pa time i nije preporučljivo. U oba eksperimenta trajanje učitavanja prve stranice negativno je koreliralo s brojem ispitanika koji su nakon toga ostali sudjelovati u ispitivanju, ali nije imalo efekte na kasnije odustajanje od ispitivanja, na postotak odgovorenih pitanja niti na duljinu odgovora na pitanja otvorenog tipa. Od ukupnog broja ispitanika koji su započeli s upitnikom u prvom eksperimentu, 76.7 % dovršilo je ispitivanje u uvjetu zastoja od 1 sekunde, a taj je postotak bio podjednak u ostalim eksperimentalnim uvjetima: 73.3 % u uvjetu zastoja od 4 sekunde, 76.4 % u uvjetu zastoja od 7 sekundi te 78.9 % u uvjetu zastoja od 10 sekundi. Slični su rezultati dobiveni i u drugom eksperimentu, uz iznimku da je postotak ispitanika koji su završili s upitnikom općenito u svim uvjetima bio veći, s obzirom na to da su u tom eksperimentu sudjelovali panelisti (redom 85.7 %, 88.8 %, 84.4 % i 88.1 %).

Iz svega navedenog možemo zaključiti da je do sada proveden nedovoljan broj istraživanja na temu tehnike visoke prepreke i slične teme, kao i da su u postojećim radovima rezultati međusobno oprečni, pa su svakako potrebna daljnja istraživanja korisnosti ove tehnike.

Za istraživanje provedeno u sklopu ovog rada primijenili smo upitnik općih stavova prema internetu 6 (Joyce, Kirakowski, 2015) .

2. ODUSTAJANJE ISPITANIKA I DIZAJN UPITNIKA

Prema (Reips, 2007) moguće je birati među četirima strategijama suočavanja s odustajanjem ispitanika od istraživanja koja se provode internetom. Tako odustajanje možemo upotrijebiti, kontrolirati, izbjegavati ili suzbiti 7 . Upotrijebiti znači upotrijebiti odustajanje kao zavisnu varijablu, kontrolirati znači isprovocirati odustajanje u trenutku kada nam to odgovara (čime se bavimo u ovom radu), izbjegavati znači na vrijeme otkriti ispitanike koji su skloni odustajanju (u radu to činimo tzv. provjerom ozbiljnosti, odnosno posebnim pitanjem kojim mjerimo koliko je ispitanik ozbiljno pristupio ispitivanju), a suzbiti znači svesti odustajanje na najmanju moguću mjeru. S obzirom na to da se ovaj rad bavi svrhovitosti namjernog izazivanja odustajanja postavljanjem "prepreke" na početku upitnika, bilo je potrebno potruditi se oko dizajna upitnika da bi što manje ispitanika odustalo iz raznih drugih razloga, osim zbog same prepreke (dakle, bilo je potrebno suzbiti odustajanje). U različitim su izvorima navedene i opisane brojne mjere koje se mogu poduzeti u tu svrhu. Najvažnije za naše istraživanje opisujemo u nastavku.

Skala odgovora. Web-forme koje se nude ispitanicima za odgovaranje na pitanja mogu utjecati na kvalitetu dobivenih odgovora (Cruz-Benito et al., 2018) ali i na stopu odustajanja ispitanika (Vicente, Reis, 2010) . Zato je potrebno dobro razmisliti koje će se web-forme upotrijebiti za koje vrste pitanja, kao i kakva će biti svojstva odabranih formi. S obzirom na planiranu skalu odgovora, odlučili smo se za vertikalni niz izbornih gumba 8 , kao što je prikazano na slici 1. Kao alternative se nizovima izbornih gumba ponekad nude tekstualna polja za unos odgovora ili padajući izbornici. No, neki radovi ipak daju prednost nizovima izbornih gumba (Bargas-Avila et al., 2012) .

Slika 1. Pitanje iz upitnika
zbornik-veleri-7-17-g1.jpg

Izvor: Autori

Broj stranica. Web-upitnik može se dizajnirati na način da se sva pitanja prikažu na jednoj stranici (tzv. klizaći dizajn 9 čiji pregled od ispitanika najvjerojatnije zahtijeva potrebu za klizanjem po stranici) ili da se svako pitanje nalazi na zasebnoj stranici (tzv. straničeni dizajn 10 ) (Maliković et al., 2017) . Mogući su i mješoviti dizajni s grupiranim pitanjima, odnosno s određenim brojem pitanja na svakoj stranici. S obzirom na to da je jedna od važnih analiza u ovom istraživanju analiza odustajanja, a u slučaju klizaćeg dizajna ne bismo mogli pratiti na kojem je pitanju ispitanik odustao (ako je odustao), upotrijebili smo straničeni dizajn. Nakon svakog odgovora na pitanje ispitanici su imali jasno istaknuti gumb dalje, kojim se prelazi na sljedeće pitanje (slika 1).

Slika 2. Početna stranica
zbornik-veleri-7-17-g2.jpg

Izvor: Autori

Motivirajuća početna stranica. U pozivnoj je elektroničkoj poruci svaki potencijalni ispitanik dobio poveznicu na koju je potrebno kliknuti, nakon čega se otvara početna stranica upitnika (slika 2). Ta stranica, koja se u (Dillman, 2007) naziva stranica dobrodošlice 11 , treba biti motivirajuća, na njoj treba biti naglašena jednostavnost odgovaranja na pitanja u upitniku i treba uputiti ispitanike na koji će način prijeći na sljedeću stranicu. Također, potrebno je kratko objasniti razloge istraživanja i ohrabriti ispitanike da ispune upitnik. Uglavnom, početna stranica treba biti dizajnirana tako da pomogne zainteresiranima da što je moguće brže i sa što manje napora dođu do sadržaja upitnika.

Dobrovoljno odgovaranje na pitanja. U straničenom dizajnu, koji smo upotrijebili u ovom upitniku, moguće je ispitanika onemogućiti kada pokuša prijeći na novo pitanje, a da na prethodno pitanje nije odgovorio. Iako se mnogi istraživači koriste tom mogućnošću, prema (Couper, 2008) ona je uglavnom loša, i to iz dvaju razloga: 1) krši ideju dobrovoljnog sudjelovanja u ispitivanju i 2) neće povećati kvalitetu odgovora jer zahtijevanje odgovora ne znači da će se dobiti i pravi odgovor, ali će povećati frustraciju ispitanika. Ispitanika treba osloboditi obaveze i omogućiti mu da sam odluči želi li odgovoriti na pojedino pitanje, kao što smo u ovom upitniku i učinili.

Programska rješenja. Prema (Stieger et al., 2011) programska rješenja koja zahtijevaju da na ispitanikovu računalu bude instalirana određena programska podrška (Javascript, Flash i slično) mogu povećati odustajanje, pa ih je bolje izbjegavati. Ako se takva rješenja ipak koriste, tada je potrebno izvršiti automatsku programsku provjeru ispitanikovih postavki na računalu, ispitanike upozoriti na eventualne nedostatke i ponuditi im poveznice na kojima potrebnu programsku podršku može dobaviti. Naš je upitnik izrađen u programskom alatu Wextor 12 koji automatski provjerava potrebne postavke i u slučaju nedostataka upućuje ispitanika koje radnje treba poduzeti da bi ih uklonio.

Ozbiljnost. Prema (Reips, 2010) potrebno je ispitanicima reći da je njihovo sudjelovanje odgovorno i da su znanosti potrebni kvalitetni podaci. To smo zadovoljili u pozivnoj elektroničkoj poruci i na početnoj web-stranici ispitivanja.

Vjerodostojnost. Ispitanicima je potrebno reći tko provodi istraživanje i kojoj instituciji pripada (Reips, 2010) , što smo i učinili u pozivnoj elektroničkoj poruci.

Trajanje ispitivanja. Ispitanicima je potrebno reći koliko će ispitivanje trajati (Reips, 2010) . Kako je ovo istraživanje relativno kratko, već smo u pozivnoj elektroničkoj poruci potencijalnim ispitanicima to napomenuli. Pozivna poruka izgledala je ovako:

Poštovani,

ja sam Xxxxxxx Xxxxxxxxxxx s Xxxxxxxxxxx fakulteta u Xxxxxxxxxx i provodim web-istraživanje o općim stavovima prema internetu. Istraživanje traje svega nekoliko minuta, a meni će biti dragocjena Vaša pomoć ako ispunite upitnik na adresi http://xxx.xxxxxx.xxx/xxxxxx/xxx

Unaprijed zahvaljujem,

Xxxxxxx Xxxxxxxxxxx

Pokazatelj napretka. Za razliku od klizaćeg dizajna, u straničenom dizajnu upitnika ispitanik ne vidi koliko je upitnik dug i na kojem se mjestu u upitniku trenutno nalazi, osim ako mu ne ponudimo tzv. pokazatelj napretka 13 . Iako još nije posve jasno na koji način pokazatelji napretka mogu utjecati na odustajanje, a rezultati istraživanja o toj temi veoma variraju, izgleda da pokazatelj napretka ima motivirajući učinak u kraćim, a demotivirajući u dužim ispitivanjima (Maliković, 2015) . Zato smo se (s obzirom na to da je naše ispitivanje relativno kratko) odlučili za pokazatelj napretka, i to u numeričkom obliku na kojem ispitanik može pročitati na kojem se rednom broju pitanja nalazi (slika 1).

Testiranje na različitim računalima i uređajima. Udio ispitanika koji za pristup internetu koriste mobilne uređaje već je odavno premašio udio ispitanika preko stolnih računala (61,2 % u 2018.), a projekcije govore da će taj udio u budućnosti samo rasti (63,4 % u 2019.) (Statista, Inc., 2018) . Zato je prije početka istraživanja potrebno provjeriti izgled i rad upitnika, kako na različitim postavkama računala, tako i na različitim mobilnim uređajima (Lattery et al., 2013) . Na slici 3 vidimo upitnik iz ovog istraživanja na pametnom telefonu, u rezoluciji 720 x 1280 piksela i veličinom zaslona 4,8'' te s uključenom virtualnom tipkovnicom.

Slika 3. Prikaz upitnika na pametnom telefonu
zbornik-veleri-7-17-g3.jpg

Izvor: Autori

3. CILJ ISTRAŽIVANJA

Cilj istraživanja bio je provjeriti utječe li primjena tehnike visoke prepreke na rezultate ispitivanja web-upitnikom. U kontekstu ovog istraživanja pod rezultatima ispitivanja posebno se misli na odustajanje ispitanika, vrijeme potrebno za ispunjavanje upitnika i sadržaj odgovora.

4. METODA

4.1. Ispitanici

U ispitivanju je sudjelovalo 235 studenata i studentica Filozofskog fakulteta u Rijeci, u rasponu dobi od 18 do 35 godina.

4.2. Pribor

Skala The General Internet Attitude Scale (GIAS) (Joyce, Kirakowski, 2015) sadrži 21 česticu kojom se mjeri opće stavove prema internetu. U sklopu skale sve su čestice bile izražene na skali Likertova tipa: Ne slažem se, Uglavnom se ne slažem, Ne mogu se odlučiti, Uglavnom se slažem, Slažem se. Korištene su dvije inačice web-upitnika s jednakim skupom pitanja, ali jedna sa zastojem u učitavanju početne web-stranice u trajanju od 10 sekundi i jedna bez zastoja. Web-upitnici konstruirani su pomoću alata za izradu web-upitnika Wextor.

4.3. Postupak

Baza sa 712 e-adresa studenata Filozofskog fakulteta u Rijeci po slučaju je podijeljena u dvije skupine po 356 adresa, a svakoj od njih dodijeljena je jedna inačica web-upitnika, koja je potom poslana na osobne e-adrese studenata. S nekim su se e-adresama dogodile neke sistemske pogreške 14 tako da su poruke ispravno pristigle na 322 adrese s dizajnom bez zastoja i na 321 adresu sa zastojem od 10 sekundi. Nakon toga bilo je potrebno čekati da potencijalni ispitanici pročitaju poruku i eventualno pristupe ispitivanju. Na slici 4 prikazan je trend odaziva ispitanika, koji je, kao što vidimo, padajući, pa je prikupljanje podataka zaključeno nakon 10 dana.

Slika 4. Pristupanje ispitanika ispitivanju po danima
zbornik-veleri-7-17-g4.jpg

Izvor: Autori

REZULTATI

5.1. Analiza odustajanja

Poruke s pozivom na sudjelovanje u istraživanju i web-adresom upitnika pristigle su na 643 adrese e-pošte (322 odnosno 321 po skupini). Upitnik je otvorilo ukupno 235 ispitanika: 118 u kontrolnoj grupi bez zastoja i 117 ispitanika u eksperimentalnoj grupi sa zastojem od 10 sekundi prilikom učitavanja prve stranice.

Nakon učitavanja prve stranice 162 od 235 ispitanika (68.94 %) nastavilo je s ispitivanjem. U grupi bez zastoja istraživanje je nastavilo 90 od 118 ispitanika (76.27 %), a u grupi sa zastojem 72 od 117 ispitanika (61.54 %). Hi-kvadrat testom za nezavisne uzorke ustanovljeno je da se eksperimentalna i kontrolna skupina značajno razlikuju u broju ispitanika koji nastavljaju anketu nakon učitavanja prve stranice (χ2 = 5.99; df = 1; p < 0.05): u eksperimentalnoj skupini bilo je značajno manje takvih ispitanika.

Od 162 ispitanika koja su započeli anketu, 152 su na prvom pitanju odgovorila da će ozbiljno odgovarati na pitanja. U skupini bez zastoja potvrdan odgovor na pitanje o ozbiljnosti dalo je 84 od 90 ispitanika (93.33 %), a u eksperimentalnoj skupini 68 od 72 ispitanika (94.44 %).

Upitnik je do kraja ispunilo 132 od 152 ispitanika, koliko ih je navelo da će ozbiljno pristupiti istraživanju. U grupi bez zastoja upitnik su do kraja ispunila 69 od 84 ispitanika (82.14 %), a u grupi sa zastojem 63 od 68 ispitanika (92.65 %). Hi-kvadrat test za nezavisne uzorke pokazao je da je ta razlika statistički značajna uz nešto veću razinu rizika zaključivanja (χ2 = 3.63; df = 1; p = 0.057): od svih ispitanika koji su započeli rješavanje upitnika u grupi bez zastoja veći je postotak ispitanika koji nisu do kraja ispunili upitnik.

Slika 5. Prikaz odustajanja ispitanika kroz faze istraživanja
zbornik-veleri-7-17-g5.jpg

Izvor: Autori

Od 132 ispitanika koji su naznačili da će odgovarati ozbiljno i koji su ujedno ispunili upitnik do kraja, 124 ih je odgovorilo na sva pitanja, a osmero (po četiri u svakoj skupini) ih je propustilo odgovoriti na barem jedno pitanje. Kada se razmatraju svi ispitanici koji su otvorili upitnik, 59 od 117 takvih sudionika (50.43 %) iz eksperimentalne te 65 od 118 sudionika (55.08 %) iz kontrolne grupe upitnik je ispunilo u potpunosti, odgovorivši na sva pitanja, a hi-kvadrat testom ustanovljeno je da ta razlika među skupinama nije značajna: χ2 = 0.51; df = 1; p > 0.05. Analize koje slijede provedene su na rezultatima tih 124 ispitanika, 65 u kontrolnoj i 59 u eksperimentalnoj skupini. Cjelokupni tijek odustajanja ispitanika kroz faze istraživanja prikazan je na slici 5.

Nakon rekodiranja inverznih čestica Cronbach alpha koeficijent pouzdanosti upitnika iznosi psihometrijski zadovoljavajuće visokih 0.86.

5.2. Analiza sadržaja odgovora

T-testom za nezavisne uzorke ustanovljeno je da efekt zastoja na stavove ispitanika o internetu nije bio značajan (t = 0.35; df = 122; p > 0.05): prosječan je rezultat na testu mogućeg raspona 0 - 84 iznosio 59.26 (SD = 8.80) u skupini bez zastoja, a u skupini s deset sekundi zastoja 58.63 (SD = 11.23).

Ni odvojenim analizama, provedenim prvo na rekodiranim, a zatim na nerekodiranim česticama, nisu ustanovljene značajne razlike u odgovorima među grupama. T-test za nezavisne uzorke proveden na rekodiranim česticama nije bio značajan (t = 0.88; df = 122; p

> 0.05): prosječan ukupni rezultat na 10 rekodiranih čestica iznosio je 29.75 (SD = 4.62) u skupini bez zastoja, a 28.93 (SD = 5.73) u skupini sa zastojem. Analizom odgovora na 11 nerekodiranih čestica također nije ustanovljena značajna razlika među grupama (t = 0.16; df = 122; p > 0.05): prosječan rezultat u grupi bez zastoja iznosio je 29.51 (SD = 6.14), a u skupini sa zastojem 29.69 (SD = 6.89).

5.3. Analiza brzine odgovaranja

Analizom brzine odgovaranja ustanovljeno je da su ispitanici u skupini bez zastoja (M = 2 minute i 17.82 sekundi; SD = 49.29 sekundi) upitnik ispunjavali u prosjeku 10.92 sekundi brže od ispitanika u eksperimentalnoj grupi (M = 2 minute i 28.73 sekundi; SD = 56.64 sekundi), međutim, ta razlika nije bila statistički značajna (t = 1.15; df = 122; p > 0.05). Za odgovor na rekodiranu česticu ispitanicima kontrolne grupe u prosjeku je bilo potrebno 6.66 sekundi (SD = 2.81 sekundi), a eksperimentalne 7.40 sekundi (SD = 3.39 sekundi), no t-testom za nezavisne uzorke ustanovljeno je da ni ta razlika nije značajna (t = 1.33; df = 122; p > 0.05). T-testom je, također, ustanovljeno da među skupinama nema razlike u vremenu potrebnom za odgovor na nerekodirane čestice (t = 0.67; df = 122; p > 0.05): prosječno vrijeme odgovaranja na nerekodirane čestice iznosilo je 6.47 sekundi (SD = 2.47 sekundi) u kontrolnoj, a 6.79 sekundi (SD = 2.82 sekundi) u eksperimentalnoj skupini.

6. DISKUSIJA

Indukcija zastoja prilikom učitavanja prve stranice rezultirala je značajnim povećanjem postotka ispitanika koji u samom startu odustaju od sudjelovanja u istraživanju. Od svih ispitanika koji su pokrenuli otvaranje upitnika, čak 38.46 % ispitanika u uvjetu sa zastojem nije odgovorilo ni na prvo pitanje, dok je u kontrolnoj skupini takvih ispitanika bilo samo 23.73 %. To je u skladu s nalazima (Göritz, Stieger, 2008) gdje je ustanovljeno da se produljenjem trajanja zastoja smanjuje broj ispitanika koji započinju ispunjavati anketu. Dobiveni je rezultat i očekivan s obzirom na osnovnu ideju tehnike visoke prepreke da se umjetno i namjerno izazvanim zastojem u učitavanju početne stranice web-upitnika osigura što ranije odustajanje manje motiviranih ispitanika.

Zastoj u trajanju od 10 sekundi nije imao značajne efekte na ozbiljnost ispitanika. No takav je nalaz posljedica karakteristika ispitanika obuhvaćenih ovim istraživanjem, za koje možemo zaključiti da su bili visoko motivirani, s obzirom na to da se mahom radi o studentima mlađe životne dobi, velika većina kojih je u obje skupine iskazala namjeru da ozbiljno sudjeluje u istraživanju. Sudionika koji su odgovorili da nemaju namjeru ozbiljno sudjelovati u istraživanju i sudionika koji na pitanje o ozbiljnosti nisu odgovorili bilo je ukupno svega 10 u cijelom uzorku, a s obzirom na tako malen broj, nije bilo statistički opravdano raditi ikakve usporedbe u funkciji varijable ozbiljnosti sudionika, već su "neozbiljni" sudionici izostavljeni iz sljedećih analiza. Drugim riječima, ovdje se manifestirao fenomen koji se statističkom terminologijom definira kao efekt stropa: u kontrolnoj je skupini postotak "ozbiljnih" ispitanika iznosio visokih 93.33 %, što znači da se uvođenjem zastoja moglo djelovati samo na preostalih 6 - 7 % ispitanika. Prema tome, da bi se adekvatno testiralo efekte zastoja na odustajanje nemotiviranih ispitanika, bilo bi potrebno replicirati istraživanje na takvom uzorku, u kojem bi puno veći postotak ispitanika davao odgovor da ne misli ozbiljno sudjelovati u istraživanju; moguće na uzorku opće populacije, koja bi uključivala starije i manje obrazovane i manje informatički pismene ispitanike.

Nadalje, ustanovljeno je da je od onih ispitanika koji su započeli s odgovaranjem na pitanja u kontrolnoj skupini upitnik do kraja ispunilo 82.14 %, a u skupini sa zastojem 92.65 % ispitanika. Ta je razlika statistički značajna i ide u prilog osnovnoj ideji tehnike visoke prepreke koja pretpostavlja da se zastojem u učitavanju početne stranice web-upitnika osigurava što ranije odustajanje dijela ispitanika. Isto je zaključeno i u (Reips, Frauendorfer, 2009) , odnosno da je odustajanje ispitanika manje u uvjetu zastoja, dok u (Göritz, Stieger, 2008) nije ustanovljen značajan efekt duljine trajanja zastoja na odustajanje ispitanika.

U konačnici, ustanovljeno je da je od svih ispitanika koji su otvorili upitnik u obje skupine podjednak broj onih koji su u potpunosti ispunili upitnik, odnosno odgovorili na sva pitanja: bilo je 50.43 % takvih ispitanika u eksperimentalnoj te 55.08 % u kontrolnoj grupi.

Drugim riječima, iz dosad navedenih nalaza slijedi zaključak da je tehnika visoke prepreke značajno utjecala na trenutak u kojem sudionici odustaju od istraživanja, ali ne i na broj potpuno ispunjenih upitnika. U grupi sa zastojem ispitanici su značajno više odustajali na samom početku upitnika, dok su u grupi bez zastoja odustajali u sredini upitnika, no u konačnici se broj ispitanika koji su u potpunosti riješili upitnik među skupinama nije razlikovao.

U preostalim analizama nije dobiven utjecaj zastoja na sadržaj odgovora i brzinu odgovaranja.

ZAKLJUČAK

Indukcija zastoja prilikom učitavanja prve stranice rezultirala je značajnim smanjenjem postotka ispitanika koji započinju sudjelovanje u anketi. Međutim, tako filtrirani ispitanici u značajno manjoj mjeri odustaju od započetog ispunjavanja upitnika nego sudionici koji su upitniku pristupili bez zastoja, što u konačnici rezultira nalazom da se broj u cijelosti popunjenih upitnika nije razlikovao među skupinama. Analize provedene na ispitanicima koji su odgovorili na sva pitanja pokazale su da zastoj prilikom učitavanja nije utjecao na sadržaj odgovora ni na brzinu odgovaranja.

Razmatrani zajedno ovi zaključci ustvari indiciraju opravdanost uvođenja zastoja kao filtrirajuće tehnike. Naime, ta se metoda u usporedbi sa standardnom bez zastoja u konačnici ne razlikuje ni po broju u potpunosti kompletiranih upitnika, ni u sadržaju odgovora, a ni u vremenu potrebnom za odgovaranje na upitnik. Jedina je razlika u tome što se uvođenjem zastoja minimizira uložen trud ispitanika u odnosu na standardnu metodu, s obzirom na to da ispitanici u velikoj mjeri odustaju prije nego započnu s odgovaranjem, a već je to dovoljan argument da se taj postupak implementira i na taj način "poštedi ispitanike".

Osim navedenih zaključaka vezanih uz provedeno istraživanje možemo zaključiti i da je do sada provedeno premalo istraživanja na ovu i njoj bliske teme te da su rezultati dosadašnjih istraživanja međusobno oprečni. Svakako su potrebna daljnja istraživanja korisnosti ove tehnike.

Ključni nedostatak istraživanja je broj sudionika. Provođenjem istraživanja na višestruko većem uzorku omogućilo bi se uvođenje novih razina nezavisne varijable, odnosno analizu rezultata više eksperimentalnih skupina, koje bi se razlikovale po trajanju zastoja. Osim toga, replikacija istraživanja na većem i heterogenijem uzorku omogućila bi i detaljnije statističke analize, pomoću kojih bi bilo moguće otkriti eventualne efekte karakteristika ispitanika (poput obrazovanja, dobi i sličnih demografskih varijabli) na rezultate.

Notes

1 Web-ispitivanje je ispitivanje koje se provodi putem internetske usluge World Wide Web.

2 Engl. High hurdle technique ili High entrance barrier.

3 Engl. Seriousness check.

4 U (Reips, Frauendorfer, 2009) objavljen je samo sažetak izlaganja, pa precizni statistički podaci iz tog istraživanja nisu dostupni.

5 U prvom eksperimentu su sudionici bili studenti pozvani elektroničkom poštom, a u drugom panelisti koji su pristali povremeno sudjelovati u ovakvim istraživanjima.

6 Engl. The General Internet Attitude Scale (GIAS).

7 Engl. use it, control it, avoid it, suppress it.

8 Engl. Radio buttons.

9 Engl. Scrolling design

10 Engl. Paging design.

11 Engl. Welcome screen.

12 http://wextor.eu.

13 Engl. Point of completion (POC) indicator.

14 Na primjer, u nekim su slučajevima e-adrese postavkama na poslužitelju preusmjerene na druge e-adrese, a te druge adrese nisu bile valjane, odnosno aktivne i slično.

References

1 

Buchanan T.; Buchanan J.E.. 2010."Ethical issues in psychological research on the Internet". Advanced methods for conducting online behavioral research. Gosling S.D.; Johnson J.A.. American Psychological Association. (D.C.). 255–271. https://doi.org/10.1037/12076-016

2 

Bargas-Avila J.A.; Brenzikofer O.; Roth S.P.; Tuch A.N.; Orsini S.; Opwis K.. "1 Simple but Crucial User Interfaces in the World Wide Web: Introducing 20 Guidelines for Usable Web Form Design". Mátrai R.. Croatia: INTECH; 2012.

3 

Couper M.P.. Designing Effective Web SurveysNew YorkCambridge University Press, 2008. https://doi.org/10.1017/CBO9780511499371

4 

Cruz-Benito J.; Sánchez-Prieto J.C.; Vázquez-Ingelmo A.; Therón R.; García-Peñalvo F.J.; Martín-González M.. "How Different Versions of Layout and Complexity of Web Forms Affect Users After They Start It? A Pilot Experience". Trends and Advances in Information Systems and Technologies, WorldCIST'18 2018. Advances in Intelligent Systems and Computing. Rocha Á.; Adeli H.; Reis L.; Costanzo S.. 2018746:971–979. https://doi.org/10.1007/978-3-319-77712-2_92

5 

Dillman D.A.Mail and Internet surveys: The tailored design method 2007 Update with new Internet, visual, and mixed-mode guideHoboken, New JerseyJohn Wiley & Sons Inc., 2007.

6 

Göritz A.S.; Stieger S.. 2008."The high-hurdle technique put to the test: Failure to find evidence that increasing loading times enhances data quality in Web-based studies". Behavior Research Methods. 40(1):322–327. https://doi.org/10.3758/BRM.40.1.322

7 

Heerwegh D.; Loosveldt G.. 2006."An experimental study on the effects of personalization, survey length statements, progress indicators, and survey sponsor logos in Web surveys". Journal of Official Statistics. 22(2):191–210

8 

Joyce M.; Kirakowski J.. 2015."Measuring Attitudes Towards the Internet: The General Internet Attitude Scale". International Journal of Human-Computer Interaction. 31(8):506–517. https://doi.org/10.1080/10447318.2015.1064657

9 

Lattery K.; Park Bartolone G.; Saunders T.. "Optimizing surveys for smartphones: Maximizing response rates while minimizing bias". Paper presented at the CASRO Online Research Conference San Francisco, SAD: 2013.

10 

Maliković M.. Internetska istraživanjaRijekaFilozofski fakultet Sveučilišta u Rijeci, 2015.

11 

Maliković M.; Švegar D.; Šomođi S.. 2017."Utjecaj vizualne orijentacije skale za odgovaranje i broja stranica web-upitnika na rezultate ispitivanja". Zbornik Veleučilišta u Rijeci. 5(1):1–12. https://doi.org/10.31784/zvr.5.1.1

12 

Reips U.-D.. 2002a"Internet-Based Psychological Experimenting: Five Dos and Five Don'ts". Social Science Computer Review. 20(3):241–249. https://doi.org/10.1177/08939302020003002

13 

Reips U.-D.. 2002b"Standards for Internet-based experimenting". Experimental Psychology. 49(4):243–256. https://doi.org/10.1026/1618-3169.49.4.243

14 

Reips U.-D.. "The methodology of Internet-based experiments"The Oxford handbook of Internet psychologyJoinson A.N.; McKenna K.Y.A.; Postmes T.; Reips U.-D.. Oxford, EngleskaOxford University Press, 2007.374390

15 

Reips U.-D.. 2009"Internet experiments: Methods, guidelines, metadata". Proceedings of SPIE - The International Society for Optical Engineering. 7240/724008:https://doi.org/10.1117/12.823416

16 

Reips U.-D.. "Design and formatting in Internet-based research". Advanced methods for conducting online behavioral research. Johnson J. A.; Reips U.-D.. Washington, D. C.: American Psychological Association; 2010p. 29–43. https://doi.org/10.1037/12076-003

17 

Reips U.-D.; Frauendorfer D.. The high hurdle technique put to the test: Evidence for less dropout and better data quality in web-based studies.Boston, SAD39th Annual Meeting of the Society for Computers in Psychology, 2009.

18 

Statista, Inc.. "Mobile phone internet user penetration worldwide from 2014 to 2019"2018.https://www.statista.com/statistics/284202/mobile-phone-internet-user-penetration-worldwide/9.6.2018.

19 

Stieger S.; Göritz A.. 2008."The effectiveness of the high hurdle technique: Do artificially increased loading times enhance data quality?". International Journal of Psychology. 43(3-4):375

20 

Stieger S.; Göritz A.S.; Voracek M.. "Handle with Care: The Impact of Using Java Applets in Web-Based Studies on Dropout and Sample Composition". Cyberpsychology, Behavior, and Social Networking. 2011.14(5)https://doi.org/10.1089/cyber.2010.0052

21 

Tijdens K.. 214"Dropout Rates and Response Times of an Occupation Search Tree in a Web Survey". Journal of Official Statistics. 30(1):23–43. https://doi.org/10.2478/jos-2014-0002

22 

Vicente P.; Reis E.. 2010."Using questionnaire design to fight nonresponse bias in web surveys". Social Science Computer Review. 251–267. https://doi.org/10.1177/0894439309340751


This display is generated from NISO JATS XML with jats-html.xsl. The XSLT engine is libxslt.