1. Uvod
Postoje mnoge prednosti interneta kao alata za provođenje istraživanja (za prikupljanje sudionika, upravljanje materijalima i prikupljanje podataka) u odnosu na tradicionalne metode istraživanja. Tu činjenicu danas prihvaća sve veći broj znanstvenika i stručnjaka u raznim područjima znanosti, a to je najlakše vidljivo iz sve većeg broja objavljenih znanstvenih i stručnih članaka koji navode upravo takav pristup istraživanju.
Internetska ispitivanja1 (kao vrsta internetskih istraživanja) su bilo koja ispitivanja kod kojih se podaci od ispitanika prikupljaju internetom. Najčešća su internetska ispitivanja web-preglednikom2 osmišljena tako da ispitanici putem web-sučelja odgovaraju na web-upitnik3, najčešće pomoću formi za odgovore (slika 1). U osnovne forme za odgovore spadaju polja za unos teksta, izborni gumbi, okviri za izbor, padajući izbornici, polja za lozinku, tekstualne zone, gumbi za ponovno postavljanje, gumbi za slanje4. Ovakva ispitivanja posredstvom web-sučelja zovemo web-ispitivanja5 .
Za upitnike je najvažnije da odgovori ispitanika na postavljena pitanja odražavaju njegove istinite stavove i vrijednosti. No razne osobine upitnika mogu utjecati na rezultate ispitivanja. Posebno, u slučaju web-ispitivanja postoje neki specifični izvori pogreški koji mogu utjecati na te rezultate. Najvažnije pogreške u rezultatima koje mogu biti izazvane dizajnom upitnika jesu (Tuten et al., 2002):
izostanak odgovora na pojedina pitanja
pogreška odgovora (odgovaranje na neispravan način)
nepotpunost odgovora
neekvivalentnost odgovora u različitim načinima prikupljanja podataka.
Do sada prikupljena saznanja o utjecaju dizajna web-upitnika na rezultate imaju sljedeća osnovna ograničenja (Ganassali, 2008):
nema utvrđenog konceptualnog okvira navedenog problema; postoji dosta istraživanja na tu temu, ali je većina ograničenog karaktera i ne uzimaju u obzir sve specifičnosti web-upitnika;
slabo su istražene neke od važnih značajki web-upitnika, kao što su, na primjer, ilustracije, razni interaktivni elementi i sl.
mnogo manje pozornosti pridaje se kvaliteti rezultata nego, na primjer, odazivu na ispitivanje.
2. UTJECAJ NEKIH OSOBINA DIZAJNA WEB-UPITNIKA NA REZULTATE ISPITIVANJA
Osim osobina upitnika koje su važne u bilo kojoj vrsti ispitivanja (npr. duljina upitnika, duljina pitanja, razina stručnosti postavljenih pitanja itd.), postoje osobine koje su specifične za web-upitnike (Couper, 2008). U ovom članku posebno ćemo se osvrnuti na broj web-stranica (ekrana) na koje je podijeljen web-upitnik i vizualnu orijentacija skale za odgovaranje u web-upitniku.
2.1 Broj stranica
Što se tiče broja stranica na kojima može biti ispisan web-upitnik, dizajn se može kretati od cijelog upitnika prikazanog na jednoj jedinoj stranici (tzv. klizaći dizajn6, koji je dobio ime po tome što njegov pregled od ispitanika najvjerojatnije zahtijeva potrebu za klizanjem po stranici) do svakog pitanja na zasebnoj stranici (tzv. straničeni dizajn7 ) (Maliković, 2015:52). Između ta se dva dizajna nalaze mješoviti dizajni s određenim brojem pitanja na jednoj stranici. Klizaći i straničeni dizajn jednog te istog upitnika vidimo naslici 2.
Osnovna je ideja straničenog dizajna u izbjegavanju potrebe za klizanjem po stranici. S druge strane, korištenje straničenog dizajna može utjecati na razumijevanje konteksta u kojem su postavljena pitanja. Ponekad se može izgubiti kontekst cijelog upitnika, a to postaje posebno problematično kada imamo nizove pitanja koja su kontekstualno povezana u grupe (na primjer, ako imamo grupu pitanja koja se odnose na određen posao). Ako ispitanici zaborave u kojem je kontekstu postavljeno neko pitanje, tada se moraju kretati unatrag po web-stranicama i prolaziti pitanja na koja su već odgovorili. To može dovesti do dodatnih pogrešaka u rezultatima (npr. ako se mjeri vrijeme potrebno za ispunjavanje upitnika). U takvim se slučajevima klizaćim dizajnom ispitanicima olakšava kretanje po upitniku i pregledavanje prethodnih pitanja i odgovora. U klizaćem dizajnu ispitanici mogu imati mnogo bolji osjećaj o duljini upitnika i o tome gdje se nalaze u upitniku, ali se postavlja pitanje želi li to uopće provoditelj ispitivanja (Maliković, 2015:53).
Daljnja je značajna razlika između ovih dvaju dizajna u mogućnosti tretiranja neodgovorenih pitanja. U straničenom dizajnu se na neodgovoreno pitanje može programski reagirati odmah nakon tog pitanja. Na primjer, može se upozoriti ispitanika da nije odgovorio na pitanje i ponuditi mu ponovljenu mogućnost da to učini. U klizaćem dizajnu je to moguće samo nakon što je ispitanik prošao cijeli upitnik ili eventualno jednu grupu pitanja, pa je upitno kako na ispitanika djeluje to da ga se naknadno vraća na neodgovorena pitanja (Maliković, 2015:54).
Do sada je provedeno više istraživanja o utjecaju straničenog i klizaćeg dizajna na rezultate u smislu vremena potrebnog za ispunjavanje, odustajanja ispitanika od istraživanja i postotka neodgovorenih pitanja. Ta istraživanja daju dosta nejasne nalaze, a ako uspoređujemo različita istraživanja, nalazi su često i oprečni.
Što se tiče vremena potrebnog za ispunjavanje, u raznim se istraživanjima dobivaju različiti rezultati, što je možda suprotno očekivanjima prema kojima bi za straničeni dizajn trebalo više vremena zbog većeg broja potrebnih akcija koje ispitanici moraju učiniti da bi došli do kraja upitnika (Maliković, 2015:55). Tako se u nekim istraživanjima (Lozar Manfreda, Vehovar, 2002;Vehovar et al., 2000) navodi da klizaći dizajn zahtijeva statistički značajno manje vremena za ispunjavanje od straničenog dizajna, dok drugi autori (Peytchev et al., 2006) tvrde upravo suprotno. U potonjem autori pripisuju takav nalaz povećanoj kontroli pri navigaciji i usmjeravanju koje nudi straničeni dizajn.
Što se tiče odustajanja, u radovimaForsman, Varedian (2002) iVehovar et al. (2000) nisu nađene statistički značajne razlike ovih dvaju dizajna. U raduToepoel et al. (2009a) pokazano je da veći broj pitanja na jednoj stranici povećava odustajanje. Autori su koristili upitnik od četrdeset pitanja tako da su ga dizajnirali na četiri različita načina: s jednim, s četirima, s deset i sa svih četrdeset pitanja na stranici.
Pretpostavka je da bi u klizaćem dizajnu trebao biti veći postotak neodgovorenih pitanja. Često tako i jest, iako to nije pravilo, npr. u istraživanjuForsman, Varedian (2002) takve razlike nisu nađene. U radovimaSargis et al. (2013) iCouper et al. (2001) navodi se da fizičko grupiranje pitanja na jednoj stranici vjerojatno dovodi do toga da ispitanici vide te čestice kao povezane, pa se tako povećava korelacija među njima. Grupiranje povezanih čestica vjerojatno će smanjiti vrijeme potrebno za ispunjavanje upitnika tako što zahtijeva samo orijentaciju na format pitanja i odgovora, a ne reorijentaciju na svaki ekran u straničenom dizajnu.
Također, u nekim istraživanjima kao, na primjer,Peytchev et al. (2006), ustanovljeno je da dizajn upitnika ne utječe na sadržaj odgovora ispitanika.
2.2 Vizualna orijentacija skale za odgovaranje
Web-forme koje su ponuđene ispitanicima za odgovaranje na pitanja mogu utjecati na prikupljene podatke. Istraživač treba prilikom dizajniranja upitnika dobro razmisliti o tome koju formu odabrati za određeno pitanje i na koji način definirati svojstva odabrane forme. Objavljena su razna istraživanja o utjecaju osobina i vrsti ponuđenih formi na odgovore ispitanika kao, na primjer, o utjecaju osobina polja za unos teksta na dobivene odgovore (Couper et al., 2001); o utjecaju vrste forme (na primjer, o izboru između polja za unos teksta i izbornih gumba (Couper et al., 2001) ili o izboru između izbornih gumba i padajućih izbornika (Couper et al., 2004;Heerwegh, Loosveldt, 2002)); o osobinama okvira za izbor (Krosnick, 1991;Rasinski et al., 1994;Smyth et al., 2006). Neki autori bavili su se i vizualnim značajkama ponuđenih formi za odgovore (razmak između ponuđenih odgovora, pozicioniranje ponuđenih odgovora, redoslijed ponuđenih odgovora i slično) koje također mogu imati utjecaj na rezultate ispitivanja (Tourangeau et al., 2004).
Jedan od ciljeva ovog rada je utvrditi može li izgled skale za odgovaranje u smislu vertikalnog i horizontalnog dizajna također utjecati na rezultate odnosno odgovore ispitanika.Slika 3 prikazuje horizontalni dizajn ekvivalentan vertikalnom dizajnu koji smo vidjeli naslici 2.
Postoji vrlo mali broj istraživanja koja se bave ovom tematikom. U usporedbi horizontalnog i vertikalnog dizajna skala za odgovaranje na filmu koji se prikazivao na televiziji dobiveni su rezultati koji ukazuju da oblik vidnog polja i relativna jednostavnost pomicanja očiju s lijeve na desnu stranu, a ne prema gore i dolje, doprinose većoj točnosti odgovaranja na horizontalnoj skali (Graham, 1956). No, u sličnom istraživanju koje je uslijedilo nema značajne razlike u papirnatim upitnicima između distribucije rezultata dobivenih na vertikalnoj i horizontalnoj analognoj skali (Scott, Huskisson, 1979). Dobivena je iznimno visoka korelaciju između ovih dviju skala iako su rezultati na horizontalnoj skali nešto niži nego na vertikalnoj skali. RadFunke i sur. (2011) zaključuje da odgovaranje na horizontalnoj skali kod web-upitnika zahtijeva značajno manje vremena za dovršetak upitnika nego na vertikalnoj skali, ali je veličina tog efekta jako mala. U istraživanjuFriedmana i Friedmana (1994) dobivena je razlika u odgovorima u horizontalnom i vertikalnom dizajnu skale, ali smjer razlike varira po stavkama, pa su njihovi rezultati neuvjerljivi. Slično zaključuju i autori u raduToepoela et al. (2009b), no naglašavaju da je taj nalaz diskutabilan jer smjer razlika nije jednoznačan, a osim toga nije bilo razlika u brzini ispunjavanja upitnika.
3. CILJ ISTRAŽIVANJA
Cilj istraživanja bio je provjeriti utječe li vizualna orijentacija skale za odgovaranje i broj stranica upitnika (a time i eventualna potreba za klizanjem) na rezultate ispitivanja. U kontekstu ovog istraživanja pod rezultatima ispitivanja misli se posebno na vrijeme potrebno za ispunjavanje upitnika i posebno na sadržaj odgovora. Osim što su ovakva istraživanja važna sama po sebi, fleksibilnost u dizajniranju web-upitnika danas postaje sve važnija. Naime, sve više ljudi koristi razne formate zaslona i razne mobilne uređaje za rad na internetu (pametne telefone, tablete itd.), pa su posebno važne mogućnosti optimizacije upitnika prema formatu zaslona, a da to ne utječe na rezultate ispitivanja.
4. METODA
4.1 Ispitanici
U ispitivanju je sudjelovalo 207 ispitanika (25 studenata i 182 studentice) Filozofskog fakulteta u Rijeci u rasponu dobi od 18 do 40 godina.
4.2 Pribor
Računalo s pristupom na internet.
Skala stavova o računalima (The Computer Attitude Scale - CAS) (Loyd, Loyd, 1985). Skala sadrži 16 čestica kojima se mjeri percepcija ispitanika o samoučinkovitosti korištenja računala, naklonosti, korisnosti te namjerama za korištenje i učenje putem računala.
Skala stavova o internetu (The Web Attitude Scale - WAS) (premaLiaw, 2002). Skala sadrži 16 čestica kojima se mjeri percepcija ispitanika o samoučinkovitosti korištenja interneta, naklonosti, korisnosti te namjerama za korištenje i učenje putem interneta.
U objema skalama stavova sve čestice samoprocjene bile su izražene na Likertovoj skali u rasponu od 1 – „u potpunosti se ne slažem" do 7 – „u potpunosti se slažem", a bila je ponuđena i mogućnost 8 – „bez odgovora".
Korištene su ukupno tri inačice web-upitnika, a svaka od njih sadržavala je sljedeće elemente u istom redoslijedu: uvod u ispitivanje s uputom, demografiju (spol i dob), CAS skalu, WAS skalu i zahvalu. U prvoj inačici web-upitnika korišten je straničeni dizajn, u kojem je svako pitanje na zasebnoj web-stranici (slika 2 desno). U drugoj inačici korišten je vertikalni klizaći dizajn, u kojem su sva pitanja na jednoj web-stranici, a odgovori na svako pitanje ponuđeni su vertikalno ispod samog pitanja (slika 2 lijevo). U trećoj inačici upitnika korišten je horizontalni klizaći dizajn, u kojem su također sva pitanja prikazana na jednoj web-stranici, ali je dio predviđen za odgovore horizontalno u ravnini sa svakim pitanjem (slika 3).
Kao što vidimo, sveukupna duljina upitnika bila je 35 pitanja. Razni autori kao optimalan broj pitanja u upitniku navode sve između 15 i 30 (Ganassali, 2008) ili 25 do 30 kao gornju granicu broja pitanja srednje složenosti (Gräf, 2002;Krasilovsky, 1996; Tuten et al., 2002). S obzirom na jednostavnost pitanja u našem upitniku možemo reći da smo ostali u prihvatljivim granicama.
Sve tri inačice web-upitnika konstruirane su pomoću alata za izradu web-upitnika Wextor (Reips, Neuhaus, 2002).
4.3 Postupak
Baza s e-adresama svih studenata Filozofskog fakulteta u Rijeci po slučaju je podijeljena u tri skupine, a svakoj od njih dodijeljena je jedna inačica web-upitnika, koja je potom poslana na osobne e-adrese studenata. Poruka je sadržavala zamolbu za sudjelovanjem u ispitivanju i naglašavala je svrhu i cilj ispitivanja, anonimnost i okvirno vrijeme potrebno za ispunjavanje upitnika te web-adresu upitnika. Poruke s molbom za sudjelovanje u istraživanju i web-adresom upitnika poslane su na ukupno 2.383 e-adrese studenata Filozofskog fakulteta u Rijeci. Poruke sa straničenim dizajnom upućene su na 795 adresa, a s vertikalnim i horizontalnim klizaćim dizajnom na po 794 adrese.
5. REZULTATI I RASPRAVA
Upitnik je otvorilo ukupno 235 ispitanika, a kada se izuzmu svi oni koji su odustali već tijekom uvodne upute ili na demografskim pitanjima, preostalo je 207 ispitanika koji su ispunjavali upitnik. Od tih 207 ispitanika 63 je ispunjavalo upitnik u straničenom dizajnu, 84 u vertikalnom, a 60 u horizontalnom klizaćem dizajnu. Ove razlike u broju ispitanika po eksperimentalnim uvjetima posljedica su slučaja, jer su nastale prije prikaza različitih dizajna i prema tome ne mogu se smatrati posljedicom eksperimentalne manipulacije dizajnom upitnika.
U prvom dijelu obrade rezultata analizirano je vrijeme potrebno za ispunjavanje upitnika, dok se drugi dio obrade odnosi na sadržaj odgovora.
5.1 Vrijeme potrebno za ispunjavanje upitnika
Vrijeme potrebno za ispunjavanje upitnika definirano je kao vrijeme proteklo od prikaza CAS skale do odgovora na posljednju česticu WAS skale. U preliminarnoj analizi vrijeme ispunjavanja upitnika izračunato je za svakog ispitanika i potom pretvoreno u Z-vrijednosti kako bi se identificirala ekstremna odstupanja. Sve vrijednosti veće od 3Z isključene su iz sljedećih analiza, jer su dotični ispitanici potrošili puno vremena za ispunjavanje upitnika, pa postoji mogućnost da su iz određenog razloga u nekom trenutku prekinuli odgovaranje i nastavili ga naknadno. Nakon opisanog tretmana ekstremnih vrijednosti, sve sljedeće analize vremena potrebnog za ispunjavanje upitnika provedene su na 203 preostala rezultata. No u istraživanjima s vremenom odgovaranja kao zavisnom varijablom često se događa da eliminacija najsporijih ispitanika ne rezultira normalizacijom distribucije, pa je zbog toga normalnost provjerena Kolmogorov-Smirnovljevim testom. Budući da je Kolmogorov-Smirnovljevim testom utvrđeno da distribucija vremena odgovaranja značajno odstupa od normalne distribucije (Z = 2.19; p < 0.01), razlike među eksperimentalnim skupinama testirane su neparametrijskim Kruskal-Wallisovim testom za više nezavisnih uzoraka. Još jedan argument za primjenu neparametrijske statistike su indeksi spljoštenosti i simetričnosti iste varijable, koji su i nakon eliminacije ekstrema ostali veći od 1 (Skewness = 1.34; Kurtosis = 2.23). S obzirom na asimetričnost distribucije, kao mjere centralne tendencije i raspršenja su umjesto aritmetičkih sredina i standardnih devijacija iskazani medijani s graničnim vrijednostima prvog i trećeg kvartila. Kruskal-Wallisovom analizom ustanovljeno je da nema značajnih razlika (χ² = 0.92; df = 2; p > 0.05) u brzini rješavanja upitnika među skupinama sa straničenim dizajnom (C = 147 s, Q1 = 129 s, Q3 = 179 s), vertikalnim klizaćim (C = 152 s, Q1 = 129 s, Q3 = 199 s) i horizontalnim klizaćim dizajnom (C = 155 s Q1 = 118 s, Q3 = 198 s).
5.2 Analiza sadržaja odgovora
Prije analize sadržaja odgovora ispitanika provedene su faktorska analiza te analiza pouzdanosti kako bi se provjerile metrijske karakteristike upitnika. Kada se u faktorsku analizu simultano uvrste sve čestice skala CAS i WAS, dobiva se čista jednofaktorska struktura. Eigen-vrijednost prvog faktora iznosi 15.74, dok je isti indeks za sve preostale faktore manji od 2. U prilog ovom rezultatu govori i iznimno visoka internalna konzistentnost upitnika. Pouzdanost mjerena Cronbach-alpha koeficijentom na svim česticama obiju skala istovremeno iznosi čak 0.96. Na temelju ovih preliminarnih analiza, sve čestice skala CAS i WAS su jednostavnom linearnom kombinacijom transformirane u kompozitnu skalu stavova o računalima i internetu te je na tako dobivenom kompozitu provedena analiza varijance. Jednosmjerna ANOVA za nezavisne uzorke pokazala je da glavni efekt dizajna upitnika nije bio značajan (F2,193 = 1.32, p > 0.05). Dakle, nije nađena značajna razlika u sadržaju odgovora, odnosno u stavovima ispitanika o računalima i internetu među skupinama sa straničenim dizajnom (M = 153.73, SD = 19.16), vertikalnim klizaćim (M = 151.70, SD = 29.33) i horizontalnim klizaćim dizajnom (M = 158.22, SD = 14.40).
5.3 Interpretacija dobivenih rezultata i ograničenja istraživanja
Dobiveni rezultati sugeriraju da niti brzina ispunjavanja upitnika niti sadržaj odgovora ne ovise o dizajnu upitnika u smislu broja stranica i vizualne orijentacije skale za odgovore. Odgovori ispitanika u straničenom dizajnu bili su slični kao i oni u vertikalnom i horizontalnom klizaćem dizajnu, a isto se odnosi i na vrijeme potrebno za ispunjavanje upitnika. Ti nalazi u skladu su s rezultatima prijašnjih istraživanja u kojima je također ustanovljeno da dizajn upitnika ima neznatan učinak na sadržaj odgovora, odnosno vrijeme ispunjavanja upitnika (Friedman, Friedman, 1994;Funke et al., 2011;Scott, Huskisson, 1979;Toepoel et al., 2009b). U studijama koje će uslijediti potrebno je provesti slične eksperimente s varijacijama u duljini i tematici upitnika kako bi se provjerila eksternalna valjanost ovih nalaza. Mogućnost generalizacije rezultata moguće je povisiti i replikacijom na uzorku ispitanika opće populacije, dok bi se internalna valjanost mogla povećati replikacijama istraživanja sa zavisnim skupinama ispitanika.
6. ZAKLJUČAK
S obzirom na izneseno u ovom članku kao i na rezultate dobivene u našem istraživanju, možemo zaključiti da ne postoji povezanost dizajna web-upitnika u smislu broja stranica i vizualne orijentacije skale za odgovaranje i rezultata ispitivanja u smislu vremena potrebnog za ispunjavanje upitnika i sadržaja odgovora ispitanika. Drugim riječima, dizajneri web-upitnika mogu manipulirati navedenim osobinama upitnika s ciljem da se upitnik može prilagoditi različitim postavkama monitora, veličinama zaslona na pametnim telefonima, tabletima i sličnim uređajima. Ova problematika vrlo je složena, postoji premali broj istraživanja na ovu temu, a nalazi dosadašnjih istraživanja često su nejasni, ponekad i oprečni. Također, do sada su slabo istražene mnoge osobine web-upitnika koje mogu utjecati na ispitanike, na njihovo ponašanje tijekom ispitivanja, na tijek samog ispitivanja, kao i na odgovore ispitanika. Zato je ovakvu metodologiju potrebno vrlo oprezno primjenjivati, ali i provoditi dodatna istraživanja u ovom području.