Met gebruik van het LISS panel wordt ook onderzoek gedaan naar methodologie. Dat wil zeggen: er wordt gekeken naar methoden, naar procedures en werkwijzen. Onderzoekers uit binnen- en buitenland gebruiken ook hiervoor het LISS panel. Inzichten in de methoden waarop de data worden verzameld zijn net zo belangrijk als de resultaten van een onderzoek.

Vraag je bijvoorbeeld aan panelleden hoe gezond iemand zichzelf nu vindt, dan maakt het uit of je een plaatje laat zien van iemand die aan het hardlopen is of in een ziekenhuisbed ligt. Onbewust passen mensen hun antwoord aan op wat ze op dat plaatje zien, je vergelijkt je met óf een gezond iemand óf een ziek iemand. Vraag je hoe vaak iemand uit eten gaat en laat je een plaatje zien van een vijfsterrenrestaurant of van een fastfoodketen, dan zal dat ook gevolgen hebben voor het antwoord dat mensen geven. Beter is het dus om géén plaatje te laten zien als je de vraag stelt.

Een ander voorbeeld van methodologisch onderzoek is dat er wordt gekeken naar primacy of recency effecten. Mensen onthouden vaak beter wat er als eerst (primacy) wordt opgesomd in bijvoorbeeld een lange lijst, of wat als laatste (recency) wordt opgesomd in een lange lijst, en onthouden slechter wat er in het midden staat. De antwoorden die mensen kiezen zullen dus vaker aan het begin of aan het eind van een lijst zitten. In zo’n geval kunnen onderzoekers het beste de antwoorden ‘husselen’ zodat de lijst er bij iedereen anders uitziet.

Het maakt ook wat uit op welk apparaat je de vragenlijsten invult. De layout ziet er op alle apparaten wat anders uit, dat heeft ook te maken met de grootte van een scherm. Vul je een vragenlijst op een smartphone in, dan heb je een klein scherm dat je misschien ook nog een kwartslag moet draaien om alles goed te kunnen zien of lezen. Vul je een vragenlijst op een computer in, dan zie je vaak in één oogopslag het hele scherm. Onderzoekers willen dus graag dat de layout op alle apparaten er zo veel mogelijk hetzelfde uitziet en kan dat niet, dan kan het zijn dat een vragenlijst op een bepaald apparaat (meestal een smartphone) niet kan worden ingevuld.

Pas geleden is er een onderzoek gepubliceerd in een vaktijdschrift over de invulduur van eenzelfde vragenlijst, ingevuld op een computer en op een smartphone. Uit eerdere studies bleek al dat een langere invulduur een zorg is voor de onderzoekers, want de kans dat een panellid de vragenlijst dan niet afrondt is groter. Hoe langer de vragenlijst, hoe groter de kans dat panelleden die het invullen op een smartphone afhaken. Maar waaróm zit er een verschil in invulduur tussen de twee apparaten, zelfs als de layout van de vragenlijst zo goed mogelijk is aangepast voor smartphone? Daar hebben twee onderzoekers van universiteiten in Michigan en Manchester naar gekeken.

PC en smartphone
Zo'n 800 LISS panelleden werden in twee groepen gesplitst en kregen twee keer dezelfde vragenlijst voorgelegd. De ene helft moest de vragenlijst invullen op een computer, en de andere helft kreeg dezelfde vragenlijst op een smartphone. Een maand later gebeurde dit opnieuw, maar dan andersom: de panelleden die de vragenlijst eerst op een computer hadden ingevuld, moesten dat nu doen op de smartphone, en die van de smartphone nu op een computer. Panelleden die geen smartphone hadden, maar wel wilden meedoen aan het onderzoek, kregen hiervoor een smartphone van het LISS panel in bruikleen.

Resultaten
Als eerste resultaat kwam naar voren dat het invullen van een vragenlijst 1,4 keer zo lang duurt op een smartphone dan op een computer. En dat verschil was nog groter als er meer vragen op één scherm werden getoond of als panelleden zelf nog tekst moesten intypen. Ook was het verschil groter bij mensen die niet zo handig waren met een smartphone.
Uit eerder onderzoek werden al drie mogelijke redenen gegeven voor de langere invulduur op een smartphone:

1. Op een smartphone moet je, vanwege de (kleine) schermgrootte, meer scrollen om de vraag en de antwoorden te zien.
2. De pagina’s laden minder snel omdat je gebruik maakt van 3G of 4G internet.
3. Mensen antwoorden minder snel op een smartphone omdat ze daarnaast nog andere dingen aan het doen zijn en eerder afgeleid zijn.

Andere onderzoekers voegden hier nog drie redenen aan toe:

4. Het invoeren van je antwoord duurt langer omdat je iets moet typen op het kleine toetsenbord van je smartphone, zeker als het een open vraag is waarbij je dus niet moet kiezen tussen antwoorden die er al staan.
5. Sommige respondenten die (pas) een smartphone (zijn gaan) gebruiken, zijn niet zo handig en vertrouwd met het gebruik van een smartphone.
6. Mensen met een fysieke beperking (bv. slechtzienden) hebben meer moeite om op het kleine scherm van een smartphone alles goed te kunnen lezen.

Voor een deel bevestigt dit onderzoek uit het LISS panel de resultaten uit eerdere onderzoeken, maar er zijn ook andere dingen naar voren gekomen.

• Meer vragen op één scherm (in plaats van één vraag per scherm) zorgt ervoor dat invullen op een smartphone langer duurt.
• Er is een klein verschil in invulduur voor smartphone gebruikers die veel op een smartphone doen en ook eerder vragenlijsten op een smartphone hebben ingevuld als je het vergelijkt met panelleden die de vragenlijst op een computer invullen, maar dat verschil is groter als je het vergelijkt met panelleden die niet zo handig zijn op een smartphone of die voor dit onderzoek een smartphone in bruikleen hadden gekregen. 
• Het doen van andere dingen, tijdens het invullen van de vragenlijst, zorgt ervoor dat de invulduur op een smartphone stijgt, maar omdat iedereen—ook de personen die de vragenlijst op de computer invulden—ernaast wel iets anders deed, is dit verschil eigenlijk niet zo groot als dat werd verwacht: slechts 5% meer panelleden op een smartphone. Daaruit blijkt dat dit niet een belangrijke reden is dat de invulduur op een smartphone hoger is.
• Er is geen bewijs gevonden dat panelleden er langer over deden om de tekst te lezen op het scherm van een smartphone. Eigenlijk juist het tegenovergestelde. De kans is groot dat dat komt door de lettergrootte die in de vragenlijst is gebruikt voor de smartphone versie.
• Er is geen bewijs gevonden dat het gezichtsvermogen of de behendigheid zorgt voor een verschil in invulduur op een computer of op een smartphone. Misschien dat dit komt omdat panelleden van tevoren konden aangeven of ze bereid waren mee te doen aan dit onderzoek. Bovendien hadden ze ook al meegedaan aan eerdere onderzoeken in het LISS panel en hielden fysieke beperkingen ze daarin ook niet tegen. Het kan ook zijn dat de grootte van de tekst en de grootte van de ‘knoppen’ voldoende groot waren voor mensen die wat slecht konden zien of minder behendig waren met een smartphone en daardoor niet voor vertraging zorgden.

Verbeterpunten voor het onderzoek
Dit onderzoek is een eerste stap om te kijken waarom er verschil is in invulduur. Maar er zijn ook wat dingen die beter kunnen. Een aantal zaken wordt door panelleden zelf gemeld (zelfrapportage), en wordt bijvoorbeeld niet gemeten. Objectieve meting zou beter zijn. Zo moesten panelleden zelf aangeven of ze meerdere dingen tegelijkertijd aan het doen waren en ook aan het eind van de vragenlijst waardoor het antwoord misschien al wordt afgezwakt. Verder was het onderzoek gebaseerd op maar een kleine selectie van typen vragen, en was de vragenlijst niet al te lang.

Toch kan een aantal onderzoeksvragen worden beantwoord.

Zal het verschil in invulduur uiteindelijk verdwijnen?
De resultaten wijzen uit dat dit op den duur zo zal zijn als panelleden beter met de smartphone kunnen omgaan, en zeker in onderzoeken waar een panellid kan kiezen op welk apparaat hij/zij de vragenlijst zal invullen.
Hierbij toch twee opmerkingen: het hebben van en het gebruik van smartphones vlakt op dit moment af; verder kiezen panelleden er misschien voor om de smartphone te gebruiken om de vragenlijst in te vullen om redenen die niets te maken hebben met hoe behendig ze met een smartphone zijn, bijvoorbeeld omdat die binnen handbereik is, ze onderweg zijn, of omdat de smartphone het enige apparaat is dat ze hebben. In die gevallen zal het verschil in invulduur tussen de computer en smartphone niet zo snel verdwijnen.

Kan het verschil in invulduur verdwijnen door verbeteringen in ‘mobiele’ vragenlijsten?
Uit de resultaten blijkt dat een recht-toe-recht-aan ontwerp voor de vragen daarbij kan helpen. Dus geen open vragen en geen drop-down menu of schuifregelaar, maar gebruik van meerkeuze vragen en numerieke invoervragen. Ook één vraag per scherm kan mogelijk helpen. Toch zal dit maar een bescheiden effect hebben.

Meer onderzoek nodig
Meer onderzoek is nodig om het ontwerp en het gebruik van smartphones voor online vragenlijsten te verbeteren. Ook moet er worden gekeken wat het effect is op andere typen vragen dan alleen de recht-toe-recht aan vragen, én er moet worden gekeken (zonder dat dat door het panellid zelf wordt gerapporteerd) wat de gevolgen zijn van ook andere dingen doen tijdens het invullen van de vragenlijsten op de invulduur.

Wat er niet kan worden gedaan is gewoon maar accepteren dat het invullen van een vragenlijst op een smartphone nou eenmaal langer duurt en het daarbij laten. Er is namelijk een grotere kans dat panelleden die langere vragenlijsten invullen op een smartphone deze vragenlijst niet zullen afronden. En dat wil je voorkomen.

De onderzoeksresultaten van dit onderzoek dat is uitgevoerd door Christopher Antoun en Alexandru Cernat zijn in 2020 gepubliceerd in Social Science Computer Review, vol. 38(4), pp. 477-489, met als titel “Factors affecting completion times: a comparative analysis of smartphone and PC web surveys”. De tekst (vanaf het kopje "PC en smartphone") hierboven is uit dit artikel gehaald en vrij naar het Nederlands vertaald.