Start med å definere målene for veiledningstilbudet. Tydelige mål gjør det lettere å evaluere effekten av tiltaket. Ved å sammenligne resultatene med de opprinnelige målene, kan dere vurdere om tiltaket har vært vellykket og identifisere områder som krever forbedring. Dere kan dele mål opp i effektmål (hensikt og formål) og resultatmål (konkrete resultater).

Eksempler:  

Effektmål - Hvilke langsiktige og overordnede mål skal veiledningstilbudet (bidra til å) oppnå? Et konkret eksempel kan være “Veiledningstilbudet skal bidra til å redusere digitale skiller og fremme digital inkludering blant alle innbyggere i kommunen” eller “Veiledningstilbudet skal bidra til å øke deltakernes digitale ferdigheter for å forbedre deres jobbmuligheter og økonomiske situasjon.” 

Resultatmål - Hva skal veiledningstilbudet levere? Resultatmål bør være konkrete og etterprøvbare. Et konkret eksempel kan være: “Veiledningstilbudet skal arrangere tolv kurs i løpet av 2024.” eller “Vi skal øke antall deltakere som booker en-til-en veiledning på biblioteket i 2024”. 

Les mer om mål 

Lag en liste over spørsmål som vil hjelpe dere med å vurdere om veiledningstilbudet når sine mål. Dette kan inkludere spørsmål om deltakernes opplevelse, deres ferdighetsutvikling, og hvordan de bruker de nye digitale ferdighetene i hverdagen. 

Det kan være lurt å inkludere både åpne spørsmål som gir deltakerne mulighet til å uttrykke sine egne erfaringer og lukkede spørsmål som tillater kvantitative vurderinger av deltakernes opplevelser og ferdighetsutvikling. 

Eksempel på et åpent spørsmål er “Hvordan har du brukt de digitale ferdighetene du har lært på kurset?”

Eksempel på et lukket spørsmål er " Hvor ofte har du brukt de digitale ferdighetene du har lært på kurset i løpet av den siste måneden? a) Daglig b) Flere ganger i uken c) Et par ganger i måneden d) Sjeldnere enn én gang i måneden"  

Velg en egnet evalueringsmetode basert på målene og spørsmålene dere har identifisert. Egnede evalueringsmetoder kan være spørreskjemaer, fokusgrupper, individuelle intervjuer, observasjon eller til og med testing av ferdigheter før og etter veiledning. Kanskje kan dere også kombinere flere metoder? 

Spørreskjema - Spørreskjemaer er en effektiv metode for å samle kvantitative data. De er lette å dele ut til innbyggerne etter kurs eller individuell veiledning – og de gir mulighet for å sammenligne svarene på standardisert og enkel måte.  

For å gjennomføre en spørreskjemaundersøkelse trenger dere godt utformede spørsmål, tilgang til deltakerne og en måte å samle inn og analysere data på. Skal spørreskjemaet skrives ut og deles ut til deltakere som har deltatt på fysisk kurs eller veiledning? Eller har dere en digital programvare dere kan benytte? 

Fokusgrupper – Fokusgrupper er en egnet metode for å samle kvalitative data og få innsikt i deltakernes meninger om og opplevelser av veiledningstilbudet. I fokusgrupper kan deltakerne også interagere med hverandre, noe som kan gi dypere innsikt. Utfordringen med fokusgrupper kan være at det er tidkrevende å organisere og at det kan være utfordrende å rekruttere deltakere.  

For å gjennomføre fokusgrupper trenger dere en moderator som kan styre diskusjonen og passe på at alle får ordet, et egnet lokale og deltakere som er villig til å delta. Det kan også være lurt å ta lydopptak slik at dere kan transkribere og analysere diskusjonen i ettertid. 

Individuelle intervjuer – Individuelle intervjuer gir mulighet for en dypere utforskning av deltakernes erfaringer og perspektiver. Det er større rom for å tilpasse spørsmålene til hver deltaker og å stille oppfølgningspørsmål. Utfordringen med individuelle intervjuer er at det kan være tidkrevende å organisere og at det kan være utfordrende å rekruttere deltakere. Det kan også være vanskelig å sammenligne data. 

For å gjennomføre individuelle intervjuer trenger dere en intervjuer og en god intervjuguide og et egnet lokale for å gjennomføre intervjuet. Det kan også være lurt å ta lydopptak slik at dere kan transkribere og analysere diskusjonen i ettertid. 

Observasjon – Direkte observasjon av deltakernes atferd og handlinger i veiledningssituasjonen – enten det er kurs eller individuell veiledning – kan gi verdifull innsikt. Utfordringen med observasjon er å være objektiv og ikke påvirke deltakernes atferd. 

For å gjennomføre observasjon trenger dere en eller flere observatører, tilgang til veiledningssesjonene og en metode for å registrere og analysere observasjonsdataene, for eksempel notater eller videoopptak. 

Testing av ferdigheter før og etter veiledning – Testing av ferdigheter før og etter veiledning innebærer å vurdere deltakernes ferdigheter før de begynner på kurs eller veiledningen, og deretter gjenta testen etter at veiledningen er gjennomført for å måle eventuelle forbedringer. Det kan være utfordrende å utforme en test som måler alle relevante digitale ferdigheter på en nøyaktig måte og noen deltakere kan oppleve det som skremmende eller stressende “å bli testet” - noe som igjen kan påvirke resultatene. Det å utvikle en test som er relevant for veiledningstilbudet dere har etablert og de innbyggerne som deltar kan være tidkrevende. En enklere variant kan for eksempel være å la deltakerne gjennomføre en egenvurdering før og etter kurs eller veiledning. Direktoratet for høyere utdanning og kompetanse (HK-dir) har utviklet “Datasjekken” som er en enkel egenevaluering bestående av 35 spørsmål og som gir deltakerne en pekepinn på styrker og forbedringspunkter. 

Ved å vurdere fordeler, ulemper og kravene for gjennomføring av disse metodene, kan dere velge den eller de som passer best for å evaluere veiledningstilbudet i digital kompetanse i deres kommune. 

Les mer om valg av ulike metoder på NDLA 

Husk også å innhente samtykke fra deltakerne. Se forslag til mal for samtykkeskjema

Når dere har definert mål, identifisert spørsmålene dere vil ha svar på og valgt metode er tiden inne for å samle inn data fra deltakerne i veiledningstilbudet. Vær nøye på å sikre deltakernes personvern. Dette inkluderer å informere deltakerne om hvordan deres data vil bli brukt, hvem som vil ha tilgang til den, og hvilke sikkerhetstiltak som er på plass for å beskytte deres personlige opplysninger. 

For å sikre at dataene som samles inn er pålitelige og representative, er det også nyttig å oppmuntre deltakerne til å gi ærlige tilbakemeldinger. Dette kan gjøres ved å forsikre dem om at deres meninger og erfaringer er viktige for å forbedre veiledningstilbudet, og ved å opprette et trygt og støttende miljø der deltakerne føler seg komfortable med å dele sine synspunkter. 

Når dere har samlet inn dataene er neste trinn å gjennomgå og analysere dem for å trekke ut meningsfulle funn. Gjennom analyse kan dere få innsikt i hva som fungerer bra og hva som kan forbedres i veiledningstilbudet. 

Analyseprosessen kan omfatte følgende trinn: 

• Organiser innsamlet data: Begynn med å organisere dataene på en systematisk måte ved å kategorisere og strukturere dem. Dette kan inkludere å transkribere intervjuer, kode svar på spørreskjemaer eller å klassifisere observasjonsdata.
• Utforsk dataene: Når dere utforsker dataene, handler det om å se nøye på informasjonen for å finne mønstre, trender og viktige funn. Dette kan gjøres ved å se på tallene for å finne gjennomsnitt, medianer eller hvor ofte noe forekommer. Det kan også innebære å se nøye på det som er sagt i intervjuer eller fokusgrupper for å finne felles temaer eller viktige poeng som kommer fram.
• Tolk og drøft: Når dere tolker dataene, handler det om å forstå hva de betyr og hva de kan fortelle dere. Deretter kan dere diskutere hva funnene betyr i forhold til målene for veiledningstilbudet. Finn ut hva som fungerer bra og hva som kan bli bedre.
• Rapporter funn: Dokumenter resultatene av analysen i en evalueringsrapport som oppsummerer og drøfter hovedfunnene og trekker konklusjoner basert på dataene. Rapporten bør inneholde tilstrekkelig detaljnivå for å støtte opp om de konklusjonene som er gjort. En slik evalueringsrapport kan være nyttig for å forankre behovet for tilbudet.

Gjennom å evaluere veiledningstilbudet kan dere identifisere hvilke områder som fungerer bra og hvilke som kan forbedres. Dette gjør det mulig å tilpasse veiledningstilbudet til de faktiske behovene til målgruppen(e), slik at det blir mer relevant og nyttig for dem. Justeringene kan for eksempel inkludere endringer i undervisningsmetoder, tilpasse kurs- eller veiledningsinnhold eller å justere tidspunkter for veiledningssesjonene.

Bruk tilbakemeldingene fra innbyggerne og evalueringen aktivt for å forbedre tilbudet. 

Evalueringen bør ikke være en engangsprosess. Planlegg for kontinuerlig evaluering av veiledningstilbudet for å sikre at det fortsetter å møte behovene til målgruppen over tid.

Opprett gjerne et dedikert team bestående av relevante personer som skal være ansvarlige for å evaluere veiledningstilbudet ved jevne mellomrom. Dette teamet kan inkludere representanter fra ledelsen, veiledere og deltakere på veiledningstilbudet.