DiCE: Digitale cursusevaluaties

De kwaliteit van het hoger onderwijs staat sterk in de belangstelling en er is grote behoefte aan valide informatie over de onderwijskwaliteit. DiCE (digitale cursus evaluatie) biedt onderwijsinstellingen de tooling om proces, organisatie en resultaat in lijn te brengen en te sturen naar een hogere kwaliteit van het onderwijs.

Belangrijk voor goed curriculum management is de terugkoppeling van studenten. Onderwijsevaluaties worden niet gestructureerd en voornamelijk per faculteit met pen en papier afgenomen. Incidenteel wordt er iets met de feedback gedaan. Met DiCE ondersteunen we het onderwijsevaluatieproces van begin tot eind en worden docenten en studenten actief betrokken inclusief een feedback-loop hoe resultaten worden meegenomen. Een slimme organisatietool die kwaliteit van onderwijs meet.

De student krijgt feedback en voelt zich betrokken. De docent kan aan de slag om zijn of haar onderwijs verder te verbeteren. Opleidings- en examencommissies ontvangen heldere geautomatiseerde rapportages voor de interne kwaliteitszorg en het onderwijsmanagement kan sturen op onderwijskwaliteit en de informatie benutten voor personeelsbeleid). DiCE biedt onder meer:

  • Standaard vragenlijst, maar toch maximale flexibiliteit per docent
  • Workflow die elke stakeholder in het evaluatieproces op het juiste moment de juiste actie aanbiedt
  • Helder overzicht van voortgang en respons op de evaluaties
  • Stimuleert betrokkenheid door vakcoördinator feedback aan studenten en onderwijsmanagement te laten schrijven
  • Rapportages zijn direct beschikbaar en te configureren per rol
  • Helder en flexibel notificatiesysteem dat gebruikers informeert

DiCE maakt hierbij gebruik van de mogelijkheden die digitaal evalueren biedt. DiCE biedt een toegespitste ondersteuning aan alle betrokkenen in het evaluatieproces, waardoor een gestroomlijnde oplossing ontstaat die het proces maximaal ondersteunt.

De nadruk ligt op het verbeteren van de efficiency en effectiviteit waarmee snelheid en toegevoegde waarde van de evaluaties wordt verhoogd en het verwerken van resultaten en daarmee het sturen van de kwaliteit van het onderwijs geoptimaliseerd wordt.

DiCE – digitale cursus evaluaties
We bieden procesondersteuning op de vier processtappen die in het proces digitaal evalueren spelen:

  • Vergaren informatie
  • Uitzetten en afnemen evaluatie
  • Verzamelen en verrijken resultaten
  • Rapporteren en analyse

Vergaren informatie
Het evaluatieproces begint met het administreren en vanuit de administratie (SIS, studenten informatie systeem) leveren van de vakinformatie aan DiCE. De coördinator coördineert op basis van de ontvangen gegevens het proces en zorgt samen met de docenten voor de selectie van de juiste vraagblokken en eventueel aanvullen van de evaluaties met extra, vakspecifieke vragen.

Uitzetten en afnemen evaluatie
De voorbereidingen worden gecontroleerd, vrijgegeven en automatisch gepubliceerd naar Qualtrics. De evaluatie wordt op basis van de vanuit het SIS of door de coördinator in DiCE ingegeven informatie automatisch opengesteld en gestopt. De studenten kunnen op verschillende manieren geïnformeerd worden dat een evaluatie klaar staat, zoals een DiCE Widget, een mailbericht, een link geplaatst in de DLO of verstrekt door de docent, enzovoorts. Deze communicatie middelen zijn erop gericht om de response te maximaliseren. Wellicht overbodig om te zeggen, maar de evaluatie is op elk moment (7×24), op elke lokatie en op elk (mobiel) apparaat beschikbaar.

Verzamelen en verrijken resultaten
Zodra de evaluatie wordt afgesloten (gestopt in Qualtrics), dan worden de resultaten verzameld en kunnen deze direct op basis van rapportage modellen beschikbaar gesteld worden aan de diverse betrokkenen: de docent, de coördinator en de student. De docent krijgt de mogelijkheid commentaar (feedback) te geven op de resultaten en kan aangeven hoe de door studenten gegeven antwoorden benut zullen worden. Het direct beschikbaar stellen van het rapport aan de studenten, eventueel aangevuld met commentaar van de docent is een extra communicatiemiddel, waarmee de respons verhoogd wordt.

Instellingsbrede rapportage en analyse
De door DiCE geboden rapportage richt zich primair op de individuele resultaten van een afgenomen cursusevaluatie. Verwerking van historische resultaten en bepaling van een standaarddeviatie zijn onderdeel van de rapportages. De rapportages kunnen per doelgroep door de DiCE beheerder aangepast worden. De resultaten (inclusief feedback van de docent) kunnen worden doorgegeven aan een Data WareHouse (DWH). Het DWH biedt de voorzieningen voor een uitgebreide analyse van gegroepeerde resultaten, zoals per faculteit, opleiding of voor de instelling. De basis om een instellingsbrede kwaliteitszorg voor het onderwijs in te richten wordt door DiCE geleverd.

Rollen en rechten
De processtappen kennen verschillende verantwoordelijken en betrokkenen. Deze zijn binnen DiCE gevangen in een viertal rollen, de coördinator, de docent, de student en de (functioneel) beheerder.

Gebruik het menu om meer te leren over de specifieke ondersteuning die DiCE biedt voor elk van de rollen.

DiCE – digitale cursus evaluaties
De coördinator is verantwoordelijk voor het evaluatieproces voor de gehele of een onderdeel van de instelling. De coördinator wordt door DiCE optimaal ondersteunt in het zo effectief en efficiënt mogelijk uitvoeren van het evaluatieproces. De elementaire vakinformatie, inclusief docenten en inschrijvingen wordt automatisch aangeleverd vanuit het administratieve onderwijssysteem en vormt voor DiCE het startpunt voor het proces.

Het coördinatieproces
De processtappen die een evaluatie binnen het zichtveld van de coördinator doorloopt zijn afhankelijk van de werkwijze van de instelling. Het proces in DiCE is configureerbaar, waarbij de volgende basisstappen in het coördinatordomein onderkend worden:

  • Afwijkende wijze van evaluatie aangeven
  • Doorzetten evaluatie naar docent
  • Configureren evaluatie
  • Validatie evaluatie configuratie
  • Publiceren evaluatie
  • Overzicht evaluatie configuratie proces
  • Activeren/informeren docent
  • Rapportage evaluatie resultaten
  • Overzicht proces terugkoppeling evaluatie resultaten

Sturen van het evaluatieproces
Het proces begint met het een overzicht voor de coördinator van de lijst met de zogenaamde voor te bereiden evaluaties binnen het segment waar de coördinator verantwoordelijk voor is, bijvoorbeeld een faculteit. In dit overzicht staan alle evaluaties die vanuit het onderwijssysteem zijn aangeleverd. De automatische verwerking van deze gegevens voorziet, mits aangeleverd, in het filteren van die vakken die als ‘evaluatie-plichtig’ zijn gekenmerkt.

De coördinator kan direct vanuit deze lijst aangeven of een evaluatie niet afgenomen hoeft te worden, of dat een specifieke evaluatie niet digitaal, maar op papier wordt afgenomen en een alternatief publicatieproces moet aflopen.

Doorzetten evaluatie naar docent
Afhankelijk van de werkwijze kan de coördinator een evaluatie vrijgeven voor de docent (die de evaluatie kan configureren), of is een evaluatie direct beschikbaar als te configureren evaluatie voor de docent die het vak geeft.

Configureren evaluatie
De coördinator kan een evaluatie configureren. Configureren betekent dat op basis van de standaard template waarop de evaluatie is gebaseerd extra te evalueren vraagblokken worden geselecteerd, of extra vragen aan de evaluatie worden toegevoegd.

Validatie evaluatie configuratie
Het evaluatieoverzicht geeft een indicatie of een evaluatie de initiële status heeft, ofwel 100% gebaseerd is op de standaardinstelling van de template, of dat een evaluatie afwijkend is van de standaardinstelling. Er zijn extra vragen toegevoegd en/of extra vraagblokken geselecteerd. Vanuit het overzicht kan via een preview van de evaluatie visueel de aanpassing gecontroleerd worden. Afhankelijk van de werkwijze wordt in geval van een negatieve controle de evaluatie teruggezet naar de docent, of gecorrigeerd door de coördinator.

Publiceren evaluatie (manueel en automatisch)
De coördinator kan besluiten om evaluaties die ‘goed’ zijn te publiceren naar Qualtrics. Publiceren betekent dat de vragenlijst wordt aangemaakt en dat het juiste activerings- en beëindigingstijdstip wordt vastgelegd. De vragenlijst zal automatisch starten respectievelijk eindigen op de opgegeven tijdstippen. Evaluaties die op het geconfigureerde aantal dagen voor de activeringsdatum niet zijn gepubliceerd worden automatisch gepubliceerd op basis van de standaard template regels.

Bijvoorbeeld de standaard template voor de faculteit, selectie van de standaard vraagblokken, aangevuld met een automatische selectie van de blokken voor hoor- en werkcolleges mits hiervoor docenten zijn vastgelegd.

Overzicht evaluatie resultaten
Zodra een digitale evaluatie is afgerond (de beëindigingsdatum is verlopen), dan worden direct de rapportages voor de verschillende doelgroepen gemaakt. De coördinator heeft een eigen specifieke rapportage en heeft overzicht over en direct toegang tot de rapportages via het overzicht evaluatie resultaten.

Overzicht evaluatieproces
De coördinator heeft continue inzicht in het verloop van het proces. Enerzijds via het overzicht met ‘voor te bereiden evaluaties’, anderzijds via het dashboard. Het dashboard toont in een oogopslag het aantal evaluaties dat al is gepubliceerd, dat niet digitaal wordt afgenomen en wat nog niet gepubliceerd is en dus aandacht vereist. In het proces na afname biedt het dashboard inzicht in de door docenten geleverde terugkoppeling op de evaluatieresultaten.

Activeren/informeren docent
Inzicht in het proces vraagt ook om ondersteuning in het sturen van de betrokkenen. Vanuit het overzicht kan direct een automatisch bericht verzonden worden naar de verantwoordelijke docent voor vakken waarvan de evaluatie nog ‘open’ staat.

DiCE – digitale cursus evaluaties
De docent is verantwoordelijk voor de configuratie van de evaluaties van de eigen vakken. De docent wordt door DiCE optimaal ondersteunt in het zo effectief en efficiënt mogelijk configureren van de evaluatie. Gebruiksgemak en eenvoud zijn leidende waarden in de docentondersteuning, zodat deze zich optimaal kan richten op de primaire taken.
Het proces
De processtappen die een evaluatie binnen het zichtveld van de docent doorloopt zijn afhankelijk van de werkwijze van de instelling. In extremis is het mogelijk dat de rol ‘Docent’ geen rol speelt in het evaluatieproces. Het proces is DiCE in configureerbaar, waarbij de volgende basisstappen in het docentdomein onderkend kunnen worden:

  • Beheren en configureren van evaluaties voor de de eigen vakken
  • Controleren van de evaluatie (preview)
  • Publiceren evaluatie (manueel)
  • Rapportage evaluatie resultaten
  • Terugkoppeling op evaluatie resultaten

Beheren en configureren evaluaties
Het primaire overzicht voor de docent bevat de lijst met de voor te bereiden evaluaties voor de eigen vakken van de docent. In dit overzicht staan alle evaluaties die vanuit het onderwijssysteem zijn aangeleverd en door de coördinator als ‘evaluatieplichtig’ zijn gekenmerkt. De docent kan direct vanuit deze lijst aangeven dat een evaluatie akkoord is, ofwel dat de evaluatie afgenomen kan worden op basis van de standaard instelling. De evaluatie wordt hiermee ter publicatie teruggezonden naar de coördinator.
Configuratie evaluatie
De docent kan een evaluatie configureren. Configureren betekent dat op basis van de standaard template waarop de evaluatie is gebaseerd extra te evalueren vraagblokken worden geselecteerd, of extra vragen aan de evaluatie worden toegevoegd.


Controleren van de evaluatie (preview)
Vanuit het overzicht kan via een preview de evaluatie visueel gecontroleerd worden, alvorens deze wordt teruggezet naar de coördinator of wordt gepubliceerd.

Publiceren evaluatie (manueel)
Afhankelijk van de rechten kan de docent evaluaties publiceren naar Qualtrics. Publiceren betekent dat de vragenlijst wordt aangemaakt en dat het juiste activerings- en beëindigingstijdstip wordt vastgelegd. De vragenlijst zal automatisch starten respectievelijk eindigen op de opgegeven tijdstippen.

Rapportage evaluatie resultaten
Zodra een digitale evaluatie is afgerond (de beëindigingsdatum is verlopen), dan worden direct de rapportages voor de verschillende doelgroepen gemaakt. De docent heeft een eigen specifieke rapportage en heeft overzicht over en direct toegang tot de rapportages via het overzicht evaluatie resultaten.

Terugkoppeling op evaluatie resultaten
De docent kan terugkoppeling geven op de evaluatieresultaten. Vanuit het overzicht evaluatie resultaten heeft de docent toegang tot de functionaliteit om de terugkoppeling te geven. Deze terugkoppeling kan bijvoorbeeld gebruikt worden in de rapportage naar de student, of in de historische rapportages aan aankomende studenten.

Studenten betrekken en motiveren

De rol van de student in het evaluatieproces verschilt sterk van de overige rollen. Waar in de overige rollen de nadruk ligt op (proces)ondersteuning, gebruiksgemak en eenvoud is voor de rol student de focus op optimaliseren van de betrokkenheid. Een digitaal proces kent als uitdaging de respons zo hoog mogelijk te krijgen. DiCE biedt tal van ondersteuningsvormen om de student te stimuleren evaluaties in te vullen.

Optimalisatie respons
De essentie in de optimalisatie van de respons is het vinden van de gulden middenweg tussen ‘informeren en uitnodigen’ en ‘lastig vallen’. Hoe deze ingevuld kan worden is in elke situatie verschillend. DiCE biedt een breed scala aan mogelijkheden om invulling te geven aan de optimalisatie en de gulden middenweg te bewandelen. Een greep uit de mogelijkheden is:

  • Terugkoppeling van evaluatie resultaten
  • Verrijkte evaluatieresultaten met docentterugkoppeling
  • Uitnodigen per mail
  • Herinnering per mail
  • Integratie met portaal
  • Altijd en overal toegang tot de evaluatie

Terugkoppeling van evaluatie resultaten
Volgens het principe ‘voor wat, hoort wat’ wordt de student beloond voor het invullen van de evaluatie met een terugkoppeling van de resultaten. Een specifieke rapportage voor de student wordt geboden door DiCE.

Verrijkte evaluatieresultaten met docentterugkoppeling
De beloning in de vorm van de rapportage kan verhoogd worden indien de studenten inzicht gegeven wordt in wat er met de resultaten gedaan wordt. Het beschikbaar stellen van de door de docent gegeven terugkoppeling als extra of als uitbreiding op de rapportage wordt standaard geboden.

Uitnodigen per mail
Studenten kunnen actief via een persoonlijke email geïnformeerd worden dat een evaluatie gereed staat om afgenomen te worden .

Herinnering per mail
>Naast de actieve informatie via mail dat een evaluatie klaar staat voor de student, is het ook mogelijk het verzenden van herinneringsberichten via email te configureren.

Integratie met portaal
Naast de meer actieve (of wellicht door de student als agressieve beschouwde) benadering via email worden tal van integratiemogelijkheden met het portaal van de instelling geboden. Zo worden o.a. overzichten van ‘openstaande’ evaluaties en rapportages geboden voorzien van DiCE vormgeving of zich aanpassend aan de opmaak van het portaal.

Altijd en overal toegang tot de evaluatie
De evaluaties worden digitaal aangeboden in de Qualtrics omgeving, die 7*24 beschikbaar is en tevens een goede ondersteuning biedt voor zowel PC’s als mobiele apparaten.

DiCE – digitale cursus evaluaties
De functioneel beheerder is verantwoordelijk voor het configureren van DiCE. De instellingskenmerken, waaronder het vastleggen van de rollen en daarbij toegelaten functies in het proces, rapportage en evaluatie templates en het algemene gedrag van DiCE.

Activiteiten en ondersteuning
De ondersteuning die de beheerder geboden wordt in de configuratie van DiCE bestaat zowel uit standaard functies, als ook specifieke ondersteuning bij het inrichten van het product. De ondersteuning bestaat uit:

  • Beheren evaluatie templates
  • Beheren gebruikers
  • Beheren notificaties
  • Beheren rapportage templates
  • Integratie met het bronsysteem (student informatie systeem)
  • Integratie met afnemend systeem (datawarehouse)
  • Instellen DiCE gedrag

Beheren evaluatie templates
De DiCE beheerder kan via deze functie de evaluatie templates beheren. Een evaluatietemplate beschrijft de standaard structuur van een template, inclusief kenmerken als verplichte vraagblokken, indicatoren of het optionele blokken voor werkgroepen en hoorcolleges zijn en de feitelijke vragen en het bijbehorende vraagtype. De template structuur is duidelijk beschreven en de beheerder kan eenvoudig bestaande templates wijzigen en nieuwe toevoegen.

Beheren gebruikers
DiCE kan aansluiten op een beschikbaar gebruikerssysteem, maar kan ook volledig autonoom met een eigen gebruikerssysteem en bijbehorend beheer functioneren.

Beheren rapportage templates
De DiCE beheerder kan via deze functie de rapportage templates beheren. Een rapportagetemplate definieert een rapportage voor een specifieke doelgroep. De rapportages maken gebruik van standaard XML en stylesheets. De beheerder kan bestaande rapportagetemplates wijzigen en nieuwe toevoegen.

Integratie met het bronsysteem
De integratie met het administratieve studentensysteem, van waaruit de te evalueren vakken, inclusief docenten en studenten wordt geleverd is gebaseerd op een standaard XML interface. De koppeling kan volledig automatisch verlopen, waarbij DiCE op regelmatige basis de gegevens opvraagt bij het bronsysteem, of waarbij het bronsysteem via standaard web services de informatie bij DiCE aflevert. Een manuele koppeling wordt ondersteund, waarbij de beheerder een importbestand kan selecteren en importeren. Deze laatste optie is primair bedoeld voor een testsituatie. Het inrichten van de automatische integratie, waarbij ook de mogelijkheid bestaat de bestaande koppelmogelijkheid uit te breiden of aan te passen op het leverende systeem wordt ondersteund.

Integratie met afnemend systeem (datawarehouse)
De integratie vanuit DiCE voor het uitwisselen van de evaluatieresultaten met een afnemend systeem (DWH) wordt op verschillende mogelijkheden ondersteund.
De koppeling kan volledig automatisch verlopen, waarbij DiCE op regelmatige basis de gegevens aflevert in een bestand, of waarbij DiCE via standaard web services de informatie bij het afnemende systeem aflevert. Een manuele koppeling wordt ondersteund, waarbij de beheerder evaluaties kan selecteren en op basis daarvan het exportbestand kan exporteren. Deze laatste optie is primair bedoeld voor een testsituatie.
Het inrichten van de automatische integratie, waarbij ook de mogelijkheid bestaat de bestaande koppelmogelijkheid uit te breiden of aan te passen op het afnemende systeem wordt ondersteund.

Instellen DiCE gedrag
De beheerder kan het gedrag van DiCE centraal configureren. Aspecten zijn onder andere het vastleggen van de standaard instelling van startdatum en looptijd van evaluaties, en het al dan niet toestaan om deze standaardwaarden wijzigbaar te maken door docenten en/of coördinatoren.

De standaard te gebruiken rapportagetemplates voor docenten en studenten kunnen door de beheerder ingesteld worden, als ook de tijden waarop eventuele dagelijkse uitwisseling van gegevens met bron-, evaluatie- (Qualtrics) en afnemende systemen plaats moet vinden.

DiCE
Facsheet (zie website: https://www.vorsen.nl/dice/factsheet/)

Eric Meijer

Marcel Noordzij

Steven Losekoot

Jeroen van Schagen