Deze leeruitkomst leek mij op z'n zachts gezegd: vervelend. Ik ontleed niet per se plezier aan toetsing en toetsbeleid en bovendien ben ik inmiddels heel bewust niet betrokken meer bij het ontwikkelen van het toetsproces in onze nieuwe semesters. We zijn inmiddels van modules naar semesters gegaan, maar ten tijde van de start van deze leeruitkomst, zat ik nog middenin marketing 2. Ook was ik hier betrokken bij het veranderen/doorontwikkelen van de het toetsproces. Daarom gebruik ik Marketing 2 als casus voor deze leeruitkomst. In de nieuwe semesters 'pogen' we programmatisch te toetsen. Dit werkt nog lang niet goed, maar dat is het uitgangspunt. persoonlijk had ik meer met de eerdere module-opzet en de toetsvormen daarbinnen. Het was duidelijk, uitvoerbaar en effectief.
Volgens de zeven stappen van de toetscyclus leg ik uit welke keuzes er zijn gemaakt in het ontwerp van toetsing binnen Marketing 2, waarna ik
mijn aanpassingen
en
doorontwikkelacties
analyseer op basis van kwaliteitscriteria van het toetsproces.
Toen ik binnen de module-coördinatie het stokje overnam van mijn lieftallige collega Hanita (a.k.a. mijn CB-moeder), heb ik wat aanscherpingen aangebracht. Ik draaide marketing 2 soms samen met collega Marieke en soms alleen. We zijn gaan werken met drie opdrachtgevers i.p.v. één bijvoorbeeld.
Dit om de studenten een breder palet van de mediaindustrie te laten verkennen in de ateliers (elke groep had een andere opdrachtgever met dezelfde opdracht). Voor deze externe opdrachtgevers, brengen ze de klantreis (customer journey) van (potentiële & huidige) bezoekers in kaart. De studenten kijken vanuit drie perspectieven: de organisatie (huidige klantreis) en de potentiële doelgroep (hoe gaan zij door de klantreis?). Deze twee klantreizen worden uiteindelijk naast elkaar gelegd. De hiaten (zogeheten gaps) worden opgelost en dit wordt zichtbaar gemaakt in een ideale klantreis, de klantreis 3.0.
Deze drie klantreizen worden alledrie gevisualiseerd en daarnaast werken de studenten aan een Customer Journey-rapportage. De hoogtepunten van de klantreizen + verbeterideeën en het onderzoek (rapportage) worden in week 8 gepresenteerd in een eindpitch. Hierin heb ik de grootste veranderingen aangebracht omdat dit er nog niet lekker in zat (later meer).
Eerdergenoemde opdracht, is een teamopdracht. Daarnaast dienen ze ook nog een individuele opdracht te voltooien. Deze bestaat uit het maken van een sociale media-campagne met visuals die ready to post moeten zijn. Deze campagne moet gelinkt zijn aan uitkomsten van het Customer Journey-onderzoek. Uiteindelijk bleek deze leeruitkomst toch leuker dan ik dacht...
Aan de hand van de CB-leeruitkomsten, de CB-onderwijsvisie en een didactische visie is er voor marketing 2 een toetsplan opgebouwd. Hierbij is bijvoorbeeld het landelijk Opleidingsprofiel (LOP) een belangrijke basis. Daarnaast hebben we leeruitkomsten geformuleerd op verschillende niveau's (A, B & C). Die niveau's worden behaald over de vier jaar durende CB-bachelor. Daarnaast is de opleidingsvisie van de opleiding (altijd in verandering) belangrijk geweest voor het ontwerp van Marketing 2. Belangrijk daarbij te vermelden is, dat sinds september de opleiding weer helemaal op de kop is gegaan, nadat het 'nieuwe' CB (na naamsverandering, voorheen: Media & Entertainment Management) amper een volledige cyclus had doorgemaakt. Persoonlijk vind ik dat wat ergerlijk. Ik weet dat het niet van belang is voor deze leeruitkomst daar veel aandacht aan te besteden, maar ik had het heel erg naar mijn zin in de vorige versie van CB. Het zat gewoon goed in elkaar. Ik ben van mening dat daarbinnen ook van alles ontwikkeld had kunnen worden wat we nu beogen. Het had niet allemaal in één klap de prullenbak in gehoeven mijns inziens. Enfin. Ik zie deze leeruitkomst als een saluut aan het oude cb. Een laatste eer ;-).
Het landelijks opleidingsprofiel (LOP)
In 2017 is de laatste versie van het LOP vastgesteld, wat nu de basis vormt voor het vernieuwde curriculum van de opleiding Creative Business. Momenteel wordt er gewerkt aan een nieuwe versie, maar voor dit portfolio zal die van 2017 gebruikt worden. Marketing 2 diende ook gelinkt te zijn aan deze basis. Het LOP legt de nationale einddoelen vast in de vorm van zes kerntaken. Deze taken zijn essentieel voor het beroep van de Creative Business-professional en bepalen dus welke vaardigheden elke afgestudeerde moet beheersen. Naast deze kerntaken beschrijft het LOP ook de body of knowledge and skills (BoKS) die noodzakelijk zijn voor het uitvoeren van deze taken. Hierbij gaat het om kennis en vaardigheden die als vereisten gelden voor het uitvoeren van de kerntaken. De kerntaken en de BoKS vormen samen het landelijk gevalideerde referentiekader waaraan de verschillende opleidingen Creative Business hun leerresultaten afstemmen (Vereniging Hogescholen, 2017).
Goed is om te weten dat de vorm waarop dit wordt gedaan qua didactiek en werkvormen
wel nog vrijheid bevat in ontwerp: de ene opleiding CB is de andere niet. Dat zie je ook terug aan alle constante doorontwikkeling en verandering bij ons, die niet per se bij alle CB bachelors plaatsvinden. Het profiel van de Creative Business Professional is daarom als volgt geformuleerd:
> Een overzicht van de kerntaken die de beroepsbeoefening van de Creative Business Professional karakteriseren, die in alle beroepsbeoefening aanwezig zijn en die de afgestudeerde Creative Business Professional moet kunnen verrichten.
> De body of knowledge and skills die voorwaardelijk is voor de uitoefening van de kerntaken.
Dit vormt het kader waaraan de landelijke opleidingen Creative Business hun leerresultaten ijken. Op landelijk niveau worden dus geen uitspraken gedaan hoe opleidingen hun leerresultaten formuleren, als competenties, als learning outcomes, als eindtermen
of anderszins (Vereniging Hogescholen, 2017). Elke locatie werkt dus vanuit een eigengemaakte visie op hoe leerresultaten geformuleerd worden, in lijn met wat hierin het hogeschoolbeleid is. Wel belangrijk is de afspraak dat het gehele landelijk profiel (100%) Creative Business leidend is voor de inhoud van ten minste
70% van elk curriculum Creative Business (= 168 EC van de 240 EC van een volledige bachelor-curriculum Creative Business). Binnen de module Marketing 2 kunnen studenten in totaal 12 EC’s halen (later meer).
De leeruitkomsten van Creative Business
Binnen onze NHL Stenden-versie van Creative Business is bovenstaande vertaald naar twaalf leeruitkomsten. Leeruitkomsten beschrijven het eindniveau wat onze studenten moeten kennen of kunnen en worden ondersteund met meer duiding in een ‘RUBRIC’ (later meer). Op deze manier worden competenties meetbaar en verbinden de leeruitkomsten het onderwijs met toetsing en eindkwalificaties. Wat ik in mijn eigen werk ook merk, is dat studenten er heel erg aan vasthouden, in goede zin. Het is een basis -ondanks doorontwikkeling- waarop de student altijd kan terugvallen. Ze geven richting en duiding. Het is daarom ook belangrijk dat ze duidelijk geformuleerd zijn en geen ruimte laten voor dubbele interpretatie. Iets wat niet altijd lukt, kijkend naar de vele vragen die studenten altijd nog hebben omtrent duidelijkheid. Geestig feitje: terwijl ik dit dit te schrijven onder het genot van een bakkie bij Bagels & Beans zitten er twee CB-studenten naast mij die de duidelijkheid van de marketinglijn in CB bespreken. "I
t's so annoying that we constantly wanna do things that we do not have to proof. I don't get why we know so less of Adobe software for example. It's important for my future ambitions in marketing". Het komt vaker voor dat de leeruitkomsten niet altijd raken met wat ze nodig hebben in de industrie. Iets waaraan we momenteel werken binnen een aanscherping van de leeruitkomsten. Aan de andere kant, je kan niet de hele wereld vangen in die leeruitkomsten. Er is ook nog zoiets als autodidactisch onderwijs/leren. Enfin, het geeft ze dus richting binnen waar ze op getoetst worden. Aan de andere kant van de leeruitkomsten, zit de docent. Die kan op deze manier gericht feedback geven en sturing geven zonder al teveel af te wijken van waar het naartoe moet.
Onze Creative Business-versie maakt gebruik van drie trappen in niveau: A (Basis), B (Gevorderd) en C (Bekwaam). Het verschil zit 'm vooral in complexiteit van handelen, situatie en de mate waarin dit zelfstandig uitgevoerd kan worden. Dit start met operationeel in het eerste of beter gezegd: propedeutische jaar, tactisch in het tweede, waarna de student in het derde en vierde jaar strategisch bekwamer is.
Zoals duidelijk gevisualiseerd in de figuur hieronder: basisniveau A (operationeel) is nog onder veel docentsturing. De student is nog verkennend bezig ten opzichte van de leerstof op operationeel niveau. Bij het gevorderde niveau B (tactisch) is er al minder docentsturing en zijn de leeruitkomsten meer tactisch opgezet. Er is meer complexiteit op de assignments en de student draagt meer bij aan de processen. Dit vindt plaats in de hoofdfase in jaar 2 en nog een klein deel in jaar 3. Dit is ook waar Marketing 2 zich bevindt als module. Als de student aankomt in tweede deel van jaar 3, zal het eindniveau aangetoond moeten worden: C bekwaam (strategisch). De student is zelfstandig, denkt, werkt en handelt zelfstandig op specialistisch en strategisch niveau. Er is meer diepgang en de moeilijkheidsgraad is gegroeid. Dit dient bij de afstudeerfase aangetoond te zijn door de studenten, maar er zijn ook mogelijkheden al in jaar 3 delen aan te tonen op niveau C. Dit geldt voor de normale stroming, maar er is nog een Fast Track-stroming waarmee ik vaker te maken heb. Die gaan versneld door de bachelor: in drie jaar. Met dus een andere verdeling van deze niveau's over tijd.
D
e onderwijsvisie & Didactische benadering
Binnen Creative Business ligt de focus momenteel veel op programmatisch toetsen. dit is een holistische benadering waarbij wordt gekeken naar de gehele ontwikkeling van de student.
De leeruitkomsten van de gehele opleiding vormen de ruggengraat waarop beslissingen worden gebaseerd (summatief doel) en de ontwikkeling van de student wordt gevolgd (formatief doel). In tegenstelling tot marketing 2, waar we ook wel een combinatie van summatief en formatief gebruikten, is het veel vrijer met veel minder kennisoverdracht en studenten worden wat meer losgelaten binnen zelfregulerend leren.
"Studeren doe je bij NHL Stenden niet alleen in de schoolbanken. Sterker nog; we stimuleren studenten om te ontdekken wat er in de praktijk gebeurt. Daarom kiezen we voor een uitdagend nieuw onderwijsconcept: Design Based Education (DBE). Studenten gaan in ateliers aan de slag met actuele vraagstukken uit het werkveld. Daarbij werken ze intensief samen met medestudenten én met organisaties en bedrijven. Samen zoeken ze naar vernieuwende oplossingen en ideeën voor vraagstukken uit de praktijk" (NHL Stenden website, 2024).
De opleiding wil bereiken dat leren en reflecteren op ervaringen en ontwikkelingen worden
gestimuleerd bij studenten. Door reflectie kun je verder groeien en leren. Dit wil dus echter niet zeggen
dat er nooit een summatieve toetsing meer plaatsvindt. Creative Business heeft
zichzelf ten doel gesteld het aantal summatieve toetsen te beperken, maar ook
de kwaliteit daarvan te verhogen. Sommige vakken vragen ook nog wel om summatieve vormen, zoals bijvoorbeeld Semiotiek, waarbij het allemaal gaat over het vermogen tot argumentatie van een mening of observatie. Wat ik zo mooi vond aan Marketing 2 is dat we ook die combinatie gebruikten van summatieve en formatieve toetsvormen, maar dat het duidelijker was voor de studenten. Ze kregen heldere kaders, werden minder aan hun lot overgelaten en mijns inziens konden studenten daarbinnen sneller gaan vliegen boven de stof en excelleren door te vertrekken vanaf een hoger niveau. Er was ook een hogere mate van transparantie.
Design Based Education
Dit alles wordt natuurlijk geïntegreerd binnen onze heilige graal: design Based Education (DBE). DBE
is gebaseerd op sociaal-constructivistisch, contextueel, zelfregulerend en samenwerkend leren. Het uitgangspunt is de empathie voor de student, de docent en de omgeving. De actuele (complexe) vraag uit de praktijk en de leervraag van de student zijn het vertrekpunt voor leren en samenwerken. Door intensieve samenwerking tussen student, docent, werkveld, onderzoekers (co-creatie) en een onderzoekende aanpak gebaseerd op Design Thinking, ontstaat een uitdagende leeromgeving waarbinnen rekening gehouden wordt met (inter)nationale ontwikkelingen in het veld (Geitz & Sinia, 2018).
Ik heb met eigen ogen mogen zien de afgelopen drie jaren, dat hoe wij toetsen een grote impact heeft op onze studenten. Zoals ik hierboven eigenlijk al beschrijf. Goede en inhoudelijke feedback binnen de toetsing is cruciaal voor effectieve DBE. De specifieke keuzes die gemaakt zijn binnen Marketing 2, hadden in den beginne als focuspunt:
> Er zijn maximaal twee
summatieve toetsvormen (één teamopdracht & één individuele opdracht), twee formatieve toetsvormen en drie momenten op basis van peer feedback middels prototypepresentaties.
> De mogelijkheid om te experimenteren in een veilige omgeving en leren van ervaringen zonder daarop direct afgerekend te worden, sluiten aan bij het didactische concept (drie prototypepresentaties).
> Er is ingezet op een passende mix van assessment-methoden om de leeruitkomsten te toetsen. Focus ligt hierbij op het toepassen van kennis, op basis van een complex probleem uit de praktijk. De teamopdracht (Customer Journey-rapport) is daarbij de rode draad van de marketing 2-module.
Op basis van de leeruitkomsten is een toetsplan opgesteld. In onderstaande figuur zie je een verdeling van hoe Marketing 2 in het tweede jaar zit, of eigenlijk kan zitten (de volgorde hangt af van of het Nederlandse of Internationale lichting is). Gevolgd door een toetsmatrijs waarin is aangegeven hoe de verschillende onderdelen zijn verdeeld over de leeruitkomsten en er wordt inzichtelijk gemaakt in welke mate en hoe de leeruitkomsten worden getoetst. De toetsmatrijs zorgt voor overeenstemming onder collega’s, omdat bij elke leeruitkomst wordt aangegeven welke cognitieve vaardigheden eraan verbonden zijn. Deze overeenstemming (en ook aanvullende documenten als een RUBRIC) onder docenten kan worden gebruikt om het assessment, de instructie en de essentiële link ertussen te verbeteren (Anderson, 2005).
In onderstaand schema is weergegeven welke leeruitkomsten in Marketing 2 worden afgedekt op basis van de LOP & BOKS.
Uiteindelijk werden de daadwerkelijke CB-leeruitkomsten, waar bovenstaande in is opgenomen en verwerkt gecommuniceerd met de studenten in het moduleboek. Met daarbij ook het aangegeven niveau en het overkoepelende leerdoel: "The student demonstrates that he/she can use relevant research to analyse a(n) (online) customer journey designed for a clearly defined persona in a professional, systematic and visual manner with the ultimate goal of making concrete recommendations to the client on how to optimise their (online) content and media strategy.
"
> Planning and organising (Level B)
> Communication (Level B)
> Research (Level B)
> Media Marketing (Level B)
In het moduleboek voor Marketing 2 konden studenten lezen hoe de opdrachten werden beoordeeld en daarnaast ook zien wat de weging & normering van de toetsonderdelen waren.
Voor een gevarieërde aanpak in toetsing binnen Marketing 2 is er aandacht voor verschillende niveau's. Hiermee doel ik niet op de niveau's die ik eerder benoemd heb (hierboven), maar niveaus van kennisvergaring. Binnen de BDB heb ik kennis gemaakt met de taxonomie van Bloom uit 1972 (toen was ik nog verdoemd tot stofdeeltje). Deze wordt ondanks de vele jaren die voorbij streken, nog vaak gehanteerd.
Hij verdeelt doelstellingen in drie (hoofd)categorieën:
1. Cognitieve doelstellingen: alles wat te maken heeft met verstandelijk functioneren.
2. Affectieve doelstellingen: doelen die te maken hebben met het ontvangen en reageren op signalen.
3. Psychomotorische doelstellingen: doelen gericht op perceptie en het handelen.
Iedere categorie is vervolgens verder onderverdeeld, dat is dus de taxonomie. Voor cognitieve doelstellingen hanteert Bloom
de volgende classificatie: kennis onthouden, begrijpen, toepassen, analyseren, evalueren en creëren (ze staan in diverse boeken steeds wel anders beschreven, maar ik heb deze benadering gekozen. Komt allemaal wel op hetzelfde neer (Van Berkel, Bax & Joosten-ten Brinke, 2017). Andere veelgebruikte taxonomieën zijn die van Anderson et al. (2001) dit is een herziening van eerdergenoemde.
De rangordening is niet willekeurig.
Zoals aangegeven kon er binnen deze module 12 EC worden behaald. Dit was ook nodig voor succesvolle afronding. 9 EC voor de groepsopdracht (Customer Journey-rapport & eindpresentatie) en daarnaast de 3 EC voor de individuele opdracht. Daarnaast gelden het projectplan en de kennistoets als précondities. Dit laatste heb ik aangepast bij de laatste keren Marketing 2. Ik zal later toelichten waarom. We zijn begonnen met een structuur waarin de studenten prototype-presentaties moesten doen in week 2, 4 & 7. Deze waren gelinkt aan de drie eerdergenoemde versies van de customer journey-visualisaties en bijbehorend onderzoek. Ook hierin ben ik later gaan schuiven i.v.m. vernieuwde structuuropzet Marketing 2. Tijdens deze presentaties kregen de studenten feedback, zo konden ze in verschillende stappen bouwen en ook diverse iteraties ondergaan met de visualisaties en hun onderzoek. Dit leidde vaak tot erg goede eindresultaten. Indrukwekkend soms. Hieronder zie je een overzicht zoals die was toen ik het stokje overnam (i.s.m. collega Marieke)
We hebben meermaals de weging veranderd en met diverse RUBRICS gewerkt. Dit is een globaal overzicht, de studenten krijgen een iets andere versie waarin het soort toets niet wordt genoemd. Dat is meer voor ons intern. Daarnaast is de groepsopdracht en individuele opdracht dus weer opgebroken in verschillende elementen met eigen wegingen in het totaalcijfer (summatief). Het was soms veel gedoe dit allemaal duidelijk te maken in de RUBRICS voor alle collega's, maar meestal was het zo dat we drie beoordelingsniveau's hadden (excellent, voldoende & onvoldoende), wat dan uiteindelijk wel weer omgezet werd in een cijfer.
Het projectplan werd begin week twee gedeeld met de coach in Teams.
Die checkt of het plan logisch en haalbaar is, of er nagedacht is over planning, etc. ik heb dit in de doorontwikkeling nog wat aangescherpt: samenwerkingsafspraken. Niet alleen wat vage afspraken, maar ook een consequentie-aanpak en een risico-analyse. Dit had een heel positief effect. Afspraken niet nakomen had nu ook een gevolg en groepen konden daardoor beter functioneren, maar wel binnen eigen controle en verantwoordelijkheid. Studenten konden eerder niet echt terugvallen op dit document, na de aanpassing wel. De coach kan hierin feedback geven, op maat begeleiden en instappen waar nodig.
De kennistoets was altijd vanaf week drie openbaar voor de studenten op Blackboard en
kan door de student op eigen tempo en in eigen tijd gemaakt worden. De toets
kan ook vaker gemaakt worden. Zo lag er geen druk op, maar konden ze de tijd nemen de stof op te nemen. Soms lukte het niet meteen aan het begin en gaf waar het mis ging ook een mooie graadmeter waar de student staat in kennis. Elke week kwam daar weer een laagje bij en werd de kans dus ook steeds groter om deze toets te halen.
De eindpitches zijn in week zeven. De coach zorgt zelf voor een overzicht en volgorde voor de groepen. Het is een groepsaangelegenheid (subgroepen) waarbij ook ieder teamlid een rol/aandeel moet hebben. De coach leidt de studenten toe naar dit moment: wat wordt er verwacht? Wat dienen ze te belichten. Dit is over de linie van Marketing 2-modules nog wel eens veranderd en aangepast, gezien de hoeveelheid die niet in een korte pitch allemaal te vangen is. Het gaat dus om key moments. In atelier kan een pitch geoefend worden, maar ze krijgen ook presentatietraining. De presentaties worden gefilmd en er is een 'jury' bestaande uit minimaal twee coaches i.v.m. het vier ogen-principe. Daarbij is er een beoordelingsformulier dat ingevuld wordt door de coaches. Daarna wordt afgestemd en consensus gevonden in eindbeoordeling.
In het eerdergenoemde moduleboek staat alle informatie voor de studenten omtrent de informatie, verwachtingen en de deadlines van de opdrachten voor de module. De rapportages (individuele opdracht & teamopdracht) worden ingeleverd op Blackboard in de course. Daaraan hangen diverse precondities die eveneeens in het moduleboek te vinden zijn (voorblad met juiste gegevens als namen, studentnummer en coach, etc.)
Als de opdrachten zijn ingeleverd is er principe een tijdsframe van vijftien werkdagen om na te kijken. Het is heel veel, maar er zijn dan geen lessen meer dus je kan jezelf er dan aardig toe zetten. Zelf vond ik nakijken in Marketing 2 echt heel fijn en ik deed het meestal in een ruk over twee a drie aaneengesloten werkdagen doorpakken. Groepsopdrachten en individuele opdrachten. Het is de taak van de coach zelf om te controleren of de opdrachten op tijd zijn ingeleverd. We kijken na met beoordelingsformulieren. We planden voor we starten een kalibratiesessie in. Hierbij was het de bedoeling dat we allemaal eenzelfde assignment hadden gelezen en beoordeeld. Deze beoordelingen legden we naast elkaar en bespraken we. Eerder deden we het steekproefsgewijs, maar toen ik het overnam heb ik het veranderd naar één en dezelfde opdracht. Anders kan je niet goed de verschillen in nakijken duiden. Uiteindelijk moeten we daarin cohesie en consensus vinden.
Uitgangspunt waren de beoordelingsformulieren, de leeruitkomsten en de RUBRICS. Zodra de opdrachten allemaal zijn nagekeken voor de intern afgesproken deadline was het mijn taak als coördinator om de cijfers in te voeren in Progress. De coaches zelf voerden de cijfers in op Blackboard die ik als coördinator met een druk op de knop kon publiceren. De feedback blijft digitaal beschikbaar voor de studenten, gedurende de gehele opleiding. Dit werd ook wel hun 'first attempt' genoemd. Als het een resit bleek, zou je dus gaan voor een second attempt. Die resits konden officieel pas weer ingeleverd worden in week 8 van een volgende module. Het onderdeel onderzoek werd eerst nagekeken door onderzoeksdocenten, die ook feedback geven via Blackboard. Dit bleek al snel niet meer haalbaar i.v.m. beschikbare onderzoeksdocenten. Toen ik coördinator werd heb ik dit veranderd om deze reden. We dienden dit dus zelf/samen op te vangen door ook een onderzoeksdocent bij de kalibratie uit te nodigen voor de handvatten en verder zelf dat deel ook na te kijken en te beoordelen.
Wat ik lastig vind aan het geven van de feedback binnen het nakijken, is het verschil in expertise. Ik heb soms een Marketing 2-module gedraaid met merendeel coaches die onervaren waren in Marketing. Die kijken toch anders na. Het was soms best een uitdaging dit bij elkaar te krijgen en een gelijke behandeling te krijgen voor de studenten. Dit was ook terug te lezen in de evaluatie-enqueteresultaten van Marketing 2. Verder scoort Marketing 2 vrij goed.
"Betere communicatie tussen ateliercoaches. Sommige coaches wisten weinig over de inhoud van marketing 2."
"De informatie uit de colleges halen en een docent puur als ondersteuning hebben klinkt logisch, maar dat is toch minder waar. Onze
docent was super aardig en ik kon heel goed met hem, maar vergeleken met een echte marketingdocent was t minder fijn."
Ik struggle hier nog steeds mee. Er wordt de hele tijd gezegd dat de visie is om meer generalistische coaches ook in te zetten, maar we zien ook nu weer in de nieuwe semesters: het werkt niet. Ik heb mij daar in Marketing 2 al heel erg voor ingezet en elke week extra kennisclips opgenomen om de coaches te instrueren. Dit kostte veel werk en ook zeker om deze coaches mee te krijgen binnen de beoordeling en analyse. Uiteindelijk heeft mij dat toen echt wel heel veel tijd en energie kost, teveel. Terwijl het ook eigenlijk niet mijn verantwoordelijkheid zou moeten zijn, maar ja: ik en dat loslaten en de studenten maar aan hun lot over laten, is niet wie ik ben. Meer dan eens las ik beoordelingen terug die ik ook niet conform de kalibratie vond, of dat er gewoon te oppervlakkige feedback is gegeven waar een student niet mee uit de voeten kon, bijvoorbeeld bij een resit. Dit gebeurt ook in de nieuwe semesters nog steeds. Tel daarbij op een onduidelijk proces voor herkansing die ter plekke bedacht moest worden en je hebt chaos. Marketing 2 was in ieder geval duidelijk. De studenten wisten wat ze te wachten stond en op welke onderdelen ze evt. moesten herkansen. Alleen dan is inhoudelijke feedback wel belangrijk. Dit heb ik vaak moeten opvangen en daar heb ik geen uren voor. Toen niet, en nu niet.
"Ik heb een hoog cijfer bij coach gegeven, omdat dit Kevin Brouwer was. Ik weet van veel andere studenten, met een andere coach.
Dat de begeleiding echt verschrikkelijk was. Je cijfer was dus deels gebaseerd op je coach = onacceptabel. "
Ik vind dit natuurlijk fijn om te lezen aangaande mijn coach-schap, maar het betreurt me eveneens dat dit niet de standaard is. Zoals je wel terug hebt kunnen zien in de feedback binnen Bewust Docentschap: dat irriteert mij mateloos. Ik heb echt heel veel gedaan dit te veranderen, mensen mee te krijgen in een betere kwaliteit, maar dat bleek een strijd die niet te winnen is. Het leven is niet perfect en er mogen fouten worden gemaakt, maar het is zo zonde als dat niet zou hoeven. Dit was dus in het toetsproces ondanks de kalibraties die echt wel wat hielpen, ook terug te zien.
Zoals gezegd, na vijftien werkdagen werden de cijfers gepubliceerd op Blackboard en Progress door mij (en Marieke als ik 'Moco' was met haar). We verzamelden de cijfers in een groot Excel-bestand. Dat was altijd wel een hele operatie dit allemaal klaar te zetten met duidelijke kaders voor de coaches, maar wel handig omdat het veel werk scheelt als alles op één plek staat. Als coördinatoren gingen we altijd net even wat langer door voor vakantie en dan is het heel prettig als het geen monsterklus meer is. door Progress en Blackboard tegelijk te publiceren, konden de studenten zowel de feedback als het eindcijfer zien. Via Blackboard werd een melding gedaan dat de cijfers bekend zijn, van dit bericht krijgen alle studenten ook een mail. Studenten hebben vanaf dan de mogelijkheid om een afspraak te maken met hun coach voor een feedbacksessie indien dit nodig was (resits, of verduidelijking).
Ondanks dat ik sinds Marketing 2 mij niet meer heel erg bezighoud met toetsontwikkeling, snap ik wel het belang hiervan. Als een toets niet valide, betrouwbaar en inzichtelijk is voor studenten, kan een opleiding natuurlijk ook niet geloofwaardig zijn. Sterker nog, je kan je accreditatie verliezen. Ook al kunnen er dan nog positieve elementen zijn over andere aspecten, toetsing moet gelijkwaardig en reproduceerdbaar zijn. Het toetsingsysteem moet dus op orde zijn.
Validiteit
De validiteit van een toets heeft volgens Van Berkel, Bax & Joosten-ten Brinke (2017) te maken met de betekenis, de bruikbaarheid en de juistheid van de conclusies die uit de toets-scores worden getrokken. In hoeverre meet
de toets wat bedoeld is te meten? Al naargelang de aard van de conclusies kunnen drie
typen validiteit worden onderscheiden: inhouds-, begrips- en criteriumvaliditeit
. Een hulpmiddel om ervoor te zorgen dat de toets inhouds- en begripsvalide is, is
de specificatietabel a.k.a. de ‘toetsmatrijs’. Hierin staan de
belangrijkste onderwerpen die uit de doelen zijn af te leiden en wordt het beheersingsniveau waarop de onderwerpen moeten worden getoetst vastgesteld.
Betrouwbaarheid
De betrouwbaarheid van een toets geeft aan in hoeverre er vertrouwen in de toetsuitslag (of score) kan zijn als meting, ongeacht de inhoud van de toets. Meet de toets echt iets of kan
er net zo goed worden gedobbeld om uitspraken te doen over de studenten? (Van Berkel, Bax & Joosten-ten Brinke, 2017). Je kan dit goed naast het voorbeeld van een weegschaal houden: is de weegschaal als instrument betrouwbaar als deze niet steeds hetzelfde gewicht geeft zonder verandering van omstandigheden? Ik vind dit weleens twijfelachtig binnen onze manier van toetsen: het is mensenwerk. Zoals hierboven al aangegeven, per coach kan perceptie verschillen. Dus het instrument wordt in dit geval 'bestuurd' door een mens in deze vorm van beoordelen. Een mens is nooit identiek hetzelfde. Toch geloof ik er wel in met of zonder inhoudelijke feedback in beoordeling dat de rubrics die bepalend zijn voor het cijfer, op grote lijnen wel betrouwbaar zijn. Mits ook goed gekalibreerd. Anders gezegd: denk ik dat het eerder genoemde probleem niet per se in grote score-verschillen zal resulteren. Dit wordt ook wel objectiviteit genoemd: de toetsuitkomst moet onafhankelijk zijn van storende invloeden van
beoordelaars. Het mag er bijvoorbeeld niet toe doen welke inhoudsdeskundige de
toets nakijkt. Echter, vind ik de mate en de kwaliteit van feedback daar wel weer onderhevig aan.
Transparantie
Naast bovenstaande elementen dient een toetsproces transparant te zijn voor alle partijen. vooral dus ook voor de studenten. Daar is sprake wanneer er duidelijkheid is over de onderwerpen waarop de nadruk ligt in de toets. In het geval van Marketing 2 gaat dit over: zijn alle onderdelen even belangrijk? Wegen ze hetzelfde? Op welk niveau moet dit worden aangetoond? Wat zijn de consequenties van een onvoldoende? Hoeveel tijd is beschikbaar voor welk onderdeel? Hoe is de normering? etc. Binnen marketing 2 wordt dit allemaal duidelijk gecommuniceerd zoals eerder hier al aangegeven. Via het moduleboek en ook eventuele vragen kunnen worden beantwoord in ateliersessies. Daarnaast zijn er Q&A's en besteden we er aandacht aan in de college's. Al vanaf het introductiecollege.
Representatief
De toetsing binnen Marketing 2 is gelinkt aan onderwerpen die in de college’s & ateliers zijn behandeld, op de manier waarop studenten aan de opdrachten gewerkt hebben. De toetsing is representatief voor de inhoud van het aangeboden onderwijs en de leeruitkomsten (inhoudsvaliditeit). Ook is de toetsvorm afgeleid van en samenhangend met de leeruitkomsten (vormvaliditeit).
Reflectie en doorontwikkeling
Zoals gezegd is de marketing 2-module verleden tijd, maar ik denk dat we in de toekomst terug zullen gaan naar vormen die daar weer meer op lijken. Ik heb de afgelopen twee jaar (t/m juni 2023) met heel erg veel plezier deze module mogen coördineren. Een functie die mij zo goed lag en waarin ik zoveel plezier had. Ik vond de verantwoordelijkheid fijn, ook al was het soms echt pittig in situaties als eerder beschreven met coaches zonder marketingervaring. Wat ik daarnaast prettig vond is dat ik vaak in samenwerking met collega Marieke de Back, Marketing 2 heb mogen doorontwikkelen en verbeteren. Daarin had ik ook te maken met toetsing. Soms was dit moeilijk: ik werd al meteen modulecoördinator na mijn eerste module lesgeven binnen CB. Dat betekent dat ik het allemaal heb moeten uitpluizen op eigen kracht en met hulp van mijn voorganger(s) hier en daar. Tijd voor bijscholing was er niet, dus het was echt mouwen opstropen en zo goed mogelijk uitzoeken of het klopt wat we deden. Binnen Marketing 2 heb ik een aantal dingen veranderd:
> Individuele opdracht
De student had de keuze uit drie: SEO-proof landingspagina in WordPress, Guerrilla-marketingcampagne of een Sociale media-campagne. Echter, door een tekort aan coaches/docenten met de juist expertise en tijd, hebben we dit beperkt tot enkel de laatste optie. Daarnaast vonden we ook dat het niet klopt dat de student geen gelijke leerkansen heeft. Als je er één kiest, mis je de kennis van de andere opdrachten (er werden colleges op aangeboden) die wel relevant is ook voor je eindopdracht. Dat is niet valide (met een sociale media-opdracht meet je geen SEO-kennis bijvoorbeeld) en ook niet representatief,
de toetsing is niet gelinkt aan de onderwerpen op gelijkwaardig niveau. We hebben daarom deze kennis en de colleges hieromtrend geïntegreerd in het reguliere programma van Marketing 2 voor alle studenten in de module (daarom ook de workshop SEO & Creatief schrijven waarover je kan lezen in de leeruitkomst Uitvoeren).
> Toetsproces en vorm eindpepresentaties
De eindpresentatie weegt 10% mee in het eindcijfer van de groepsopdracht. Binnen het cijfer voor deze presentatie ging 60%
over inhoud en 40%
over
presentatievaardigheden. Echter, wat die inhoud van de presentatie moest zijn was niet helder voor de studenten en ook niet gecommuniceerd. Het enige onderwerp dat werd genoemd was "Presenteer de belangrijkste resultaten uit de teamrapportage. Presenteer als Customer Journey expert je advies aan de opdrachtgever." Dit bleek voor de studenten te onduidelijk. Eerder in deze leeruitkomst heb je kunnen zien hoe omvangrijk het rapport dient te zijn qua onderdelen. Het is lastig voor de student te ontrafelen wat precies verwacht wordt van de inhoud en dit leverde elke keer extra werk op om dit anderzins duidelijk te maken. Er gingen ook verschillende verhalen per coach, waardoor de student geen eerlijke en gelijke kans had de eindpresentatie goed te doen. Daarom heb ik besloten dit toetsproces aan te pakken en te verduidelijken. Daarnaast heb ik gekozen voor het werken met drie opdrachtgevers: op deze manier konden nu alle teams presenteren voor de klant en kon dit tegelijkertijd de officiële eindpresentatie zijn en hoefde de klantpresentatie niet alleen meer iets te zijn voor de 'beste' drie en was het tevens geen te vrijblijvende extracurriculaire activiteit meer. Zo betrokken we nu de klant bij de eindbeoordeling. Daarnaast werd het onderzoeksdeel van het teamrapport nagekeken door een onderzoeksdocent, maar bij de presentatie was er geen onderzoeksdocent aanwezig om mee te beoordelen. Dit heb ik ook veranderd. De extra coach die er in het originele plan al bij was, schoof ook nog steeds aan. Zo ontstond er dus een gevarieërde 'jury' die een volledigere eindbeoordeling opleverde voor de studenten. Daarnaast heb ik ook het competitieve element eruit gehaald. Voorheen kreeg het 'beste' team (door klant gekozen) tickets of anderzijds een beloning, maar dat hele idee van 'de beste' zorgde altijd voor teleurstelling bij veel studenten en vraagtekens werden gezet bij waarop dat gebaseerd werd? Want ook dat was niet transparant voor de studenten. Daarnaast beoordelen we op elementen, die de klant toen nog niet kende en dan scoorden ze dus voor ons hoog, maar bij de klant niet of anders. Dan kan het leuk en onschuldig lijken zo'n wedstrijd, maar een totaal tegenovergesteld effect hebben. De transparantie van deze 'toets' was dus niet in check. Daarom heb ik een verduidelijking toegevoegd. Hieronder een afbeelding van hoe het was en van mijn aanpassing:
Om ook aan de betrouwbaarheid te werken van deze toetsing, is er door mij een beoordelingsformulier gemaakt die gedurende en/of na elke presentatie werd ingevuld door zowel de opdrachtgever, de twee coaches als de onderzoeksdocent. Deze werden verzameld in een envelope met de groepsnaam erop. Na alle presentaties (gezien tijdsdruk van het presentatieschema) werden alle groepen op basis van die formulieren ter plekke besproken en werd er consensus gevonden. Er werd door de betreffende coach één formulier ingevuld met consensus en een eindcijfer. Deze werd met de studenten gedeeld voor volledige openheid en transparantie. Hieronder een foto van de presentaties en de mogelijkheid het formulier te bekijken:
> Veranderende onderzoeksopzet
Mijn collega Anke Vellenga vroeg mij vorige studiejaar om een experiment uit te voeren binnen Marketing 2 met de nieuwe opzet van onderzoek voor de nieuwe semesters. Hierbij zouden we meer gaan werken met Design based research. I.p.v. de verschillende Customer Journey's (1.0, 2.0 & 3.0) zouden we nu gewoon met één enkele gaan werken en die door verschillende iteraties te laten gaan in de module om uiteindelijk bij die ideale klantreis uit te komen. Leek mij wel wat en bovendien kon ik dit dan gebruiken voor deze leeruitkomst en er zo meer over leren. Little did I know. Anke raakte overwerkt en viel onverwacht uit. N
og voor we klaar waren met het afronden van het plan. Ondertussen begon de module bijna en kon ik niet zoveel kanten meer op. Deze verandering in de onderzoeksopzet zou gevolgen hebben voor de RUBRIKS en toetsproces. De studenten zouden in deze aanpak een
procesbeschrijving doen van alle iteraties
tussen CJMap 0-meting en de ideale CJMap, met reflecties op groepsproces. Ik heb dit alleen proberen af te ronden, maar het ontbrak mij aan tijd en kennis op dat moment om dit zo snel nog te kunnen doen voor de start. Helaas heb ik toen grotendeels alles moeten terugdraaien, maar heb ik de insteek van de iteraties geprobeerd uit te voeren. Dit bleek gaandeweg niet goed te rijmen met de toetsing die al stond voor Marketing 2. Dit plan bleek te ambitieus. You live and you learn. Hieronder kan je een opzet zien van onze aanpak die ik toen heb gemaakt na aanleiding van de creatie-sessies samen met collega Anke Vellenga.
Verder heb ik gewerkt aan onderstaande veranderingen binnen Marketing 2, maar voor nu niet relevant om dit ook nog te analyseren en op te reflecteren.
> Individuele toets niet meer verplichten
> Pitchworkshop (als aanvulling i.v.m. toetsing van 40% op presentatievaardigheden)
> Eye-tracking websiteanalyse
> Aanscherpen RUBRICS
> Projectplan
beoordelingsformulier
nieuwe onderzoeksopzet
Eerlijk gezegd heb ik er vrij weinig met het ontwikkelen van toetsing binnen het nieuwe CB. Ik word er niet blij van, ik vind het ingewikkeld met allerlei regels en randvoorwaarden die in eerste instantie niet per se lijken te draaien om het belang van de student en hun leerontwikkeling/leerkansen, maar om bureaucratie en eindeloos lange bijeenkomsten met mensen die allemaal een ander idee hebben over programmatisch toetsen. Er wordt teveel in de semesters gestopt, de verdeling zorgt ervoor dat er alleen nog aan de oppervlakte kennis wordt genomen van verschillende expertises/leeruitkomsten. Alle energie gaat naar watertrappelend boven blijven met een groot vraagteken boven hun hoofd, waardoor diepergaande kennis nauwelijks tot geen plaats meer heeft in deze opzet en dat allemaal in een hang naar constante vernieuwing, maar ten koste van wat?
Dat betreur ik ten zeerste en is ook wel een reden dat ik minder plezier ontleed aan mijn werk dan ik vorige jaren deed. Eerlijk is eerlijk. Ik zie ook een heel ander niveau studenten die we afleveren aan het einde van een semester. Gehaast. Oppervlakkige kennis. Weinig verdieping en kans tot het ontwikkelen van meerdere perspectieven in de materie. Iets waar voor mij onderwijs juist zo om draait. Ik wil ook nooit meer onderdeel zijn van ontwikkelteams of anderzins op die manier bepalende functies in een semester. Die tijd besteed ik liever aan werken in het vak als freelancer. Ik werk mede daarom nu ook een dag minder (drie dagen) zodat ik mij vooral bezig kan houden met wat mij gelukkig maakt: coachen en werken met studenten. Daarnaast hier en daar een college geven. Verder vind ik het goed zo. Wie weet wat de toekomst brengt, maar binnen deze opzet en keuzes wil ik gewoon niet in deze organisatie zitten met meer uren dan dit.
> Hoe ziet een toetsproces eruit?
Wat ik fijn vind aan deze leeruitkomst, is dat het mij tijdens de BDB meer geleerd heeft over toetsing. Ik werd zoals je in al mijn leeruitkomsten terug kan lezen, overal maar ingegooid. Bewust onbekwaam voor de 'diepere' onderdelen zoals toetsen. Dat maakte voor mij toen het werk best wel eng en stressvol. Ik luister dan naar mijn gevoel en maak keuzes die logisch voelen. Daarna liet ik deze natuurlijk wel checken voor feedback, maar er was niet echt veel tijd voor verdieping in wat ik nou eigenlijk aan het doen was op een theoretisch niveau. Dat is dit portfolio natuulijk wel veel meer: hoe werkt het nou echt? Wat heb je nodig? Wat zegt de theorie? Hoe rijmtt wat ik doe in praktijk met wat we zeggen op papier in talloze documentaties, maar vooral ook: wat beloven wij onze studenten? In dat opzicht heb ik veel geleerd over hoe een toetsproces er uit ziet. Vanuit die blik kijken naar wat ik heb gedaan en dan ineens veel kwartjes die vallen. Dat is wel heel leuk. Ik vind dat ik best trots mag zijn. Als ik nu mijn handelen van toen analyseer met de kennis van nu: heb ik het best goed gedaan met de omstandigheden, tijd en middelen die er toen waren. Dat geeft mij een gevoel van trots.
> Hoe kan ik een toets op kwaliteitscriteria beoordelen?
Deze vraag is eigenlijk beantwoord door het te doen hierboven. Ik ben ook destijd vooral bezig geweest met "practice what you preach". Zoals ik bij de vorige leervraagbeantwoording al zei: nu terugreflecterend zie ik dat ik best veel aangeraakt heb van wat de theorie zegt over kwaliteitscriteria en controle. Voor mij was de betrouwbaarheid en transparantie naar met name de studenten toen een belangrijk punt. Nu pas zie ik ook echt waarom dat belangrijk is. Ik denk dat niets perfect was, maar ik ben wel heel trots op dat ik Marketing 2 zo heb mogen doorontwikkelen. Ik dacht dat veel van die zaken niet zo aan toetsing raakten, maar niets bleek minder waar. Eigenlijk had elke verandering groot of klein op een manier invloed op de kwaliteitscriteria. Als een radartje in het geheel. Het werkt allemaal op elkaar door.
> Hoe zorg ik voor meer transparantie en betrouwbaarheid binnen toetsing binnen Marketing 2
Ik vind het leuk om te zien dat dit mijn leervraag was die ik toen al op papier zette, tijdens de BDB. Nog wat minder op de hoogte van wat er verwacht zou worden. Deze vraag bleek uiteindelijk de kern van alle aanpassingen te zijn die ik deed in Marketing 2. Vanuit het oogpunt: de nadruk moet meer en bewuster op de student en de toetsing moet zich vouwen om de grootst mogelijke potentie voor hen om te leren. Ik ben blij dat ik daar een aandeel in heb mogen hebben.
Berkel, H. J. M. van, Bax, A. E., & Joosten-ten Brinke, D. (2017). Toetsen in het hoger onderwijs (Vierde, herziene druk). Bohn Stafleu van Loghum.
Geitz, G. & Sinia, C. (2018). Hoe NHL en Stenden hun onderwijsconcepten fuseren: Fusie van hogescholen leidt tot nieuw onderwijsconcept. In Science Guide. Geraadpleegd op 25 april 2024, via: https://www.scienceguide.nl/2018/01/hoe-nhl-en-stenden-ook-onderwijsconcepten-fuseren/
Garrison, D. R., Anderson, T., & Archer, W. (2001). Critical thinking, cognitive presence, and computer conferencing in distance education. American Journal of Distance Education, 15(1), 7-23
Landelijke Projectgroep Creative Business opleidingen. (2017). Landelijk opleidingsprofiel HBO-bacheloropleiding: Creative Business (versie 1.1). Vereniging Hogescholen. Geraadpleegd op 25 april 2024, via: https://www.vereniginghogescholen.nl/system/profiles/documents/000/000/218/original/creative_business.lop.2017.pdf?1513867951
Postema, J. (2019). Studenten inspireren? Gebruik Design Based Education! In HBO-Engineering, Maak het engineering onderwijs van morgen. NHL Stenden. Geraadpleegd op 2 mei 2024, via: https://www.hbo-engineering.nl/_asset/_public/Johan-Postema.pdf
This site was created with the Nicepage