Bovenstaande tabel is het overzicht met de realisatie van de beleidsdoorlichtingen zoals deze tot en met 2017 door VWS als centraal evaluatieprogramma werd gehanteerd. Vanaf 2018 is deze agenda vervangen door het Meerjarenprogramma van de pilot Lerend evalueren van VWS voor de periode 2018-2022. Het doel van de pilot was om werkende weg het inzicht in de kwaliteit van het beleid te verbeteren. Bij de pilot stond de inhoud centraal en besloeg complexe beleidsvraagstukken op het brede terrein van VWS. Daarom is de nieuwe programmering niet begrensd door de begrotingsindeling van VWS. Anders dan bij de eerdere artikelsgewijze beleidsdoorlichtingen worden naast de betreffende uitgaven op de VWS-begroting ook - waar dat aan de orde is -de betreffende uitgaven die vallen onder het Uitgavenplafond Zorg betrokken in de evaluatieonderzoeken. Deze aanpak heeft een belangrijke impuls gegeven aan de lancering van het instrument Strategische Evaluatieagenda (SEA) en de afspraak dat vanaf begrotingsjaar 2021 elk departement een SEA opneemt in haar begroting waarbij 2021-2023 overgangsjaren zijn.44 

In onderstaande tabel wordt aangegeven welke monitors en evaluatieonderzoeken in de periode 2018 t/m 2022 gedurende de pilot Lerend evalueren zijn gepubliceerd.

Voor het meest recente overzicht van de programmering van periodieke rapportages / beleidsdoorlichtingen, zie het overzicht Ingepland en uitgevoerd onderzoek op rijksfinancien.nl. Voor de realisatie van de in 2022 afgeronde en andere grote (evaluatie)onderzoeken, zie de bijlage "Afgerond evaluatie- en overig onderzoek". Voor doorlopende monitors die overzicht geven over de gezondheidszorg wordt verwezen naar de periodiek aan de Kamer aangeboden VWS monitor.

In het kort worden hieronder de opzet, conclusies en aanbevelingen van de afgeronde synthese onderzoeken die opgenomen zijn in de SEA 2022 vermeld45:

Doorlichting RIVM

In de Regeling Agentschappen (RA) is bepaald dat alle agentschappen tenminste eens per vijf jaar worden doorgelicht. In de periode 2021-2022 is de doorlichting voor het RIVM uitgevoerd. De doelstelling hiervan is het vormen van een oordeel met betrekking tot het functioneren van het agentschap in het licht van de RA op de gebieden van governance, financieel beheer en bekostiging, doelmatigheid en de toekomst van de organisatie. Het rapport analyseert deze onderdelen, vormt conclusies en geeft op onderdelen ook aanbevelingen. De doorlichting concludeert dat de governance en de sturing binnen de driehoek opdrachtgever, opdrachtnemer (RIVM) en eigenaar goed is gedocumenteerd en de hiermee samenhangende rapportage- en afstemmingsmomenten goed zijn ingeregeld. Wel is de afgelopen jaren meer ingezet op de actuele vraagstukken en opdrachten, waardoor bij alle partijen het beeld is dat de kennis voor de lange termijn vraagstukken – in de doorlichting voornamelijk gekoppeld aan de kennisbasis– is achtergebleven.

In het financieel beheer heeft het RIVM de nodige stappen gemaakt door bijvoorbeeld extra personeel en is er een stijgende lijn in de kwaliteit. Wel zijn er enkele knelpunten in de financiering van de opdrachten, met name bij de losse, interdepartementale en meerjarige opdrachten, waarbij de kosten niet altijd volledig gedekt worden. Deze kunnen worden ingedamd door ervoor te zorgen dat de opdrachten volledig bekostigd worden. Het rapport doet daarnaast een voorstel om te onderzoeken of er een meer duurzame oplossing mogelijk is. 

In deze doorlichting zijn ook de knelpunten uit de ‘IBO Agentschappen: Samen werken aan publieke waarde’ meegenomen. Voor agentschappen die voornamelijk kennis gestuurd werken is het bij uitstek belangrijk dat kwaliteit en de publieke waarde die daarmee gegenereerd wordt, nadrukkelijk centraler komt te staan dan de focus op doelmatigheid. Doelmatigheid en de tendens naar meer publieke waarde creatie staat met de huidige Regeling agentschappen op gespannen voet.

Het RIVM vervult een belangrijke rol voor VWS en de samenleving. Het agentschapsmodel functioneert en met enkele veranderingen in de Regeling agentschappen via de verdere uitwerking van het ‘IBO Agentschappen’ zal de meerwaarde en kwaliteit van het RIVM binnen dit model ook op de lange termijn mogelijk moeten zijn.

Evaluatie schema Rijksvaccinatieprogramma

Het Rijksvaccinatieprogramma (RVP) beoogt te beschermen tegen ernstige infectieziekten. Daarbij gaat het om bescherming van individuen in kwetsbare groepen, om groepsbescherming en/of om uitbannen van ernstige infectieziekten. Op verzoek van de staatssecretaris van VWS heeft de Gezondheidsraad het schema van het RVP geëvalueerd. De raad constateert dat alle vaccinaties bijdragen aan de doelen van het programma en adviseert dan ook ze allemaal te behouden. Wel kunnen een aantal vaccinatiemomenten beter verschoven worden. De voorgestelde aanpassingen hebben geen invloed op het totale aantal prikmomenten in het RVP. Met de voorgestelde verschuivingen wordt volgens de raad een optimaal vaccinatieprogramma bereikt. Daarom vindt de raad het niet wenselijk om de mogelijkheid te geven vaccinaties weg te laten uit het RVP of keuzemogelijkheden te bieden voor prikmomenten. Dat kan namelijk leiden tot verminderde bescherming van zowel individuen als groepen en tot meer uitbraken van ziektes waartegen gevaccineerd wordt. Wel adviseert de raad om sommige vaccinaties die niet in het RVP zitten, maar die voor individuen gezondheidswinst kunnen opleveren, beter bekend en toegankelijk te maken. Verder adviseert de raad om het nut te onderzoeken van inhaalvaccinaties voor jongvolwassenen die vaccinaties uit het RVP hebben gemist, zoals nu al met de vaccinatie tegen HPV gebeurt. Centrale registratie (‘wie heeft welk vaccin ontvangen’) is essentieel om inzicht te krijgen en te houden in de opkomst, effectiviteit, impact en veiligheid van de vaccins binnen en buiten het RVP. De maatregelen genomen in het kader van de Algemene verordening gegevensbescherming (AVG) bemoeilijken deze registratie. De commissie onderschrijft de initiatieven die genomen worden om de centrale registratie te optimaliseren.

Nationaal Preventieakkoord46

Het Nationaal Preventieakkoord is in 2018 afgesloten om ervoor te zorgen dat er in 2040 minder mensen roken, overgewicht hebben of te veel alcohol drinken (de ambities). Hiervoor heeft de rijksoverheid met meer dan 70 partijen doelen gesteld en afspraken gemaakt om die doelen te halen. Het RIVM evalueert elk jaar de voortgang van deze afspraken en of de doelen zijn behaald. In 2021 is vooruitgang geboekt, maar nog niet alle doelen zijn behaald. Volgens de partijen was een van de redenen dat, net als in 2020, de corona-epidemie het lastiger maakte om activiteiten voor een gezonde leefstijl uit te voeren. Tegelijkertijd blijft duidelijk dat extra maatregelen nodig zijn om alle ambities in 2040 te kunnen behalen. Tot en met 2021 zijn 41 doelen gesteld. Daarvan zijn er 22 behaald, twee net niet en 13 zijn er niet behaald. Zo zijn alle schoolterreinen en kinderdagopvanglocaties zo goed als rookvrij, maar krijgt minder dan de helft van alle zwangere vrouwen die roken een advies van de verloskundig zorgverlener om te stoppen. Een ander behaald doel is dat meer dan de helft van de gemeenten een gezonde leefstijl bij jongeren stimuleert (JOGG-gemeente). Maar nog minder dan de helft van alle kinderopvanglocaties hebben een medewerker die is getraind op de Gezonde Kinderopvang. Het is nog niet duidelijk of de ambities van het Nationaal Preventieakkoord van 2040 verder in de knel komen doordat sommige doelen in 2021 niet zijn behaald. Dit rekent het RIVM in 2023 door.

Maatschappelijke waarde van de Nederlandse topsport47

Het doel van dit onderzoek is om inzicht te geven in het beeld dat Nederlanders hebben van de maatschappelijke waarde van topsport. Het grootste deel van de Nederlandse bevolking heeft een positieve perceptie ten aanzien van de maatschappelijke waarde van topsport. De sportzomer heeft er voor gezorgd dat men iets positiever is over de maatschappelijke waarde van topsport. Vooral het aandeel Nederlanders dat een negatieve maatschappelijke waarde aan topsport toekent is gedaald. Daarnaast heeft de sportzomer vooral gezorgd voor een opleving in collectieve identiteit & trots. De media spelen een belangrijke rol in het in beeld dat Nederlanders hebben van de maatschappelijke waarde van sport. Nederlanders zijn trots op de prestaties van Nederlandse topsporters. Vooral de prestaties van Nederlandse Olympiërs en Paralympiërs in Tokio zorgen voor nationale trots. De prestaties van vrouwelijke topsporters kunnen daarbij op de meeste trots rekenen. De mate waarin men topsport volgt via de media hangt sterk samen met de perceptie van de maatschappelijk waarde. Een kwart van de Nederlandse bevolking maakt zich zorgen over de duurzaamheid van de topsport. Dit draait niet alleen om ecologische duurzaamheid, maar ook om vraagstukken rondom (langdurige) investeringen en werkgelegenheid in de topsport. Topsport heeft het vermogen om heftige emoties op te roepen in de samenleving. Dit kan positief uitpakken, doordat feelgood-factoren en verbondenheid worden versterkt. Tegelijkertijd kan topsport ook een katalysator zijn voor negatieve maatschappelijke waarden.

Goed bestuur in de zorg48

Eind 2020 zijn drie onderzoeken in het kader van de evaluatie Goed bestuur aan de Kamer aangeboden49. Nadat de drie onderzoeken waren uitgevoerd is een ‘meta-analyse’ over deze drie onderzoeken uitgevoerd. Dat de evaluatie op deze wijze is opgezet past in de lijn van de pilot Lerend evalueren van het ministerie van VWS. Uit de onderzoeken komt het algemene beeld naar voren dat de code en de programma’s de kwaliteit en het verdere professionaliseren van bestuur en toezicht hebben bevorderd. Deze onderwerpen hebben meer bekendheid gekregen en er is een breder draagvlak. Toezichthouders en bestuurders die lid zijn van de BoZ, de NVZD en/of de NVTZ zijn zich meer bewust van hun rol en onderschrijven het belang van evaluatie, reflectie en verdere professionalisering. Door het ministerie van VWS is een klankbordgroep ingesteld met als doel een expert opinion te geven op de rode draden van de onderzoeken en de analyse. De klankbordgroep adviseert het ministerie van VWS om zelfregulering en wetgeving in samenhang te beschouwen, alvorens over te gaan tot het indienen van een voorstel voor nieuwe wet- en regelgeving. De aanbeveling voor de BoZ, de NVZD en de NVTZ is om het bereik verder te brengen, opdat de noodzaak tot aanvullende wet- en regelgeving (in ieder geval voor zorgorganisaties die zich committeren aan zelfregulering) vermindert.

Pilot Lerend evalueren50

Om als overheid effectief te zijn, is inzicht in de kwaliteit van het beleid cruciaal. Dit inzicht wordt verkregen door evaluaties van beleid. In dit kader is het ministerie van VWS in 2018 een pilot gestart met als doel werkende weg het inzicht in de kwaliteit van het beleid en het effect hiervan op de samenleving te verbeteren. Deze ex durante evaluatie is uitgevoerd om te kunnen bepalen of de pilot de gewenste resultaten oplevert en hoe het ministerie van VWS lerend evalueren verder kan versterken in de organisatie. In de evaluatie zijn twee lijnen onderscheiden, namelijk de kwaliteit van de individuele evaluaties en de veranderkundige aspecten van het ministerie van VWS als lerende organisatie.

De onderzoekers zien dat er nog veel winst te behalen is door stappen te zetten om het zicht op doeltreffend en doelmatigheid te versterken, om het op leren gerichte karakter van evaluaties te vergroten en om benutting te versterken. De elf evaluaties geven vaak een kwalitatieve indruk van doeltreffendheid en geven in zeer beperkte mate zicht op doelmatigheid. Doeltreffendheid is meestal onderdeel van de focus van de evaluaties die in het kader van de pilot Lerend evalueren zijn uitgevoerd. Meestal leidt dit een kwalitatieve indruk van beleidseffecten en niet tot het vaststellen van de sterkte van een causale relatie tussen beleidsinzet en beleidsdoelen. Doelmatigheid is bijna nooit onderdeel van de focus van de evaluaties in het kader van de pilot Lerend evalueren. Dat de studies op deze punten geen inzicht geven, kan het meest direct worden verklaard doordat dit niet van tevoren als doel van het onderzoek is gesteld en in de vraagstelling is verwerkt. In meerdere gevallen is dit mede verklaarbaar doordat de door ons bestudeerde onderzoeken deel uitmaakten van een groter geheel, waarbij studies die buiten de pilot werden uitgevoerd, of voor de toekomst werden gepland, wél bedoeld waren om inzicht te geven in doeltreffendheid en/of doelmatigheid. Andere vragen die in de onderzoeken binnen de pilot zijn gesteld, worden over het algemeen goed beantwoord en geven inzicht in bijvoorbeeld hoe verschillende betrokkenen tegen beleid en praktijk aankijken. Deze inzichten vergroten de handelingsopties, vooral van VWS zelf. Dit is ook te zien in het bijsturen door VWS op basis van (tussentijdse) uitkomsten van de onderzoeken.

Uit het actieonderzoek blijkt dat er binnen het ministerie van VWS over het algemeen enthousiasme is over lerend evalueren. Het geeft de mogelijkheid om evaluaties zo vorm te geven dat veldpartijen en de praktijk goed kunnen worden betrokken en dat werkende weg beleid kan worden verbeterd. De focus van lerend evalueren op de maatschappelijke impact helpt ook om de doelstelling van het beleid leidend te laten zijn in een evaluatie. De ondersteuning vanuit de pilot wordt ook als waardevol aangemerkt. Tegelijkertijd kunnen er nog grote stappen gezet worden om zicht op doeltreffend en doelmatigheid te versterken, om het op leren gerichte karakter van evaluaties te vergroten en om leren en benutting te versterken. Belangrijke aanknopingspunten hiervoor zijn het creëren van gedeeld begrip over de rol en het doel van lerend evalueren, het hanteren van een responsief onderzoeksdesign, het geven van een actieve rol aan beleidsbetrokkenen en de evaluator als facilitator van het leerproces.