3. INSTRUMENTEN VOOR BELEIDSEVALUATIE

Beleidsevaluatie vormt een cruciaal onderdeel van de gemeentelijke beleidsvoering. Het gemeentebestuur heeft een omvangrijk scala van instrumenten tot haar beschikking om te evalueren. In dit hoofdstuk worden een aantal van deze instrumenten toegelicht.

Een universeel evaluatie-instrument is niet beschikbaar; elk instrument kent zijn specifieke sterke en zwakke kanten. Het gaat erom bij het evaluatievraagstuk het meest geschikte instrument te kiezen. Dat instrument moet zo nauw mogelijk aansluiten bij de vraagstelling van de beleidsvoerders. Op de keuze van een evaluatie-instrument zijn factoren van invloed, zoals het doel van de evaluatie, de aard van het beleidsprobleem, de aard en de kwaliteit van de beschikbare informatie, de beschikbare tijd, de gewenste diepgang, de ervaring die met de diverse instrumenten is opgedaan en de kenmerkende eigenschappen van de verschillende instrumenten. De verschillende evaluatie-instrumenten sluiten elkaar niet zozeer uit, maar liggen veeleer in mekaars verlengde.

Om inzicht te verschaffen in de evaluatie-instrumenten biedt de veel gehanteerde tweedeling in ex ante en ex post evaluatie een goede kapstok (figuur 3.1).

Figuur 3.1 Ex ante en ex post beleidsevaluatie

Ex ante evaluatie is een reflectie over de impact van beleidsdaden, vooraleer tot daadwerkelijke beleidsactie wordt overgegaan. Het vormt dan ook veelal een onderdeel van de beleidsvoorbereiding. Complementair hieraan kan het beleid ook worden beoordeeld wanneer het al in werking is of is geweest. Dan spreekt men over ex post evaluatie van het beleid. Ex post evaluaties vinden plaats tijdens of na de uitvoering van het beleid.

Deze tweedeling is een analytisch hulpmiddel, aangezien in werkelijkheid de meeste instrumenten zowel voor ex ante als voor ex post evaluatie kunnen worden ingezet. Instrumenten worden ook vaak gelijktijdig toegepast. Een evaluatie-instrument kan bovendien informatie verschaffen, die als basis dient voor de evaluatie aan de hand van een ander instrument.

Gezien de veelheid aan instrumenten voor beleidsevaluatie, kunnen deze binnen het opzet van deze eindverhandeling niet allemaal worden besproken. Daarom zal slechts een steekproef van instrumenten voor beleidsevaluatie worden behandeld. In de eerste paragraaf worden een aantal voorbeelden van instrumenten voor ex ante evaluatie toegelicht, in de tweede paragraaf voor ex post evaluatie.

3.1. INSTRUMENTEN VOOR EX ANTE EVALUATIE

De toepassing van ex ante evaluatie-instrumenten kan een wezenlijke bijdrage leveren aan het verhelderen van een beleidskeuze: alternatieve beleidsopties kunnen worden beoordeeld en gerangschikt en de beleidsvormers kunnen op een systematische en transparante wijze keuzes maken tussen de beleidsalternatieven. (Bouckaert, Auwers, 1999: 162-164; Brans, Craeghs, 2000: 68-69) Deze evaluatie-instrumenten maken het immers mogelijk om gefundeerde uitspraken te doen over de effecten, de rentabiliteit of de rangorde van alternatieven.

De vele bestaande ex ante evaluatie-instrumenten verschillen vooral naar het aantal en de aard van de beoordelingscriteria. (Jansen-Schoonhoven, Vos, 1992: 14-15) De ex ante evaluatie-instrumenten hebben allemaal als startpunt het zogenaamde effectenoverzicht, waarin voor de verschillende alternatieven, per beoordelingscriterium, de effecten en neveneffecten zijn weergegeven. Op basis van dit effectenoverzicht kunnen de alternatieven worden gerangschikt met behulp van een evaluatie-instrument. Hierbij is een monetaire en een niet-monetaire invalshoek mogelijk (figuur 3.2).

Figuur 3.2 Voorbeelden van ex ante evaluatie-instrumenten

Vanuit het monetaire standpunt worden de beoogde effecten gerelateerd aan inspanningen en resultaten in kosten. De baten en kosten worden afgewogen. Er wordt overwegend gewerkt met slechts één beoordelingscriterium, namelijk geld. Twee voorbeelden van monetaire evaluatie-instrumenten, die hierna zullen worden besproken, zijn de kosten-batenanalyse en de kosten-effectiviteitsanalyse. Omdat echter niet alle beleidsvraagstukken in geldelijke termen kunnen worden gekwantificeerd, zijn er ook niet-monetaire evaluatie-instrumenten ontwikkeld, die meer dan één beoordelingscriterium gebruiken. Twee voorbeelden van niet-monetaire instrumenten, die zullen worden behandeld, zijn de overzichtstabelanalyse en de multicriteria-analyse. (Begeer, 1996: 150-165; Klaassen, Sorber, 1987: 3-20)

3.1.1. Monetaire evaluatie-instrumenten

Monetaire evaluatie-instrumenten kunnen worden toegepast, indien de door de beleidsalternatieven teweeggebrachte effecten in overwegende mate in geld kunnen worden uitgedrukt.

A. Kosten-batenanalyse

Dit instrument is inzetbaar als efficiëntie de enige waarde is. Het is een systematische weergave van in geldelijke termen uitgedrukte effecten (baten) en kosten van beleidsalternatieven. Het is een breed gebruikt instrument waarachter een eenvoudig idee schuilgaat: de voor- en nadelen van beleid op een geldnoemer samenbrengen en tegen elkaar afwegen.

Binnen de kosten-batenanalyse kunnen twee varianten worden onderscheiden. Bij de maatschappelijke variant wordt getracht alle effecten, zowel voor de investeerder als voor derden, in kaart te brengen, in geld uit te drukken en tegen elkaar af te wegen. De bedrijfseconomische kosten-batenanalyse is daarentegen vooral van belang indien de beleidsvoerders inzicht wensen in het bedrijfseconomische rendement van beleidsalternatieven.

Het doel van kosten-batenanalyse is dat beleidsalternatief te kiezen dat met de minste kosten het grootste (maatschappelijke of bedrijfseconomische) rendement oplevert. Kosten-batenanalyse is echter ook een fel omstreden methode omdat niet alle effecten van beleid zich laten vertalen in geld (de zogenaamde imponderabilia).

B. Kosten-effectiviteitsanalyse

Kosten-effectiviteitsanalyse is nauw verwant met de kosten-batenanalyse. De kosten ter realisatie van het beleidsvoornemen worden onder een geldelijke noemer gebracht. De baten moeten niet strikt in monetaire termen worden uitgedrukt. Dat gebeurt in de voor die baten karakteristieke eenheden (bijvoorbeeld het aantal decibel bij geluidshinder). Ook ten aanzien van de kosten-effectiviteitsanalyse kan een onderscheid worden gemaakt tussen een maatschappelijke en een bedrijfseconomische analyse.

Dit evaluatie-instrument is gemakkelijker en minder ambitieus dan kosten-batenanalyse. Het leidt niet tot uitspraken over het rendement van een alternatief, maar slechts tot een rangorde. Er wordt niet geprobeerd om alle effecten in geld om te zetten. Er spelen daarentegen wel twee criteria: kosten en effectiviteit. De analyse is erop gericht het meest effectieve van even kostbare alternatieven te kiezen (effectmaximalisatie), of het meest goedkope van even effectieve alternatieven (kostenminimalisatie).

3.1.2. Niet-monetaire evaluatie-instrumenten

Niet-monetaire instrumenten worden toegepast in situaties waarin het merendeel van de effecten van de beleidsalternatieven niet op bevredigende wijze in geld kan worden gewaardeerd.

A. Overzichtstabelanalyse

De toepassing van overzichtstabelanalyse is relatief eenvoudig; de bewerking van het effectenoverzicht is zeer beperkt. Dit instrument heeft een louter beschrijvend karakter. Er wordt gestreefd naar een structurering van de over de alternatieven vergaarde informatie door een nadere ordening. De informatie wordt dus meer toegankelijk gemaakt voor de beleidsvormers, die een keuze moeten maken uit de beleidsalternatieven.

Het voordeel van dit instrument is dat alle voor de beleidsvormers relevante aspecten tegelijkertijd kunnen worden opgenomen en zowel kwalitatieve als kwantitatieve data kunnen worden gepresenteerd. Het biedt dus een unieke mogelijkheid om op een toegankelijke wijze een totaalindruk te verkrijgen van de sterke en zwakke kanten van de alternatieven. De belangrijkste beperking ligt in het feit dat er geen aandacht wordt besteed aan het relatieve gewicht van de beoordelingscriteria die meespelen.

Tot deze categorie behoren verscheidene evaluatie-instrumenten, zoals bijvoorbeeld de planning balance sheet methode en de scorecard methode. Bij de planning balance sheet methode worden de voor- en nadelen van de alternatieven voor de bij de evaluatie onderscheiden maatschappelijke groeperingen afzonderlijk weergegeven. Deze voor- en nadelen hebben zowel betrekking op de doelstellingen die de verschillende groeperingen nastreven, als op de te maken kosten. Zij worden uitgedrukt in geld en wanneer dat niet mogelijk is in andere geëigende eenheden of op kwalitatieve wijze. Dit instrument situeert zich dan ook in het grensgebied tussen monetaire en multicriteria-analyse, maar valt vanwege het beschrijvende karakter onder de overzichtstabelanalyse. Bij de scorecard methode worden de alternatieven voor elk criterium afzonderlijk gerangschikt naar de volgorde van het nut voor de beleidsvormer. Dit gebeurt door per alternatief de criteriumscores op te nemen en door middel van grafische accentuering van deze scores de rangorde van de alternatieven per criterium aan te geven.

B. Multicriteria-analyse

Multicriteria-analyse plaatst op systematische wijze een aantal verwachte effecten van een reeks beleidsalternatieven op een rij. Multicriteria-analyse wordt gebruikt omdat het vaak onmogelijk is louter op basis van kosten uit meerdere beleidsalternatieven te kiezen (zoals bij monetaire instrumenten). Het is typisch voor dit instrument dat de effecten worden uitgedrukt in eenheden die eigen zijn aan die effecten (zoals milieueffecten in termen van het aantal aangetaste hectares natuur of gelijkheid in termen van minder of meer kansen voor burgers).

Multicriteria-analyse wordt gebruikt om tot een volledige of partiële rangorde van alternatieven te komen door toetsing aan alle relevant geachte criteria en rekening houdend met het feit dat het belang van de gehanteerde criteria uiteen kan lopen. Omdat een bepaald effect van een alternatief zwaarder kan meetellen dan een ander effect, wordt bij multicriteria-analyse gebruik gemaakt van wegingsfactoren (in tegenstelling tot de overzichtstabelanalyse). Met die weging kunnen dan prioriteiten worden toegekend aan bepaalde effecten (criteria) en onderbouwde keuzen worden voorgesteld. De gewichten die aan de verschillende effecten worden toegekend, moeten de preferenties weerspiegelen van de beleidsvoerders die bij de uiteindelijke keuze zijn betrokken. Multicriteria-analyse is om die reden uitermate geschikt om de consequenties van verschillende beleidsvisies na te gaan. Een belangrijk knelpunt voor de toepassing van dit instrument is echter de terughoudendheid van de beleidsvormers ten aanzien van de verstrekking van informatie over de relatieve betekenis van de diverse criteria.

De effecten en gewichten kunnen behalve kwantitatief ook kwalitatief van aard zijn. Dit kan leiden tot twee extreme situaties en een tussensituatie. Voor elk van deze situaties zal een ander multicriteria-instrument moeten worden ingezet, dat de informatie over de effecten en gewichten kan verwerken.

1. Enkel kwantitatieve informatie over de effecten en de gewichten: voorbeelden van multicriteria-instrumenten zijn de gewogen sommering en de concordantie-analyse.

2. Enkel kwalitatieve informatie over de effecten en de gewichten: voorbeelden van multicriteria-instrumenten zijn de permutatiemethode en de regimemethode.

3. Tussengebied met zowel kwalitatieve als kwantitatieve informatie over de effecten en de gewichten: voorbeeld van een multicriteria-instrument is de Evamix-benadering.

Uit bovenstaande beschouwing van enkele ex ante evaluatie-instrumenten kan worden geconcludeerd dat, afhankelijk van het karakter van de toegepaste benadering, de volgende resultaten kunnen worden verkregen:

1. het structureren van informatie over de alternatieven;

2. het reduceren van het aantal alternatieven dat de beleidsbepalers nader moeten afwegen;

3. het (partieel of volledig) rangschikken van de alternatieven;

4. het aangeven van de (maatschappelijke of bedrijfseconomische) rentabiliteit van de alternatieven.

De eerste twee functies kunnen in principe door alle besproken instrumenten worden vervuld. Het partieel of volledig rangschikken is te bereiken via de monetaire analyse en de multicriteria-analyse. De laatste functie is slechts voorbehouden aan de kosten-batenanalyse.

3.2. INSTRUMENTEN VOOR EX POST EVALUATIE

Bij ex post evaluatie wordt een beleid beoordeeld dat al in werking is of is geweest met behulp van criteria. De kwaliteit van het gemeentebeleid wordt vaak beoordeeld aan de hand van criteria als doelmatigheid, doeltreffendheid, legitimiteit, zuinigheid, klantgerichtheid, rechtszekerheid en rechtsgelijkheid. (Herweijer, Sas, 1989: 8; Jansen-Schoonhoven, Vos, 1992: 13-14)

Zoals voor ex ante evaluatie bestaat ook voor ex post evaluatie een uitgebreid scala van instrumenten. Ook hier zullen slechts enkele voorbeelden van ex post evaluatie-instrumenten worden behandeld (figuur 3.3).

Figuur 3.3 Voorbeelden van ex post evaluatie-instrumenten

Twee types van ex post evaluatie-instrumenten zullen nader worden toegelicht: ex post evaluatieonderzoek en prestatiemeetsystemen. Ex post evaluatie moet worden onderscheiden van ex post evaluatieonderzoek. Evaluatieonderzoek is slechts één van de vele manieren om aan evaluatie te doen. Evaluatieonderzoek wordt gereserveerd voor die evaluatie waarbij wordt gebruik gemaakt van een sociaal-wetenschappelijke methodologie in de beoordeling. Voorbeelden van het evaluatieonderzoek, die zullen worden toegelicht, zijn het situatieonderzoek, het effectonderzoek, het doelbereikingsonderzoek en het effectiviteitonderzoek. Een beoordeling van beleid kan ook zijn grondslag vinden in de informatie die prestatiemeetsystemen opleveren. Een prestatiemeetsysteem is een instrument ten behoeve van de beheersing van beleidsprocessen, waarbij regelmatig metingen worden verricht tijdens het beleidsproces om na te gaan of het beleidsproces aan zijn doelstellingen beantwoordt. Voorbeelden van prestatiemeetsystemen, die zullen worden behandeld, zijn de doelmatigheidsanalyse, het EFQM-model en de Balanced Scorecard.

3.2.1. Evaluatieonderzoek

Ex post evaluatieonderzoek is het verzamelen en analyseren van gegevens, op basis van wetenschappelijke methoden, om tot een oordeel over het bestaand beleid te komen.

In het ex post evaluatieonderzoek wordt zeer vaak op een of andere wijze aandacht besteed aan de effecten die een bepaald beleid ressorteert. Onder deze effecten vallen niet alleen de beoogde effecten, maar even goed de neveneffecten. Er wordt concreet nagegaan wat de gevolgen zijn van specifieke acties van het beleid. (Arentsen, 1991: 42-48; Bouckaert, Auwers, 1999: 164-166; Bressers, 1998: 123-129)

Dergelijk ex post evaluatieonderzoek kan worden benaderd vanuit twee evaluatiedimensies.

1. De analyse van de inzet van het beleidsinstrument: hierbij kunnen twee invalshoeken worden onderscheiden, namelijk een vergelijking van de situatie op een beleidsterrein voor de inzet van het beleidsinstrument met de situatie na de inzet van het beleidsinstrument of een vergelijking van de situatie zonder inzet van het beleidsinstrument met de situatie met inzet van het beleidsinstrument.

2. Het referentiepunt van het evaluatieonderzoek: veelal houden ex post evaluatieonderzoeken rekening met oorspronkelijk geformuleerde doelstellingen van het beleid. Er zijn echter ook ex post onderzoeken aan te duiden waarin niet aan specifieke beleidsdoelstellingen wordt getoetst. In dergelijke evaluaties wordt eerder nagegaan of er (neven)effecten zijn opgetreden en soms ook waardoor deze werden veroorzaakt. Vooral in die gevallen waarin de beleidsdoelstellingen onvoldoende duidelijk zijn of waar het vermoeden bestaat dat het beleid ook belangrijke andere effecten heeft dan in de officiële doelstellingen is beoogd en/of voorzien, is dergelijk evaluatieonderzoek op zijn plaats.

Beide evaluatiedimensies hebben tot gevolg dat er vier soorten ex post evaluatieonderzoek mogelijk zijn (figuur 3.4).

Figuur 3.4 Vormen van ex post evaluatieonderzoek van beleidseffecten[7]

A. Situatieonderzoek

De gevolgen van het inzetten van een beleidsinstrument worden nagegaan door een nulsituatie (situatie voor het overheidsingrijpen) te vergelijken met de huidige situatie (situatie na het overheidsingrijpen). Deze gevolgen van het overheidsingrijpen worden louter geïnventariseerd en dus niet beoordeeld aan de hand van hun bijdrage aan de realisatie van de beleidsdoelstellingen.

B. Effectonderzoek

Bij dit onderzoek wordt eveneens het effect van de inzet van een instrument nagegaan. Alleen tracht de evaluator te achterhalen wat het resultaat zou zijn geweest indien de beleidsvoerder het instrument niet had ingezet, met andere woorden, wanneer hij niet had ingegrepen. Het onderzoek beoogt een zo volledig mogelijke inventarisatie te geven van de effecten van het beleid. Neveneffecten komen dus evenzeer aan bod als beoogde effecten. Deze inventarisatie van effecten wordt hier, zoals bij het situatieonderzoek, niet beoordeeld aan de hand van de vooraf vastgestelde beleidsdoelstellingen.

C. Doelbereikingsonderzoek

De gevolgen van het inzetten van beleidsinstrumenten worden geëvalueerd in het licht van een vooraf vastgelegde effectnorm. Bij dit onderzoek wordt de mate bestudeerd waarin een beleidsvoerder erin is geslaagd de door hem gestelde doelen te bereiken. Er wordt niet, zoals bij het effectiviteitonderzoek, nagegaan of het bereiken van de doeleinden ook het gevolg is van de door de beleidsvoerder ondernomen acties. De causaliteitsvraag naar het beleid als gekozen oorzaak en het effect als beoogd gevolg komt met andere woorden niet aan de orde. Wel wordt getracht, niet alleen de doelbereiking van het beleid vast te stellen, maar ook de opgetreden resultaten te verklaren, teneinde het beleid te kunnen bijsturen.

D. Effectiviteitonderzoek

Zoals bij het effectonderzoek gaat de evaluator na of er veranderingen zijn opgetreden. Hij gaat echter nog een stap verder en evalueert de mate waarin, de genomen maatregelen in overweging genomen, het niveau van de vastgestelde effecten nog verwijderd is van de vooropgestelde streefwaarden. Hierbij staat dus het onderzoek naar de causale relatie tussen het beleid als onafhankelijke variabele en het effect als afhankelijke variabele centraal. Getracht wordt aan te geven in welke mate het beleid heeft bijgedragen aan de eventuele verandering van de afhankelijke variabele. Bij dit evaluatieonderzoek wordt ernaar gestreefd niet louter de effecten vast te stellen, maar ook, zoals bij het doelbereikingsonderzoek, een verklaring te geven voor de opgetreden resultaten om aldus het beleid te kunnen verbeteren.

Deze vier vormen van ex post evaluatieonderzoek vormen slechts een beperkte weergave van het gehele arsenaal aan evaluatieonderzoek. (Bressers, Hoogerwerf, 1991: 19-29, Swanborn, 1999: 23-25; Van Twist, Mayer, 2000: 29) Zo kan er ook evaluatieonderzoek worden verricht naar de effecten van het beleid waarbij niet wordt uitgegaan van de beleidsdoeleinden, maar van doeleinden van andere bronnen, zoals een oppositiepartij, een belangengroep, een bevolkingsgroep, de onderzoeker zelf of andere overheidsdoelstellingen of algemene beginselen (b.v. beginselen van behoorlijk bestuur). Andere types van evaluatieonderzoek kunnen zich richten op het onderzoek van het beleidsproces, van de beleidsinhoud of van de beleidsorganisatie. Uit de praktijk blijkt echter wel dat het ex post evaluatieonderzoek zich in vele gevallen op een of andere wijze richt op de effecten van het gevoerde beleid.

Tot nu is slechts aandacht besteed aan verschillende types ex post evaluatieonderzoek op basis van de inhoud van het onderzoek. (Clarke, Dawson, 1999: 37-62; Weiss, 1998: 82-87) Daarnaast moet ook aandacht worden besteed aan verschillende methoden van evaluatieonderzoek. Op het methodische vlak valt er een tweedeling te onderkennen. Aan de ene kant staan de op de kwantitatieve (‘harde’) methoden georiënteerde onderzoekers (b.v. steekproefonderzoek, experimentele designs, statistische analyse, voorgestructureerde vragenlijsten), aan de andere kant bevinden zich de voorstanders van de kwalitatieve (‘zachte’) methoden (b.v. case-studies, diepte-interviews, participerende observatie). In het verleden bestond er een sterke polarisatie van evaluatieonderzoekers: het ‘kamp’ waartoe de onderzoeker behoorde, bepaalde de keuze van een bij een evaluatieonderzoek te hanteren methode. Meer en meer groeit het inzicht dat een combinatie van verschillende methoden wenselijk is. In de eerste plaats omdat sommige onderdelen van het evaluatieonderzoek een zachte benadering vragen, terwijl voor andere een harde aanpak vereist is. In de tweede plaats kan het gezamenlijk toepassen van verschillende methoden op één onderdeel van een evaluatieonderzoek (triangulatie) van belang zijn om de onvermijdelijke bias, die aan iedere methode kleeft, te corrigeren.

3.2.2. Prestatiemeetsystemen

Prestatiemeetsystemen verschaffen informatie over prestaties van het beleid. Deze prestatie-informatie is nuttig bij de ex post evaluatie van een beleid.

Het perspectief dat aan prestatiemeting ten grondslag ligt, ziet een productieproces bij de overheid (beleidsproces) als de transformatie van middelen (input) in producten of prestaties (output) en van deze producten of prestaties in effecten (outcome); de bedoelde effecten zijn op een of andere wijze gerelateerd aan de doelstellingen van het productieproces (figuur 3.5). (Van Helden, 1991: 9-12)

Figuur 3.5 Perspectief voor prestatiemeting[8]

Prestatiemeting kan betrekking hebben op de verschillende onderdelen of aspecten van de transformatierelaties. Zo kan prestatiemeting worden gedefinieerd in termen van de input, de output, de outcome, het proces, alsmede in termen van de input-output-relatie (efficiëntie) of output-outcome-relatie (effectiviteit). Bovendien kunnen feitelijke prestatiemetingen worden vergeleken met daaromtrent geformuleerde normen of standaarden.

Prestatiemeting is in feite een instrument ten behoeve van de beheersing van productieprocessen (of beleidsprocessen). Door regelmatig metingen te verrichten tijdens het productieproces wordt nagegaan of een productieproces aan zijn doelstellingen beantwoordt. Indien dat niet het geval is, wordt het productieproces zelf of worden de doelstellingen van het productieproces bijgesteld.

Er bestaan diverse generieke en normatieve modellen die de inhoud van een prestatiemeetsysteem expliciet voorschrijven en die invulbaar zijn in een gemeentelijke overheidsorganisatie. (Bouckaert, Auwers, 1999: 22-54) Hierna zullen drie voorbeelden van dergelijke generieke modellen worden toegelicht: de doelmatigheidsanalyse, het model van de European Foundation for Quality Management (EFQM) en de Balanced Scorecard.

A. De doelmatigheidsanalyse

In de doelmatigheidsanalyse wordt een expliciete band gelegd tussen de prestatie-informatie en het geheel van beleidsdoelstellingen die de overheidsorganisatie moet realiseren. (Bouckaert, Auwers, 1999: 22-33; Van Sprundel, 2001: 33-40) Het is de analyse van middelen, activiteiten, prestaties en effecten van het overheidsoptreden en het vergelijken ervan met vooropgezette doelstellingen. Er wordt een onderzoek gevoerd naar de zuinigheid, efficiëntie en effectiviteit van het beleid. De doelmatigheidsanalyse biedt een gestructureerd kader om, vanuit vastgestelde maatschappelijke behoeften en rekening houdend met de beschikbare budgettaire ruimte, te komen tot een zo nauwkeurig mogelijke vaststelling van de prestaties die moeten worden geleverd en van de middelen die nodig zijn om, binnen de doelstellingen die de overheid heeft gesteld, aan deze maatschappelijke behoeften tegemoet te komen (figuur 3.6). (Vankeirsbilck, 2000: 4-8)

Figuur 3.6 De doelmatigheidscyclus[9]

De doelmatigheidsanalyse gaat uit van de gedachte dat een legitiem overheidsbeleid wordt ontwikkeld en uitgevoerd als antwoord op bepaalde behoeften die binnen een maatschappij bestaan. Als de overheid een ’goed’ antwoord op deze behoeften wil geven, moet zij duidelijk bepalen waar zij met haar beleid naar toe wil en wat zij hiermee wil bereiken. Dit wordt vastgelegd in algemene strategische doelstellingen. Bij het formuleren van deze doelstellingen moet wel worden rekening gehouden met de formele (voornamelijk juridische) en materiële (vooral financiële) grenzen die de beleidsruimte beperken. Deze strategische doelstellingen moeten verder worden geconcretiseerd in operationele doelstellingen. Om deze doelstellingen te realiseren, moeten bepaalde middelen worden ingezet, zodat bepaalde activiteiten kunnen worden uitgevoerd en bepaalde prestaties kunnen worden geleverd. Deze prestaties moeten op hun beurt een aantal (maatschappelijke) effecten tot stand brengen. Wanneer een overheid via haar beleid tracht effecten tot stand te brengen in een bepaald deel van de maatschappij, moet zij er wel rekening mee houden dat zij niet in het luchtledige werkt. Er is immers een maatschappelijke omgeving die de totstandkoming van de effecten kan bevorderen of belemmeren. De gerealiseerde effecten moeten aansluiten bij wat in de operationele doelstellingen en beoogde effecten werd vooropgesteld, opdat de overheid met haar beleid zou tegemoetkomen aan de behoeften die aan de basis lagen van dit beleid. In de mate dat de doelstellingen niet werden bereikt of de behoeften niet werden vervuld, kan dit voor een volgende periode aanleiding vormen voor een nieuw of aangepast overheidsinitiatief of voor een bijstelling van de doelstellingen. De doelmatigheidsanalyse biedt hierbij niet enkel het kader om de legitimiteit van het beleid te onderbouwen, maar levert ook heel wat gegevens die onder meer belangrijk zijn om de gewenste organisatiestructuur en de gewenste organisatieprocessen uit te tekenen.

Voor de doelmatigheidsanalyse in de gemeente kan een stappenplan worden geraadpleegd, dat de gemeente op een systematische en rationele manier doorheen de doelmatigheidsanalyse leidt (bijlage 3.1). In iedere fase moet door het bestuur een aantal vragen worden beantwoord. Sommige vragen zijn makkelijk te beantwoorden, terwijl andere de toepassing noodzakelijk maken van een aantal ondersteunende instrumenten.

B. De European Foundation for Quality Management (EFQM)

De laatste jaren werden heel wat modellen ontwikkeld, waarbij de focus ligt bij kwaliteitsaspecten, de zogenaamde ‘kwaliteitsmodellen’. Uit het uitgebreide arsenaal van kwaliteitsmodellen zal één model als voorbeeld nader worden toegelicht: het EFQM-model.

Het EFQM-model werd in de jaren tachtig ontwikkeld door de European Foundation for Quality Management, een initiatief van 14 Europese landen. (Bouckaert, Auwers, 1999: 33-39; Vandeweyer, 2000: 19-21) In 1999 werd het oorspronkelijke model aangepast en sindsdien wordt gesproken van het EFQM Excellence model. Dit is een allesomvattend managementmodel met vijf maakfactoren en vier resultatencriteria (figuur 3.7). Nieuw in vergelijking met het oorspronkelijke EFQM model is de wijziging van de naam van een aantal criteria en de aandacht voor innovatie en lerend vermogen.

Figuur 3.7 Het EFQM Excellence model[10]

Het EFQM Excellence model laat toe om organisaties te beoordelen op negen criteria, die elk een gewicht wordt toegekend in functie van hun relatieve belangrijkheid in een zogenaamde excellente organisatie. De criteria hebben enerzijds betrekking op de managementactiviteiten in een organisatie, de ‘enablers’; anderzijds op de resultaten van deze activiteiten, de ‘results’. Het model stelt dat resultaten bij klanten, bij medewerkers en in de samenleving worden bereikt door het aanwenden van leiderschap, dat op zijn beurt het beleid en strategie en het beheer van de mensen en materiële middelen aanstuurt. De vertaling hiervan doorheen diverse processen moet leiden tot excellente performantieresultaten. Het belang van innovatie en lerend vermogen wordt bij dit alles benadrukt.

Bij elk van de negen criteria moeten een aantal concrete vragen worden overlopen. (European Foundation for Quality Management, 1999: 13-15) In de bijlagen is een overzicht opgenomen van de criteria en subcriteria van het EFQM Excellence model, die moeten worden bevraagd (bijlage 3.2). Deze vragen zijn gericht op het vinden van bepaalde aanwijzingen of zogenaamde bewijzen van kwaliteit.

Aangezien het EFQM model oorspronkelijk werd ontwikkeld voor de private sector, ervaren overheidsorganisaties problemen bij het toepassen van het model. Uitmuntendheid voor overheidsorganisaties betekent veeleer het behalen van politiek vastgelegde objectieven. Bovendien worden in een overheidscontext maatschappelijke effecten als de finaliteit van de opdracht van een organisatie vooropgesteld, waardoor de elementen ‘bedrijfsresultaten’ en ‘impact op de samenleving’ in mekaar schuivende categorieën worden. Het concept ‘klanten’ is ook te beperkt voor de context waarin publieke organisaties actief zijn. Zij interageren immers ook met belastingbetalers, met burgers met rechten en plichten en met ambtenaren uit andere overheidsorganisaties. Tenslotte verwijst het concept ‘impact’ naar de positieve en negatieve gevolgen van het bedrijfsbeleid op de omgeving, terwijl het in overheidscontext eerder verwijst naar de term ‘maatschappelijke effecten’ uit het model van de doelmatigheidsanalyse. Op basis van deze problemen bij de toepassing van het EFQM model in de publieke sector, werd het model aangepast tot het nieuwe model PSEM (Public Service Excellence Model). Het aantal categorieën is uitgebreid van negen naar veertien en zou beter moeten kunnen beantwoorden aan de informatiebehoefte van het management van de overheidsorganisatie.

C. De Balanced Scorecard

Het concept van de Balanced Scorecard werd in het begin van de jaren ’90 ontwikkeld aan de Harvard Business School door Robert Kaplan en David Norton en wordt de laatste jaren steeds meer in overheidsorganisaties gebruikt. (Bouckaert, Auwers, 1999: 39-40; Bruggeman, Vereecken, 1999: 27) De Balanced Scorecard is een instrument dat kan worden gebruikt om de beleidsvisie van een organisatie op een gestructureerde wijze te vertalen in kritische succesfactoren en meetvariabelen, die dan met een bepaalde frequentie kunnen worden opgevolgd in de praktijk. De indicatoren en objectieven die deel uitmaken van de Balanced Scorecard zijn op systematische wijze via een top-down proces afgeleid van de missie en de lange termijn doelstellingen van de organisatie (figuur 3.8).

Figuur 3.8 De Balanced Scorecard[11]

Bij het ontwikkelen van een Balanced Scorecard moet eerst en vooral aandacht worden besteed aan het duidelijk formuleren van een beleidsvisie. Wil men performantie gaan meten, dan moet men zich de vraag stellen op welke vlakken de organisatie performant wil zijn (dit zijn de kritische succesfactoren) en wat de prestatiedoelstellingen (targets) zijn die in lijn liggen met deze beleidsvisie. Hierbij gaat de Balanced Scorecard theoretisch uit van vier perspectieven die de inspanningen en de prestaties van een organisatie in kaart kunnen brengen: het financieel perspectief, het afnemersperspectief, het interne procesperspectief en het leer- en groeiperspectief. Deze perspectieven worden opgehangen aan de missie en de visie van de organisatie waarvoor de scorecard wordt gehanteerd. Voor elke van deze perspectieven worden de kritische succesfactoren bepaald. Vervolgens worden voor elke kritische succesfactor de gerelateerde prestatiedoelstellingen geïdentificeerd, zodat men een target heeft om naar te streven. Dan moet worden bepaald hoe men deze performantie tot stand kan brengen, met andere woorden op welke wijze men de vooropgestelde prestatiedoelstellingen wil bereiken. Dit vertaalt zich dan naar concrete meetcriteria. De Balanced Scorecard is opgebouwd uit vier categorieën van prestatiemaatstaven of meetcriteria: financiële prestatiemaatstaven, klantgeoriënteerde prestatiemaatstaven, procesmaatstaven en maatstaven met betrekking tot innovatie- en leervermogen van de organisatie.

De scorecard wordt gebalanceerd genoemd, omdat er wordt gestreefd naar een evenwicht op verschillende vlakken. Er is een evenwicht nodig tussen de externe prestatiemaatstaven, die gericht zijn op aandeelhouders en klanten en de intern georiënteerde prestatiemaatstaven, die te maken hebben met kritische organisatieprocessen, innovatie en leervermogen. Verder wordt er gestreefd naar het balanceren van maatstaven die de prestatie uit het verleden meten en de maatstaven die gericht zijn naar de toekomst. Ten slotte tracht het model van de Balanced Scorecard ook een gepast evenwicht te zoeken tussen gemakkelijk te kwantificeren indicatoren en meer kwalitatieve performantiecriteria.