Baten van digitalisering meten: van tijdwinst tot minder fouten

Baten van digitalisering meten: meer dan tijdwinst

Organisaties beoordelen digitalisering vaak op efficiëntie en minder fouten. Die zijn goed meetbaar, maar zeggen niet of digitalisering geslaagd is. Uit de analyse die de Algemene Rekenkamer maakte van haar eigen onderzoeken van de laatste tien jaar blijkt herhaaldelijk dat ambities op het gebied van digitalisering niet goed in balans zijn met de mensen, middelen en organisatie. Baten blijven dan uit omdat ambities, mensen, middelen, organisatie en techniek niet op elkaar aansluiten.

De Rekenkamer onderscheidt drie opgaven om grip te krijgen op digitalisering: de gebruiker centraal stellen, de gewenste digitale doelstellingen realiseren en zorgen dat het parlement de digitalisering goed kan controleren. Die driedeling werkt ook als raamwerk voor een batenmeting: prestaties voor de gebruiker, bijdrage aan de organisatiedoelen en aantoonbaarheid voor bestuur en toezicht. Wie alleen tijdwinst meet, dekt een van de drie niet af.

De SER beschrijft digitalisering als het toegenomen gebruik van data, geavanceerde machines en computerprogramma's, met impact op processen, gedrag, organisaties en instituties. Als kansen noemt de SER innovatie, een betere match van vraag en aanbod, nieuwe werkgelegenheid en verduurzaming.

Als risico's noemt de SER privacy, de invloed van grote techbedrijven op de informatie die mensen te zien krijgen, en mensen die de snelheid van digitale ontwikkelingen niet kunnen bijbenen of hun baan verliezen. De Algemene Rekenkamer constateert dat private dienstverlening door technologische vooruitgang ongekend snel is veranderd: het uniforme product is vervangen door een persoonsgericht aanbod. Wie baten meet, meet dus ook de gebruikerservaring, niet alleen de doorlooptijd.

Tijdwinst en efficiëntie als eerste meetpunt

Digitalisering van bedrijfsprocessen is volgens Comm'ant het inzetten van digitale technologieën om handmatige processen te stroomlijnen. Het kan de klantervaring verbeteren, kosten verlagen en de efficiëntie verhogen. Tijdwinst is daarin een tussenliggende indicator: koppel hem aan uitkomsten als doorlooptijd per zaak, kosten per transactie en het aantal handmatige handelingen per processtap. Zonder die koppeling is een tijdmeting een getal zonder betekenis.

Tijdwinst ontstaat niet vanzelf. Comm'ant beschrijft als valkuil dat organisaties te snel beginnen met het bouwen, kopen en implementeren van nieuwe systemen, doordat er onvoldoende zicht is op het bedrijfsproces dat gedigitaliseerd moet worden. Digitaliseer je een proces dat zelf niet klopt, dan versnel je vooral de fouten. Bepaal daarom vóór de systeemkeuze welke stappen het proces heeft, welke uitzonderingen voorkomen, wie welke handeling verricht en waar wachttijd zit.

Leg een nulmeting vast vóór de implementatie, met dezelfde eenheden die je daarna blijft gebruiken. Meet bijvoorbeeld de doorlooptijd van aanvraag tot besluit, het aantal keren dat een medewerker gegevens opnieuw intypt en het aantal overdrachtsmomenten tussen afdelingen. Alleen met een vaste nulmeting kun je later aantonen dat een verschil aan de digitalisering toe te rekenen is en niet aan een seizoenspiek, een wetswijziging of een extra medewerker.

Belangrijkste meetbare baten van digitalisering

Minder fouten: kwaliteit en betrouwbaarheid meten

Veel organisaties zetten digitalisering in om de efficiëntie te verbeteren en het risico op menselijke fouten te verminderen. Comm'ant waarschuwt dat digitalisering van processen, indien niet correct uitgevoerd, juist kan leiden tot meer fouten en tijdverspilling. Kwaliteit is dus geen automatisch gevolg van automatisering; het is een aparte meetlat.

De Autoriteit Persoonsgegevens noemt twee concrete mechanismen bij algoritmes en AI: slechte input levert onbetrouwbare output op, en het risico bestaat dat beslissingen niet meer inzichtelijk en controleerbaar zijn. Dat verhoogt de kans op foute besluiten, ongewenste profilering en discriminatie. Voor een batenmeting betekent dit dat je per beslissing moet kunnen nagaan welke gegevens zijn gebruikt, welke regel of welk model is toegepast en welke mens de beslissing heeft genomen of geaccordeerd. Een foutpercentage zonder die herleidbaarheid zegt te weinig om bij te sturen.

Het College voor de Rechten van de Mens laat zien dat fouten ook onbedoelde uitsluiting kunnen zijn. Door het automatiseren van het werving- en selectieproces kan discriminatie en uitsluiting grotendeels buiten beeld ontstaan, met gevolgen voor grote groepen werkzoekenden én voor de werkgever, die talent misloopt. Het beschreven voorbeeld is Richard, een twintiger met dyslexie die na een cv-selectie en een goed gesprek afviel op een selectiegame omdat de tekst te snel ging, en de baan misliep. Meet daarom naast systeemfouten ook of bepaalde groepen vaker afvallen of vaker in bezwaar en beroep terechtkomen.

Gebruikerservaring en medewerkersbelasting als baten

Het centraal stellen van de gebruiker is een van de drie opgaven die de Algemene Rekenkamer onderscheidt. Dat vertaalt zich in meetbare vragen: kan een aanvrager een zaak zelfstandig afronden, hoeveel contactmomenten zijn nodig en is er een route voor wie niet digitaal vaardig is?

Het College voor de Rechten van de Mens stelt dat mensen met een beperking van dezelfde diensten gebruik moeten kunnen blijven maken. Dat geldt ook voor mensen die niet zo digitaal vaardig zijn, niet goed kunnen lezen of hun weg online niet snel vinden. Ook moeten mensen kunnen weten wanneer hun rechten in de knel kunnen komen en daarvoor kunnen opkomen.

Aan de kant van de medewerkers beschrijft Comm'ant een veelvoorkomende valkuil: digitaliseringsprojecten die naast te veel andere initiatieven en de reguliere werkzaamheden lopen, bezorgen personeel fragmentatie en stress omdat ze met meerdere taken tegelijk jongleren. Dat kan ook tot fouten leiden, doordat medewerkers zich met haast door het project werken zonder de tijd te nemen het zorgvuldig te doen. Bruikbare indicatoren zijn werkdruk, het aantal systemen dat een medewerker voor één taak moet bedienen en de tijd die aan overtypen en zoeken verloren gaat. Voor de baten betekent dit dat je het aantal gelijktijdige digitaliseringsinitiatieven moet begrenzen en per initiatief één eigenaar aanwijst, met een planning die rekening houdt met de gewone bezetting.

Het Sociaal en Cultureel Planbureau en Stichting Toekomstbeeld der Techniek wijzen op een breder effect dat in batenmetingen vaak ontbreekt: digitalisering heeft op lange termijn mogelijk als risico dat de sociale cohesie afneemt. Minder opvallende gevolgen zoals toename van ongelijkheid en individualisering worden onvoldoende meegenomen.

Digitale ongelijkheid is nauw verbonden met sociale ongelijkheid: mensen met meer opleiding en inkomen profiteren het meest van nieuwe digitale technologieën, terwijl mensen met minder middelen verder achterop raken. Een rapportage die alleen gemiddelden per dienst laat zien, verbergt precies deze verschillen.

Randvoorwaarden: mensen, middelen en processen op orde

De Algemene Rekenkamer concludeert dat ambities op het gebied van digitalisering in balans moeten zijn met de mensen, middelen en organisatie. Verouderde ICT-systemen bij de overheid verhinderen bijvoorbeeld dat nieuwe wetgeving kan worden ingevoerd. Legacy is daarmee geen technische bijzaak maar een directe belemmering voor het realiseren van baten: zolang een oud systeem de nieuwe werkwijze niet ondersteunt, blijft de opbrengst uit.

Volgens het SCP en STT richt het huidige beleid rond digitalisering zich vooral op het aanbieden van digitale hulpmiddelen en het verbeteren van digitale vaardigheden, zodat iedereen kan meedoen in de digitale samenleving. Dat is belangrijk, maar niet genoeg om de samenhang in de samenleving te waarborgen. Voor een organisatie betekent dit dat een nieuw portaal of een training niet het einde van het traject is: de processen erachter, de ondersteuning en de randvoorwaarden moeten meebewegen.

Maak daarom vóór de start expliciet welke mensen en uren beschikbaar zijn, wie eigenaar wordt van het systeem en het proces na oplevering, en hoe beheer en onderhoud worden gefinancierd. Zonder die afspraken verdwijnen de baten nadat de projectorganisatie is opgeheven.

Valkuilen die baten tenietdoen

Het eerste pijnpunt dat Comm'ant beschrijft, is dat digitaliseringsprojecten niet afkomen. Er wordt met enthousiasme gestart, maar het project wordt niet voltooid omdat andere zaken de aandacht opeisen; alle tijd en moeite die erin is gestoken, is dan verspild. Als oorzaak noemt de bron onvoldoende zicht op het bedrijfsproces dat gedigitaliseerd moet worden, waardoor te snel wordt begonnen met bouwen of kopen en implementeren. Dit is de duurste vorm van een onmetelijke baat: er is geïnvesteerd, maar er is niets opgeleverd om te meten.

Een ander pijnpunt is de verkeerde inschatting, waardoor onnodig veel tijd en geld wordt verspild doordat bij aanvang niet duidelijk is wat echt nodig is. Tegenwicht bieden gefaseerde oplevering en een vast meetmoment per fase, met de expliciete mogelijkheid om een initiatief te stoppen als de beoogde baten niet optreden. Een erkende manier om dat te doen zijn pilots.

Het webinar van de IT-Academie Overheid behandelt hoe je een AI-pilot vormgeeft, welke stappen je doorloopt en hoe je een model kiest. De casussen komen van onder meer de gemeente Den Haag, Rijkswaterstaat, het ministerie van Sociale Zaken en Logius/Digicampus. Daarbij hoort dat de resultaten worden vastgelegd; in het webinar werd een publicatie gelanceerd met de resultaten van de eerste ronde AI-pilots binnen de overheid, die door het Data Science Initiative van de gemeente Den Haag zijn geïnitieerd.

Baten zichtbaar maken voor bestuur en controle

De derde opgave die de Algemene Rekenkamer onderscheidt, is dat het parlement de digitalisering goed kan controleren. Om die controle mogelijk te maken, bracht de Rekenkamer factsheets uit met rode draden uit tien jaar onderzoek, bestemd voor het onderzoek van de Tijdelijke Commissie Digitale Toekomst van de Tweede Kamer. Voor organisaties is de vertaling daarvan: elke gemeten baat moet herleidbaar zijn tot de onderliggende gegevens, de gehanteerde definitie en een verantwoordelijke functionaris.

De Autoriteit Persoonsgegevens richt haar toezicht onder meer op de digitale overheid, op AI en algoritmes, en op datahandel.

De AP kijkt bij gemeenten of zij gevoelige persoonsgegevens goed beveiligen. Ook controleert de AP of zij data niet gebruiken en delen voor doelen waarvoor deze niet zijn verzameld, en of zij bij het ontwerp van bijvoorbeeld smart cities zo min mogelijk persoonsgegevens verzamelen.

Uit onderzoek van de NOS, aangehaald in dezelfde bron, bleek dat overheden op grote schaal algoritmes gebruiken, bijvoorbeeld om fraude en criminaliteit op te sporen of om in te schatten welke zorg iemand nodig heeft. Doelbinding, beveiliging en dataminimalisatie zijn dus geen formaliteiten achteraf, maar voorwaarden om negatieve effecten te voorkomen die de baten kunnen overschaduwen.

Daar hoort digitale soevereiniteit bij. In een brief over digitale autonomie en soevereiniteit omschrijft de Autoriteit Persoonsgegevens digitale soevereiniteit als het hebben van juridische en bestuurlijke controle over digitale infrastructuren, data en systemen. Concreet betekent dat weten waar gegevens staan, wie er toegang toe heeft en onder welke voorwaarden die toegang is verleend. Zonder dat inzicht is een beroep op de baten van digitalisering voor bestuur en toezicht niet te onderbouwen.

Voor de borging in de praktijk vraagt dat om een vast overzicht van de algoritmes en AI-toepassingen die in gebruik zijn, om logging waarmee een individuele beslissing terug te vinden is, en om een periodieke toets op fouten, uitsluiting en ongewenste effecten. Rapporteer de uitkomsten langs dezelfde lijn aan bestuur en aan het orgaan dat toezicht houdt, zodat bijsturen of stoppen een bewuste beslissing wordt in plaats van een uitkomst achteraf.

Conclusie: meet tijd, kwaliteit, mens en maatschappij samen

Tijdwinst en minder fouten zijn reële baten: digitalisering van processen kan handmatige stappen stroomlijnen, kosten verlagen en de efficiëntie verhogen, en wordt juist ingezet om het risico op menselijke fouten te verminderen. Maar ze staan nooit op zichzelf. De Algemene Rekenkamer laat zien dat ambities alleen tot resultaat leiden als mensen, middelen en organisatie in balans zijn.

Meet daarom samenhangend, in één rapportage. Neem op: doorlooptijd en kosten per proces (efficiëntie); fouten, herstelwerk en herleidbaarheid per beslissing (kwaliteit); zelfredzaamheid van gebruikers en de beschikbaarheid van een niet-digitale route (gebruiker); werkdruk en het aantal systemen per taak (medewerker); de bijdrage aan de organisatiedoelen; en de verdeling van effecten over groepen. Dat laatste is nodig omdat digitale ongelijkheid samenhangt met sociale ongelijkheid en gemiddelden dat verschil verbergen.

Koppel elke meting aan een beslismoment: doorgaan, bijstellen of stoppen, en leg de resultaten zodanig vast dat bestuur en toezicht ze kunnen controleren.