Waarom gebeurt er dat wat we juist niet willen en wie is daarvoor verantwoordelijk?

‘We don’t believe that organisations have interests, desires or wishes. They are black boxes; their purpose is just what they do. That means that there’s often no point in asking whether something was a conspiracy or just an unfortunate error’ (Davies, p. 72)

Wie is verantwoordelijk?

Doordat beslissingen in organisaties steeds meer gebaseerd zijn op algoritmen wordt het onduidelijk wie nog ergens verantwoordelijk voor is. Als er iets misgaat, is het moeilijk om de oorzaak te traceren of te corrigeren, omdat de keten van verantwoordelijkheid is vervaagd. We produceren steeds vaker uitkomsten die niemand écht wil, maar waar niemand (of niemand duidelijk) verantwoordelijk voor is. Voorbeelden: klanten die door regels worden afgewezen, systemen die falen zonder dat een individu kan worden aangesproken.

Waar gaat het mis?

Hoe komt dit? Beslissingen zijn opgesplitst in protocollen, regels en processen, zodat niemand ‘de bal’ krijgt. Cybernetisch is sprake dat feedbacksignalen niet meer effectief terugkeren naar een verantwoordelijke. In plaats van dat mensen regels gebruiken om uitzonderingen verstandig te behandelen, worden regels de werkelijkheid zelf — ook als de context vraagt om flexibiliteit. Het systeem reageert altijd op dezelfde manier, zelfs als de omgeving vraagt om adaptief gedrag.

Zwarte dozen

Systemen (algoritmen, complexe organisaties) functioneren als zwarte dozen: je ziet de input en output, maar kan niet begrijpen wat er intern gebeurt. Zonder inzicht in interne toestanden kan geen effectieve sturing of correctie plaatsvinden. Systeemfouten worden niet adequaat teruggekoppeld in menselijk of organisatorisch handelen. Hierdoor blijft het systeem verkeerde acties herhalen.

Feedback faalt

In plaats van dat feedback fouten corrigeert, wordt ze gedempt, verstrooid of onzichtbaar gemaakt. Het gevolg: systemen die hun omgeving steeds slechter reguleren en beslissingen produceren waar niemand verantwoordelijk voor is. Een feedbacklus heeft in essentie drie onderdelen: een controller / beslisser bepaalt acties richting het systeem; een systeem voert acties uit en genereert output. Sensoren & feedback meten de output en de omgeving, koppelen afwijkingen terug naar de controller. Als deze lus goed werkt, kan het systeem zich zelf corrigeren en effectief reguleren.

In huidige systemen is echter de ‘controller’ opgesplitst in vele actoren, protocollen en algoritmen. Het gevolg is dat het terugkerende signaal verdwijnt in de ruis, omdat niemand de lus als geheel beheert. Omdat de controller de interne toestand van het systeem niet ziet wordt er gestuurd op blinde input-output-relaties, zonder inzicht in causaliteit. Symptoom: beslissingen zijn onbegrijpelijk en daardoor niet corrigeerbaar. Omdat fouten niet kunnen worden teruggekoppeld en geen actor aanspreekbaar is, ontstaat structurele onverantwoordelijkheid.

Literatuur

Davies, D. (2024). The unaccountability machine. Why big systems make terrible decisions-and how the world lost its mind. Profile Books
Woldendorp, H. en A. Jeninga. (2018). Organisaties ontwarren. Systemisch kijken, denken en doen binnen de gezondheidszorg. SWP