Managementissues

Een initiatief van Max Herold

The Coming Wave (de komende golf van nieuwe AI-bio risico’s)

In zijn boek The Coming Wave bespreekt Mustafa Suleyman de krachtige synergie tussen kunstmatige intelligentie (AI) en synthetische biologie, en hoe deze combinatie onze wereld ingrijpend kan veranderen. Hij benadrukt dat de integratie van AI in synthetische biologie de ontwikkeling van nieuwe organismen en biologische systemen aanzienlijk kan versnellen en verfijnen. AI kan bijvoorbeeld complexe biologische data analyseren, patronen identificeren en voorspellingen doen die voorheen buiten het bereik van menselijke capaciteiten lagen. Dit opent de deur naar baanbrekende innovaties in geneeskunde, landbouw en milieutechnologie. Maar er zijn ook grote risico’s met onoverzienbare consequenties. Suleyman waarschuwt dat de snelle ontwikkeling en enorme impact van toekomstige technologieën kunnen leiden tot situaties waarin menselijke controle niet langer gegarandeerd is. Hij benadrukt dat, zonder tijdig ingrijpen, de risico’s van deze technologieën groter kunnen worden dan de voordelen die ze bieden.

Meer weten?
The Coming Wave
Auteur: Mustafa Suleyman
UItgeverij: Vintage Publishing, 2024
Kik op:
https://www.managementboek.nl/boek/9781529923834/the-coming-wave-mustafa-suleyman?affiliate=1910


De ontwikkeling van technologie in de tijd

In The Coming Wave begint Suleyman de fascinerende ontwikkeling van technologie te schetsen, waarbij hij de geschiedenis verdeelt in drie fases: het verleden, het heden en de toekomst. Hij laat zien hoe technologische vooruitgang steeds ingrijpender gevolgen heeft gehad voor de samenleving en wat ons te wachten staat als de snelheid en complexiteit van innovaties blijven toenemen.

In het verleden draaide technologische vooruitgang vooral om mechanisatie en automatisering. Tijdens de industriële revoluties namen machines fysieke arbeid over, wat leidde tot een enorme toename van productiviteit. Innovaties zoals de stoommachine, elektriciteit, de assemblagelijn en later computers zorgden voor economische groei en verbeterden de levensstandaard. Toch waren deze veranderingen niet zonder uitdagingen: ongelijkheid en het verlies van banen waren de keerzijden van deze vooruitgang. Destijds waren technologieën grotendeels lineair in hun impact; ze ondersteunden menselijke inspanningen zonder autonoom te worden.

Vandaag de dag bevinden we ons in een tijdperk van digitale transformatie, gekenmerkt door exponentiële technologieën zoals kunstmatige intelligentie (AI), synthetische biologie, blockchain en big data. Deze technologieën zijn niet langer slechts hulpmiddelen, maar ontwikkelen zich tot autonome systemen die zelfstandig kunnen leren, beslissingen nemen en handelen. De snelheid waarmee deze innovaties zich wereldwijd verspreiden, is ongekend en heeft diepgaande gevolgen voor werk, politiek en samenleving. Terwijl AI levens kan redden via medische toepassingen, brengt het ook risico’s met zich mee, zoals de mogelijkheid om democratische processen te ondermijnen via desinformatie of oorlogen te automatiseren met autonome wapensystemen. Volgens Suleyman staan we op een keerpunt, waarin technologieën niet alleen de wereld transformeren, maar zelfs de kern van wat het betekent om mens te zijn, kunnen beïnvloeden.

De toekomst van (en met) technologie
Voor de toekomst voorspelt de auteur dat technologie steeds autonomer zal worden en zelfs buiten menselijke controle kan opereren. Kunstmatige intelligentie en synthetische biologie zullen zichzelf kunnen verbeteren en complexe problemen oplossen, maar dit brengt grote risico’s met zich mee. Zo kan AI volledige economische processen beheren of politieke beslissingen nemen en synthetische organismen kunnen zich leren aanpassen aan veranderende omgevingen.

Tegelijkertijd wordt de kans groter dat geopolitieke spanningen escaleren als bepaalde landen dominantie verwerven over kritieke technologieën. Technologie zal dan niet langer een hulpmiddel zijn, maar een onafhankelijke kracht met een eigen dynamiek. Dit kan leiden tot ongekende welvaart, maar ook tot existentiële bedreigingen zoals het uiteenvallen van sociale structuren of het verlies van controle over cruciale systemen.

Suleyman ziet in deze ontwikkeling een duidelijke trend. Waar technologie in het verleden vooral een gereedschap was dat door mensen werd gebruikt, is het nu een ‘partner’ in besluitvorming en uitvoering. De impact is bovendien van lokaal naar mondiaal geëvolueerd, waarbij gebeurtenissen in één land wereldwijde gevolgen kunnen hebben. Daarnaast is de, wat in de jaren ‘60 vooruitgang werd genoemd, verschoven van een lineair en voorspelbaar proces naar een exponentiële en steeds moeilijker beheersbare dynamiek. Deze trends maken het volgens Suleyman noodzakelijk om nu actie te ondernemen om de toekomst te sturen en de risico’s van ongecontroleerde technologie te beheersen.

Kenmerken van de huidige technologieën AI en synthetische biologie
Deze technologieën onderscheiden zich door hun algemene toepasbaarheid, snelle ontwikkeling, asymmetrische impact, toenemende autonomie en groeiende toegankelijkheid, wat hen zowel krachtig als potentieel gevaarlijk maakt.

Een van de meest opvallende kenmerken van deze technologieën is hun brede toepasbaarheid. AI kan bijvoorbeeld worden ingezet in uiteenlopende domeinen, zoals gezondheidszorg, financiën, onderwijs en militaire operaties. Deze veelzijdigheid biedt enorme voordelen, zoals de mogelijkheid om vooruitgang te boeken op meerdere gebieden, maar brengt ook risico’s met zich mee. Het is moeilijk om controle te houden over hoe en waar deze technologieën worden gebruikt, wat ze kwetsbaar maakt voor misbruik door kwaadwillenden. Zo kan AI zowel worden ingezet voor medische innovaties die levens redden als voor het creëren van deepfake-desinformatiecampagnes.

Een tweede kenmerk is de razendsnelle ontwikkeling van deze technologieën. Hun exponentiële evolutie overtreft vaak het vermogen van samenlevingen om regelgeving, ethische normen en veiligheidsmaatregelen bij te houden. Dit creëert kansen om problemen sneller op te lossen, maar brengt ook risico’s met zich mee, omdat de technologie vaak sneller vooruitgaat dan het toezicht erop. De ontwikkeling van generatieve AI, zoals ChatGPT of DALL-E, illustreert hoe technologie in korte tijd van eenvoudige toepassingen kan uitgroeien tot hypercomplexe systemen.

Daarnaast hebben deze technologieën een asymmetrische impact. Dat betekent dat een klein aantal mensen met beperkte middelen grote veranderingen teweeg kan brengen, wat zowel positief als negatief kan uitpakken. Hoewel individuen of kleine organisaties grote doorbraken kunnen realiseren, kunnen kwaadwillenden met minimale middelen ook disproportionele schade veroorzaken. Zo kan een bioterrorist met behulp van synthetische biologie relatief eenvoudig een pandemie uitlokken, of kan een enkele hacker met AI verwoestende cyberaanvallen uitvoeren.

Ook worden technologieën steeds autonomer. Dit betekent dat ze zelfstandig beslissingen kunnen nemen zonder menselijke tussenkomst, wat hun efficiëntie en effectiviteit vergroot. Denk bijvoorbeeld aan zelfrijdende auto’s of autonome medische systemen. Tegelijkertijd brengt deze autonomie risico’s met zich mee. Autonome systemen kunnen onvoorspelbare of ongewenste acties ondernemen, vooral als ze slecht ontworpen zijn of misbruikt worden. Een autonoom wapensysteem dat zelfstandig een aanval uitvoert zonder menselijke controle is daar een voorbeeld van, met potentieel gevaarlijke escalaties tot gevolg.

Ook wijst Suleyman op de steeds lagere kosten en grotere toegankelijkheid van deze technologieën. Het wordt eenvoudiger en goedkoper om geavanceerde technologieën te ontwikkelen en te gebruiken, wat innovatie stimuleert, maar ook de drempel verlaagt voor misbruik. De kosten en complexiteit van bijvoorbeeld AI-modellen trainen of genetische manipulatie uitvoeren zijn drastisch gedaald, wat zowel kansen als bedreigingen creëert.

Suleyman benadrukt dat de combinatie van dalende kosten en stijgende capaciteiten een unieke dynamiek creëert. Steeds krachtigere technologieën worden toegankelijk voor steeds meer mensen, wat enorme kansen biedt voor innovatie, maar ook existentiële risico’s met zich meebrengt als er geen effectieve regulering wordt ingevoerd. De eigenschappen van deze technologieën – hun brede toepasbaarheid, snelle evolutie, asymmetrische impact, autonomie en toegankelijkheid – maken ze moeilijk te beheersen en vergroten het risico op ongelijkheid, misbruik en oncontroleerbare gevolgen. Suleyman waarschuwt daarom dat deze technologieën een ander soort risico’s vormen dan eerdere technologische revoluties en dat het cruciaal is om hun impact zorgvuldig te reguleren en te beheersen.

Pessimism aversion

In het boek wordt het concept ‘pessimism aversion’ geïntroduceerd. Dit verwijst naar een emotionele neiging waarbij mensen de mogelijkheid van negatieve uitkomsten negeren of weigeren te accepteren. Suleyman stelt dat zowel zijn vakgenoten als het algemene publiek vaak worden beïnvloed door deze ‘pessimism aversion’, wat hen belemmert om de potentiële risico’s en negatieve gevolgen van opkomende technologieën, zoals kunstmatige intelligentie en synthetische biologie, onder ogen te zien.

Hoewel de term ‘permission-aversion’ niet direct in verband wordt gebracht met Suleyman’s werk, benadrukt hij wel het belang van het overwinnen van ‘pessimism aversion’ om een realistisch en proactief debat te voeren over de uitdagingen en gevaren die deze technologieën met zich meebrengen. Door deze aversie te overwinnen, kunnen samenlevingen effectievere strategieën ontwikkelen om de risico’s te beheersen en de voordelen van technologische vooruitgang te maximaliseren.

Echter Mustafa Suleyman beschrijft verschillende bedreigingen voor de natiestaat die voortkomen uit opkomende technologieën. Enkele belangrijke bedreigingen die hij aanstipt die verbonden zijn aan de ongecontroleerde ontwikkeling van technologieën zoals kunstmatige intelligentie (AI) en synthetische biologie. Hij waarschuwt dat deze innovaties niet alleen de traditionele rol van de natiestaat onder druk zetten, maar ook catastrofale gevolgen kunnen hebben voor de wereldorde. Zonder doordachte regelgeving en internationale samenwerking dreigen samenlevingen geconfronteerd te worden met ingrijpende crises op uiteenlopende terreinen.

Natiestaatproblemen en verlies van controle door overheden

Een van de belangrijkste zorgen is het verlies van controle door overheden. AI-systemen en geavanceerde technologieën worden vaak ontwikkeld door grote technologiebedrijven in plaats van staten, waardoor de macht verschuift en overheden minder grip hebben op het gebruik en de regulering van deze systemen. Tegelijkertijd verspreidt macht zich naar individuen en kleine groepen. Dankzij technologieën zoals synthetische biologie en AI kunnen zij toegang krijgen tot middelen die vroeger voorbehouden waren aan staten, zoals de mogelijkheid om cyberaanvallen uit te voeren of gevaarlijke biologische agentia te creëren. Dit ondermijnt de traditionele monopolies op geweld en controle.

De opkomst van digitale oorlogsvoering en cyberaanvallen vormt een directe bedreiging voor de infrastructuur en stabiliteit van staten. Essentiële systemen zoals elektriciteitsnetwerken, financiële markten en overheidsinstellingen worden steeds kwetsbaarder. Daarnaast vergroot de verspreiding van desinformatie de sociale polarisatie en politieke instabiliteit. AI maakt het mogelijk om deepfakes en overtuigende leugens op schaal te produceren, waardoor het vertrouwen in democratische processen en instituties verder afneemt.

Ook economische ongelijkheid neemt toe door technologische ontwikkelingen. Rijke landen en bedrijven profiteren onevenredig van de toegenomen productiviteit, terwijl minder ontwikkelde landen achterblijven en kwetsbaarder worden. Het tempo van deze technologische vooruitgang overtreft bovendien de snelheid waarmee wetgeving en reguleringen worden opgesteld, wat leidt tot een juridisch vacuüm waarin machtige spelers hun eigen regels bepalen.

Een ander fundamenteel probleem is de spanning tussen nationale soevereiniteit en globalisering. Technologieën kennen geen grenzen; een AI-model dat in één land wordt ontwikkeld, kan wereldwijd worden ingezet. Dit maakt het moeilijk voor staten om technologieën te reguleren binnen hun eigen jurisdicties, wat hun controle verder uitholt.

Specifieke catastrofale scenario’s

Suleyman beschrijft ook heel specifieke scenario’s die catastrofaal kunnen uitpakken. Massale cyberaanvallen kunnen kritieke infrastructuren lamleggen, terwijl doorbraken in synthetische biologie de ontwikkeling van biowapens door kwaadwillenden mogelijk maken, met pandemieën tot gevolg. Autonome wapensystemen kunnen conflicten escaleren door beslissingen sneller te nemen dan mensen kunnen reageren, terwijl ongecontroleerde AI-systemen onbedoelde en potentieel destructieve beslissingen kunnen nemen. Bovendien waarschuwt hij voor milieucatastrofes door technologieën zoals geo-engineering, die onvoorspelbare gevolgen kunnen hebben voor ecosystemen.

Ik schreef in 2005 al over de verwachte concentratie van technologische macht bij enkele bedrijven, landen of individuen in mijn boek ‘Denkfundamenten ontsluierd’ alsmede dit artikel uit 2012 Nieuwe botsingen in ‘botsende beschavingen’. Ook Suleyman besteedt daar ruimschoots aandacht aan in zijn boek. Dat vormt een ander serieus gevaar. Dit kan leiden tot een wereld waarin autoritaire regimes of megacorporaties toezicht en controle op dystopische wijze uitoefenen. Tegelijkertijd dreigt de automatisering van arbeid hele sectoren weg te vagen, wat leidt tot massale werkloosheid, sociale onrust en economische instabiliteit.

Volgens Suleyman zijn deze risico’s niet slechts hypothetisch, maar reële bedreigingen die om dringende actie vragen. Hij pleit voor een proactieve aanpak waarbij internationale samenwerking en strikte regelgeving centraal staan. Alleen door technologie “in te dammen” en ethische richtlijnen te ontwikkelen, kan een instabiele wereldorde worden voorkomen. Het is aan overheden, bedrijven en burgers om gezamenlijk verantwoordelijkheid te nemen voor de balans tussen vooruitgang en veiligheid.

Containment

Mustafa Suleyman gebruikt de term ‘containment’ om een strategie te beschrijven waarmee we de risico’s van krachtige opkomende technologieën, zoals kunstmatige intelligentie (AI) en synthetische biologie, kunnen beperken en beheren. Het concept is geïnspireerd door het idee van “containment” uit de Koude Oorlog, waarbij de verspreiding van bepaalde risico’s werd ingedamd om globale catastrofes te voorkomen. Hier is hoe Suleyman het begrip invult en hoe hij het voorstelt te realiseren

Bij ‘containment’ draait het om het beheersen van de risico’s die gepaard gaan met opkomende technologieën zoals kunstmatige intelligentie (AI) en synthetische biologie. Het gaat erom te voorkomen dat deze technologieën zich ongecontroleerd ontwikkelen en mogelijk schadelijke gevolgen hebben.
Suleyman benadrukt het belang van een proactieve aanpak om catastrofale scenario’s af te wenden voordat technologieën hun volledige destructieve potentieel bereiken. Het doel van containment is niet om innovatie te stoppen, maar om een kader te scheppen waarin de voordelen van technologie benut kunnen worden, terwijl de risico’s zoveel mogelijk worden geminimaliseerd.

Hoe containment te realiseren?
Om containment te realiseren, stelt Suleyman verschillende concrete stappen voor. Allereerst pleit hij voor internationale samenwerking, omdat technologieën landsgrenzen overstijgen. Landen moeten gezamenlijk regels en normen opstellen, vergelijkbaar met internationale verdragen over nucleaire wapens. Strikte regelgeving is daarbij essentieel om een ongecontroleerde technologische wedloop te voorkomen. Overheden moeten bijvoorbeeld bepaalde toepassingen van technologie, zoals autonome wapens, verbieden en bedrijven verplichten om veiligheidschecks en audits uit te voeren. Transparantie-eisen kunnen daarbij helpen om bedrijven verantwoordelijk te houden.

Een ander belangrijk element is technologisch toezicht, uitgevoerd door onafhankelijke organen die controleren of technologieën veilig en ethisch worden gebruikt. Daarnaast moet het bewustzijn onder beleidsmakers en het publiek worden vergroot, zodat zij de risico’s begrijpen en beter in staat zijn om verantwoorde beslissingen te nemen. Educatieprogramma’s, publieke debatten en de verspreiding van kennis spelen hierin een cruciale rol.

Suleyman benadrukt ook het belang van ethische en technologische beperkingen. Technologieën moeten vanaf het begin worden ontworpen met ingebouwde veiligheidsmechanismen, zoals ‘kill switches’ of beperkingen op autonomie, om misbruik en ongelukken te voorkomen. Tegelijkertijd is het noodzakelijk dat de voordelen van technologieën eerlijk worden verdeeld, zodat deze niet uitsluitend ten goede komen aan rijke landen of grote bedrijven. Subsidies, mondiale fondsen en initiatieven kunnen ervoor zorgen dat ontwikkelingslanden ook toegang krijgen tot deze innovaties. Sommige technologieën met een hoog risico, zoals projecten die inherent gevaarlijk zijn, moeten volledig worden stopgezet, wat internationale handhaving en sancties vereist.

Suleyman erkent echter dat containment geen gemakkelijke opgave is. De concurrentie tussen staten en bedrijven zal ertoe leiden dat sommige partijen regels proberen te omzeilen om een voorsprong te krijgen. Bovendien is het lastig om alle mogelijke gevolgen van technologieën te voorspellen, en ontwikkelt wet- en regelgeving zich vaak te traag om het tempo van technologische vooruitgang bij te benen.

Toch stelt Suleyman dat containment cruciaal is, niet alleen voor veiligheid, maar ook voor het voortbestaan van onze samenlevingen, ecosystemen en de mensheid als geheel. Zonder containment riskeren we een toekomst waarin we de controle verliezen over onze wereld. Daarom is mondiale samenwerking, visionair leiderschap en een gezamenlijke inspanning noodzakelijk om technologie in goede banen te leiden.

Tot slot
Dit is een boek waar ik als lezer niet vrolijker van ben geworden. De scenario’s die Suleyman schetst zijn zonder meer plausibel en leiden ze tot een grotere surveillance state waar Zuboff eerder in haar boek “The Age of Surveillance Capitalism’ op duidde. Technologieën die bedoeld waren om ons meer vrijheid te verschaffen blijken een donkere schaduwzijde te hebben die we beter, zonder ‘pessimism aversion’ recht in de ogen kunnen gaan kijken en er niet voor weglopen.

Max Herold
Februari 2025

Meest recente artikelen

De wereld in 2025 (The Economist)

Ieder jaar publiceert The Economist in december de verwachtingen over internationale ontwikkelingen voor het volgende jaar. The Economist slaagt er altijd weer in om in

Lees verder »

Radetzkymars

Het is een boek dat je geproefd moet hebben, in kleine teugjes opdrinkend, de smaak door laten werken op je tong, reflecterend op de aangereikte

Lees verder »
Niet gecategoriseerd

Paradigma’s en je toekomst

Een overeenkomst tussen Volkswagen, de Tweede Kamer, verouderde godsdiensten, culturen, ambtenaren en eigenlijk iedereen. Talloze bedrijven, politieke bestuursculturen, ambtenaren, hoogleraren en geloven kunnen last hebben

Lees verder »

Fascisme en populisme – Mussolini nu

Met een krachtige en geruststellende charme verleidde Mussolini honderd jaar geleden Italië. Met krachtige en geruststellende charme zien we een nieuwe generatie leiders in Europa

Lees verder »