Grote taalmodellen en de aha-erlebnis

In dit artikel:

In een recente blog reflecteert de auteur op de vraag waarom grote taalmodellen (llm’s) moeite hebben met volledig nieuwe problemen, terwijl mensen snel tot generieke principes kunnen komen. De schrijver legt uit dat mensen abstraheren door context weg te snijden en zo tot niet-omkeerbare compressies of principeconcepten te komen: ze voelen intuïtief aan welke details genegeerd mogen worden. Llm’s herkennen veel patronen uit trainingsteksten, maar missen volgens de auteur een intrinsieke drijfveer om systematisch te veralgemeniseren en principes te vormen.

Dat gebrek aan een doelgerichte motivatie maakt modellen minder sterk in het bedenken van impulsieve, creatieve ingangen of ketens van onverwachte ideeën die bij menselijke probleemoplossing vaak naar voren komen. Tegelijkertijd is de schrijver optimistisch: binnen enkele jaren verwacht hij modellen die doelbewust kunnen schakelen naar gespecialiseerde “toolboxen” — bijvoorbeeld wiskundige modules, theorem provers of causale analysetools — en zo veel effectiever nieuwe problemen aanpakken.

Als kanttekening merkt de blogschrijver op dat de typische menselijke aha‑sprong, het bedenken van volledig nieuwe verbanden, mogelijk langer lastig blijft voor ai. Toch voorspelt hij dat llm’s op termijn op veel van die terreinen de mensheid dramatisch kunnen overtreffen.