WEBVTT

1
00:00:00.080 --> 00:00:09.720
Welkom bij AI Report, de Nederlandse podcast over kunstmatige intelligentie waar we uitzoeken welke invloed AI heeft op ons werk, ons leven en de samenleving.

2
00:00:09.740 --> 00:00:17.959
Deze week interview ik Rik Lamers, een eerdere gast in de podcast die toen nog werkte bij Grok met een Q. Inmiddels werkt Rik bij Nvidia.

3
00:00:18.000 --> 00:00:30.820
Ik praat met Rik over GPT 5.4, over het nieuwe lab van Yann LeCun, Recursive Self-improvement en de AGI timelines van Rik. Voordat ik dat doe eerst even het nieuws.

4
00:00:32.940 --> 00:00:46.060
[muziek] GPT 5.4 is het beste nieuwe model van OpenAI.

5
00:00:46.640 --> 00:00:59.320
Wat opvalt is dat het een stuk beter presteert op de benchmarks die ertoe doen en vooral de computer use, oftewel de mogelijkheid voor modellen om computers te gebruiken door rond te klikken en apps te gebruiken die normaal mensen gebruiken, is een stuk beter geworden.

6
00:00:59.880 --> 00:01:08.420
Daarnaast zijn spreadsheet taken, dus bijvoorbeeld het besturen van Excel en Excel sheets analyseren een stuk beter geworden. Het is niet enkel halleluja.

7
00:01:08.920 --> 00:01:24.940
GPT 5.4 hallucineert nog steeds, dus check je outputs nog altijd en zet je thinking mode aan, want de standaard 5.4 is een stuk dommer dan de thinking versie. Dan Anthropic onderzoekt welke banen door AI geraakt worden.

8
00:01:25.360 --> 00:01:39.980
In een onderzoek gebaseerd op de gebruikersdata die Anthropic via Claude kan verzamelen over Claude gebruik, hebben ze een overzicht gemaakt van alle verschillende domeinen waarbinnen Claude al ingezet kan worden en ingezet wordt.

9
00:01:40.000 --> 00:01:50.300
Dat is een belangrijk verschil, want Claude wordt eigenlijk nog niet op alle plekken waar het al ingezet zou kunnen worden ingezet. En er zijn bepaalde plekken waar Claude niet ingezet kan worden op dit moment.

10
00:01:50.420 --> 00:01:57.940
Het creëert een soort visualisatie van het kleine stukje waar AI al ingezet wordt binnen de verschillende sectoren.

11
00:01:57.980 --> 00:02:06.200
Een heel groot deel waar AI al ingezet zou kunnen worden, maar ook een heel groot deel waar AI eigenlijk nog niet goed ingezet kan worden. Wat houdt het dan in?

12
00:02:06.980 --> 00:02:20.100
Dat je volgens Anthropic, als je de AI dans wil ontspringen monteur, kok, barkeeper of badmeester moet worden. Dan meer nieuws van Anthropic. Anthropic heeft een denktank opgericht, het Anthropic Instituut.

13
00:02:20.640 --> 00:02:33.980
Een instituut dat moet uitzoeken wat de maatschappelijke gevolgen zijn van krachtige AI die op korte termijn, uh, zal komen. Korte termijn houdt in: begin 2027 AI is zo slim als de meeste mensen.

14
00:02:34.280 --> 00:02:45.460
Als die modellen inderdaad zo snel komen en zo krachtig zijn in 2027, dan hebben we als samenleving nog wel een paar grote vragen te beantwoorden. Wat gebeurt er als al die banen er niet meer zijn met de samenleving?

15
00:02:46.150 --> 00:02:58.340
Wie beslist over de waarden die in AI-systemen terechtkomen? Oftewel wie bepaalt hoe AI er uiteindelijk uit komt te zien? Het instituut komt op een cruciaal moment voor Anthropic.

16
00:02:58.760 --> 00:03:14.200
Het bedrijf ligt nog altijd in de clinch met de Amerikaanse overheid en heeft inmiddels een rechtszaak aangespannen om van de zwarte lijst afgehaald te worden, waardoor ze op dit moment volgens de rechtbankdocumenten honderden tot meerdere miljarden aan omzet mislopen.

17
00:03:14.340 --> 00:03:30.020
[muziek] Goed, ik spreek deze week met Rik Lamers. Rik is terug in de studio. We hebben hem twee keer eerder gesproken. Ik sprak hem deze zomer nog over GPT 5. Inmiddels zijn we bij GPT 5.4 aangeland.

18
00:03:30.260 --> 00:03:42.420
Ik bespreek met Rik wat de verschillen zijn, uh, wat de verbinding is tussen programmeermodellen, wetenschap. Waarom zoveel programmeurs zo onder de indruk zijn van wat GPT 5.4 kan.

19
00:03:43.100 --> 00:03:49.140
Waarom Yann LeCun bij Meta weggegaan is om een hele nieuwe weg in te slaan als het om AI-modellen bouwen gaat.

20
00:03:49.860 --> 00:03:56.020
Hoe deze modellen mogelijk met elkaar kunnen gaan samenwerken in de toekomst in de vorm van een soort model ensemble.

21
00:03:56.860 --> 00:04:15.120
Wat dit betekent voor AGI timelines en hoe we uiteindelijk met elkaar kunnen analyseren en kijken naar een toekomst waarin mogelijk modellen op korte termijn sprongen maken die veel van ons niet zien aankomen.

22
00:04:15.400 --> 00:04:23.380
Ik heb mijn best gedaan om metaforen te bedenken wanneer nodig en, uh, Rik te onderbreken als het allemaal erg snel ging.

23
00:04:23.940 --> 00:04:34.880
Mocht je het nou alsnog snel vinden gaan, kun je natuurlijk altijd de podcast op een lager tempo afspelen of hem gewoon even op pauze zetten en een stukje gaan wandelen. Heel veel plezier!

24
00:04:35.460 --> 00:04:51.460
Ik vond het in ieder geval een heel erg interessant gesprek. [muziek] Rik, de laatste keer dat wij elkaar spraken toen, uh, werkte je nog niet bij Nvidia. Nu wel. Gefeliciteerd, I guess. Ja, mooie stap. Hoe is het daar?

25
00:04:52.060 --> 00:05:05.719
Heel erg vet. Uh, ik ben bij Nvidia gekomen via de Grok deal. Deel van het technisch personeel ging mee naar Nvidia en, uh, ik vind het geweldig. Het is een soort kind in een snoepwinkel voor mij.

26
00:05:06.200 --> 00:05:13.960
Ja, want je hebt een unlimited token budget heb ik begrepen. Ja, dit is de nieuwe meme ook op internet van waar [gniffelt] waar, waar ga je werken?

27
00:05:14.060 --> 00:05:22.520
Nou, let in ieder geval niet alleen maar op salaris, maar ook op je token budget. En we hebben bij Nvidia praktisch oneindig. Echt praktisch oneindig gewoon.

28
00:05:22.760 --> 00:05:29.660
Je kan gewoon in principe onbeperkt gebruiken totdat er misschien IT of zo naar je toe komt. En voor de mensen die nu denken what?

29
00:05:30.100 --> 00:05:42.080
Waar we het over hebben is, uhm, als jij een abonnement hebt op de verschillende AI-modellen, dan zit daar een token budget bij. Daar kan je overheen namelijk. Je moet even wachten tot de dag daarna.

30
00:05:42.800 --> 00:05:53.480
Niks is echt daadwerkelijk unlimited, behalve bij een aantal grote AI-bedrijven die jou als werknemer beloven: jij kan eigenlijk doen waar je zin in hebt en zoveel mogelijk tokens gebruiken.

31
00:05:53.720 --> 00:06:07.824
En blijkbaar- Ik vind het ook echt een goed idee, want er is gewoon een enorme reductieEn de kosten die gemaakt moeten worden om een token te produceren, dat, dat laten ze, laten ze ook keer op keer zien in allerlei

32
00:06:08.744 --> 00:06:15.064
studies die gemiddeld van de markt nemen en gemiddeld dus qua kosten per token. Maar ook hoe slim, hoe goed die tokens zijn.

33
00:06:15.144 --> 00:06:26.484
En, uhm, je moet, je moet personeel denk ik conditioneren dat je, dat je veel meer ervan kan en mag gebruiken dan, dan misschien redelijk voelt op dit moment, gegeven de huidige kosten.

34
00:06:26.784 --> 00:06:39.664
Omdat je mensen wil primen als het ware van: je moet, uhm, dit is goedkoop, zeg maar, dit is niet duur, ook al kost het nu bijvoorbeeld in een dag $ 400. Wat natuurlijk enorm veel tokens gebruik is op één dag.

35
00:06:40.144 --> 00:06:41.764
Maar die, uh,

36
00:06:42.784 --> 00:06:54.404
dat proces, dat doen, dat kost over zes maanden waarschijnlijk nog maar $ 40 of, of $ 100 per dag en zes maanden daarna kost het echt $ 40, dus dan is het tien keer minder in een periode van een jaar, zeg maar. En

37
00:06:55.704 --> 00:07:02.473
als je in je hoofd al helemaal gaat denken van: hoe kan ik iets doen als ik gewoon daar even geen rem op zet, dan ga je al anders nadenken.

38
00:07:02.473 --> 00:07:15.964
Bedoel je te zeggen dat mensen die nu, uh, verschillende AI-tools gebruiken waar ze zich bewust zijn van het token gebruik, dat ze een token schaarste ervaren van: oké, ik moet hier niet te snel te veel mee doen, want anders loop ik over mijn abonnement heen.

39
00:07:15.984 --> 00:07:21.684
En dan ga je eigenlijk al jezelf beperken. En dat is op zich logisch vanuit een geldbesparing perspectief.

40
00:07:21.734 --> 00:07:31.604
Maar, maar in een markt waarin die kosten zo snel dalen, uhm, en waar je zo snel moet leren om het maximale uit de tools te halen, omdat dat ook telkens verandert. Omdat die modellen steeds meer kunnen.

41
00:07:31.614 --> 00:07:40.064
Dus je moet telkens weer ontdekken waar liggen de nieuwe limieten. Dat het heel bevorderlijk werkt voor adoptie als je er letterlijk gewoon geen rem op zet effe.

42
00:07:40.364 --> 00:07:48.124
Natuurlijk, als je na zes maanden denkt: hé joh, de kosten lopen echt de pan uit en dat heb ik echt, dat punt heb je bereikt, kan je daarna altijd nog wel wat afremmen.

43
00:07:48.144 --> 00:08:00.804
Maar ik denk dat nu mensen heel erg voorbarig, uhm, zichzelf remmen omdat ze denken: ja, maar ik wil niet dat die kosten uiteindelijk te hoog worden. Uhm, maar even een stapje terug. Ik werk dus bij Nvidia. Super mooi.

44
00:08:01.464 --> 00:08:12.224
Groot beursgenoteerd bedrijf, dus ik moet er ook gelijk bij zeggen wat ik zeg in deze podcast aflevering. Er zijn mijn meningen, niet de meningen van Nvidia. Uh, standaard corporate disclaimer, maar wel echt waar.

45
00:08:12.924 --> 00:08:18.984
Uhm, maar ik heb er heel veel zin in, want we hebben heel veel om over te hebben. Ja, we hebben samen allebei een lij-- we hebben allebei een lijstje gemaakt.

46
00:08:19.784 --> 00:08:31.484
Iets meer structuur dan eerdere gesprekken die we hebben gehad. Of het gaat helpen weet ik ook niet. Weet ik ook niet. Ik denk dat, uh, wij hebben de laatste keer gesproken over GPT-5. Dat was tijdens de zomer.

47
00:08:32.064 --> 00:08:43.824
Die kwam toen uit en het was een soort dud. Iets wat niet spectaculair was, maar ook spectaculair tegelijk. Kleine recap: er zat een router tussen of zit een router tussen die het model kiest aan de hand van jouw vraag.

48
00:08:44.224 --> 00:08:57.464
Inmiddels zijn we bij GPT-5.4, dus.1,.2,.3 en nu.4 en hebben we eigenlijk, in ieder geval dat is mijn lezing, een iets meer volwassen versie van wat GPT-5 is. Misschien wel,

49
00:08:58.384 --> 00:09:05.244
als we dit hadden gehad in augustus, dan had het meer effect gehad denk ik. Uh, wat vind jij?

50
00:09:05.964 --> 00:09:17.784
5.3 hebben we niet gehad voor de consumenten, alleen Codex, dus dat was alleen het code, uh, het gespecialiseerde coding model. Het is misschien wel goed om een beetje toe te lichten, dicht-lichten voor de luisteraar.

51
00:09:19.284 --> 00:09:28.964
Rick en ik zijn ontwikkelaars, dus zitten, praten met deze modellen en zien deze modellen op een andere manier dan dat jullie, veel van de luisteraars, ze zien in jullie ChatGPT app.

52
00:09:29.044 --> 00:09:39.284
Als je al bewust aan het kiezen bent tussen modellen daar. En inderdaad de vijf punt, het 5.3 model was een Codex model en is dus nooit voor de eind-eindgebruiker beschikbaar geweest.

53
00:09:39.764 --> 00:09:43.424
Klopt en ik maak zelf ook wel gebruik van de ChatGPT app.

54
00:09:43.504 --> 00:09:55.504
Ik vergelijk eigenlijk dagelijks de Gemini app, ChatGPT, xAI Grok en, uhm, Claude van Anthropic, omdat ik gewoon merk dat ik nog steeds niet de vinger erop kan leggen op dit moment

55
00:09:56.464 --> 00:10:05.904
voor wat soort vragen, uhm, eigenlijk altijd één app dominant is. Dus, dus soms merk ik: hé, ik vind dit antwoord net iets fijner en soms dat antwoord net iets fijner.

56
00:10:05.964 --> 00:10:19.364
Dus ik, ik gebruik al die apps en dus ik gebruik ook ChatGPT. En ik had dus ook geen 5,3 in, of 5.3 in, in mijn ChatGPT omdat dat een, uh, zeg maar coding only model was. En nu zijn we bij 5.4.

57
00:10:19.984 --> 00:10:30.304
Wat, die is vorige week donderdag uitgekomen, net toen ik aan het opnemen was, maar met Alexander, dus wij hebben het daar nog niet over gehad. Hoe is nu een beetje de, wat is jouw gevoel erbij?

58
00:10:30.704 --> 00:10:40.524
Jij dacht net en ik ook, dat hij een maand geleden was uitgekomen. Ik denk dat dat al iets zegt. Want dat is niet waar. Het is een week geleden [lacht] en dat is een soort hele rare tijdsverdichting of zo.

59
00:10:40.824 --> 00:10:47.944
Of tijdsverlen-- ik weet niet hoe ik het moet noemen, die er nu plaatsvindt. Maar ben jij, ben je onder de indruk? Wat zijn de teksten die je online hebt gelezen?

60
00:10:48.664 --> 00:10:58.924
Ja, ik, ik heb het idee zelf ook als je kijkt naar de berichtgeving van OpenAI erover dat die wel ook klopt met mijn perceptie en ook hoe ik andere mensen buiten OpenAI er, erover hoor spreken.

61
00:10:58.964 --> 00:11:09.624
En dat is dat, het was een, uh, een unificatie of een unification, een vereniging, het samenbrengen van eigenlijk, uh, het Codex model, de Codex serie dus.

62
00:11:09.664 --> 00:11:19.104
Dus het is op zich handig dat je ook net die context gaf, want er zijn dus echt twee modellen. Je hebt 5.3 Codex. Dat is echt een model gemaakt voor gebruik tijdens het programmeren in een code.

63
00:11:19.204 --> 00:11:27.424
Wat best bijzonder is, want Anthropic bijvoorbeeld heeft hun Opus. Er is maar één. Heeft er maar één, maar OpenAI had dat ook heel lang, dus het is volgens mij ook een beetje Conway's Law.

64
00:11:27.544 --> 00:11:37.804
Dat is een, uh, principe dat je je, de organisatiestructuur, dat dat uiteindelijk ook bepaalt hoe producten naar buiten komen. Dat die dan een soort reflectie zijn van interne initiatieven.

65
00:11:37.844 --> 00:11:44.604
En ik heb het idee dat er ook een soort skunkworks project misschien was. Weet ik niet, is gewoon gokken van mij van buitenaf.

66
00:11:45.104 --> 00:11:53.144
Dat, uh, Codex kwam uit een soort, uh, push om beter te gaan presteren op coding en dat er daardoor die modellen kwamen.

67
00:11:53.884 --> 00:12:05.612
Wat we ook weten is dat die Codex modellen, die zijn over het algemeen heel gekoppeld aan, uh, de specifieke structuur van de, uh, codingHarness wordt dat genoemd.

68
00:12:05.872 --> 00:12:16.332
Uh, j-- praktisch gezien is dat een soort terminal programma waar je in, uh, kan praten met het model. Dat, dat het model gekoppeld is aan de specifieke details van dat coding harness.

69
00:12:16.372 --> 00:12:18.972
Ja, misschien voor de mensen die wat termen tegelijk horen.

70
00:12:19.552 --> 00:12:30.312
In het geval van bijvoorbeeld Cloud Code, wat een harnas is rondom de cloud modellen, praat Cloud Code eigenlijk met de standaard, uh, Haiku, Sonnet en Opus modellen.

71
00:12:30.932 --> 00:12:41.452
Ook al zijn die modellen al wel weer een beetje gefinetuned op de harness heb ik begrepen, maar het zijn dezelfde modellen. Codex, een app van OpenAI voor Windows en, uh, voor Mac en inmiddels ook Windows.

72
00:12:42.132 --> 00:12:55.812
Die praat eigenlijk standaard met een Codex specifiek model en kan ook wisselen naar andere modellen. Ook naar hun eigen algemene model 5.2 en nu 5.4. En het vij-- maar is nu met die 5.4, komt er ook geen 5.4 Codex.

73
00:12:56.132 --> 00:13:04.832
Ja, klopt, dat komt er dus niet. Dat is de unification waar jij het over had. Dat is het inderdaad, het samenbrengen van die Codex series, uh, terug naar het main, main model.

74
00:13:05.272 --> 00:13:16.732
Dus de, de primaire, uh, zeg maar bijdrage van 5.4 ten opzichte van 5.2 is dat Codex nu dus samengevoegd is, geen aparte modelserie meer is.

75
00:13:17.432 --> 00:13:25.192
Wat ze in 5.4 ook hebben weten te bereiken is ten opzichte van 5.3 Codex, dus ook specifiek voor het code is dat die token efficiënter is geworden.

76
00:13:25.232 --> 00:13:44.482
Dat wil zeggen: die modellen zijn, uh, reasoning modellen, dus die, die produceren eerst tokens om na te denken over wat er wordt gevraagd en dan, als ze het gevoel hebben: ik ben klaar om een antwoord te geven, schakelen ze van nadenken naar antwoord geven en hoeveel, uh, tokens ze tijdens dat nadenken produceren, dat is token efficiency.

77
00:13:45.152 --> 00:13:51.752
En daar hebben ze een verbetering in ge, ge, gerealiseerd met 5.4 ten opzichte van 5.3 Codex.

78
00:13:51.912 --> 00:14:00.632
Dus hij is voor het bereiken van hetzelfde kwaliteitsniveau, dat, dat, je kan vaak een soort knop, uh, uh, low, medium, high of extra high.

79
00:14:01.332 --> 00:14:14.232
En op diezelfde high stand, uh, bereiken ze dus dezelfde kwaliteit als dat 5.3 Codex model op high, maar in iets van, ik geloof de helft van de hoeveelheid tokens. Dus echt een stuk efficiënter.

80
00:14:14.372 --> 00:14:18.892
Ja, en die knoppen die jij net, uh, beschrijft, hè, medium, high, uh, ultra high, extra high.

81
00:14:19.032 --> 00:14:28.572
Ik, nou, ik zie ze heel vaak online langskomen en ik kies dan zelf in het geval van programmeren altijd maar voor hoog, omdat ik denk: dat zal wel beter zijn, maar ik ben daar eigenlijk best wel naïef over.

82
00:14:29.032 --> 00:14:34.832
Uh, i-- dit is trouwens niet iets wat je in de consumer app van ChatGPT kunt aangeven, toch? Ik bedoel, daar kun je- Kan je wel. Hoe?

83
00:14:34.872 --> 00:14:46.432
Er is een, uh, als je dus kiest voor het, uh, thinking model in de ChatGPT app en dan sidestep je dus die router. Dan ga je dus altijd naar het thinking model.

84
00:14:46.552 --> 00:14:56.612
En dan, als je dat doet in die app, dan krijg je een soort pop-up in je text area waar je de prompt kan invoeren en daar kan je op klikken en dan kan je klikken op extended en hij staat standaard op standard.

85
00:14:57.312 --> 00:15:04.212
En dus bij standard zal die wel, weet ik niet zeker, maar dan vertaalt hij waarschijnlijk intern naar medium op de API. En als je klikt op extended dan gaat hij naar high.

86
00:15:04.692 --> 00:15:14.072
Interessant, dus we hebben wel een soort keuze daar als eind-eindgebruiker. Ja. Maar kan je-- want wat gebeu-- wat doen we daar dan eigenlijk? Je geeft daarmee aan dat je

87
00:15:15.512 --> 00:15:28.342
bereid bent om te wachten, langer te wachten op een hogere kwaliteit antwoord, uhm, en waarschijnlijk dat je ook iets sneller door je budget heen gaat, want er zijn van die, van die limits.

88
00:15:28.392 --> 00:15:35.752
Als jij de hele dag ChatGPT gebruikt, kom je op een gegeven moment een keer, zegt ie: je mag over zoveel uur pas, uh, opnieuw weer een vraag stellen binnen je, binnen je abonnement.

89
00:15:36.022 --> 00:15:46.192
Ja, want zit er dan aan de achterkant een soort, of in dat model iets van: oké, sorry, je hebt lang genoeg nagedacht. Het is bijna een soort mondeling examen waar de, waar de docent zit van: ja. Tijd is op. Sorry man.

90
00:15:46.612 --> 00:15:59.932
En is dat, is dat, die tijd is gewoon langer. Ef, ef-- of zeg ik het nu veel te simpel? Nou, hoe het werkt is dat, die modellen die krijgen deze informatie over hoeveel tijd ze mogen nadenken mee in het system prompt.

91
00:16:00.772 --> 00:16:08.952
Dat is een techniek die nu gebruikt wordt en misschien dat ze het op een, in de toekomst op een andere manier doen. Maar dat is een, geen, geen strikt limiet, maar is een hint naar het model.

92
00:16:09.672 --> 00:16:24.612
En dus als je het model, uh, de, de, de modellen, dus de beste modellen nu van OpenAI en zowel Anthropic, die zijn niet meer strikt gebudgetteerd in de zin van: je mag 16.000 tokens nadenken en, uh, je moet ook echt 16.000 tokens nadenken.

93
00:16:24.632 --> 00:16:34.412
Er wordt dan bijvoorbeeld gezegd: denk extra lang na en dan gaat ie langer nadenken. Maar als jij dan hele domme simpele vraag zegt of, of je zegt gewoon: zeg hallo, dan is het wel direct.

94
00:16:34.612 --> 00:16:43.972
Dus hij is nog steeds wel dynamisch. Hij kan ook beslissen om, om gewoon eerder te stoppen als het niet iets echt is om aan te denken. Is, uh, de router waar wij het in augustus over hadden weg?

95
00:16:44.272 --> 00:16:54.792
Die domme router is er ook nog. Nee, die router is er. Of die beter is geworden, daar laten zij volgens mij, voor zover ik weet, geen statistieken over of een soort evals over los.

96
00:16:54.932 --> 00:17:05.772
Uhm, ik ben nu geconditioneerd in ieder geval om in die ChatGPT app altijd gewoon thinking aan te klikken, omdat ik weet als ik naar dat instant model ga, dan is het antwoord over het algemeen vrij slecht.

97
00:17:06.472 --> 00:17:18.792
En, uhm, ik weet wel dat ze 5.3 Instant hebben gelanceerd, heel recentelijk, dus er was wel eigenlijk, zeg, zei, heb ik kitscherig in het begin. Er was wel een 5.3 model. Alleen de kleine. De instant variant.

98
00:17:19.172 --> 00:17:34.552
Uh, die was eerder dan 5.4 en die wordt voor zover ik weet nu ook gebruikt als je routing doet, uhm, naar, uh, als je dus 5.4 met automatisch selecteert, dan ga je volgens mij naar 5.3 Instant als die beslist: we gaan niet nadenken.

99
00:17:34.872 --> 00:17:49.142
Ja, en nu, uh, ik lees best wel veel online dat, uh, de stap 5.2 naar 5.4, hè. Laten we heel even vergeten dat er een mini 5.3 geweest is en dat er een 5.3 Codex geweest is. Aha.

100
00:17:49.172 --> 00:17:54.132
Dus ik heb het echt over de meeste eindgebruikers van de ChatGPT app.

101
00:17:54.532 --> 00:18:04.752
Hoe die, als ze thinking aanzetten, hè, of in ieder geval een vraag stellen die thinking triggert via de router, een kwalitatief verschil voelen tussen 5.2 en 5.4.

102
00:18:05.412 --> 00:18:13.440
En ik, ik zie, ik zie bijvoorbeeld gewoonGemiddelde gebruikers die zeggen van: oké, wow, ik, ik, ik heb mijn eigen vragen die vroeger niet konden, et cetera.

103
00:18:13.840 --> 00:18:25.780
Maar ik zie ook vooral heel veel indrukwekkende opmerkingen langskomen en ook wel wat hype bij mensen die dingen doen in wetenschap, wiskunde en hard science. Kan je dat verklaren? Wa-wat gebeurt daar nu ineens?

104
00:18:26.480 --> 00:18:37.040
Nou, het, het, uhm, [schraapt keel] het feit dat je van 5.2 naar 5.4 bent gegaan zonder een 5.3 thinking zegt al wel iets.

105
00:18:37.100 --> 00:19:01.820
Ik denk omdat dat, uhm, aanduidt dat wat ze in plaats van een 5.3 thinking lanceren hebben ze, zijn ze zeg maar in één keer gesprongen naar, naar dat Codex model erin en dus hebben ze-- i-ik denk dat ze intern en ik speculeer een beetje, maar dat ze, ze zeggen ook best wel veel, dus dit is ook een beetje gewoon lezen wat zij zelf erover zeggen, is dat ze dus gewoon een los, uh, model hebben dat n-niet aan reasoning doet.

106
00:19:02.300 --> 00:19:16.660
Daarnaast hadden ze het reasoning model voor de ChatGPT app, de, de thinking variant en daarnaast hadden ze de Codex variant en het samenvoegen van die Codex variant die heel erg goed was in coding en het en het, uh, algemene thinking model.

107
00:19:17.080 --> 00:19:28.450
Die twee gezamenlijk, uhm, dat was denk ik best wel een grote stap intern. En dat betekent misschien ook het combineren van de training pipeline en, en andere stappen die je zet om zo'n model te produceren.

108
00:19:28.580 --> 00:19:39.100
Het zijn niet even twee soepen die je bij elkaar gooit in een pan. Ja, en, en die combinatie, die voelt heel anders lijkt wel. En, en, en, en een misschien een grotere stap gevoelsmatig.

109
00:19:39.160 --> 00:19:50.140
Maar wat wel denk ik gezegd moet wo-worden is dat ten opzichte bijvoorbeeld van 5.3 Codex voor als je het gebruikt, want jij, jij noemt wetenschap, maar er zijn ook veel wetenschappers die bijvoorbeeld programmeren om hun wetenschap te doen.

110
00:19:51.000 --> 00:20:03.799
En 5.3, uh, Codex en 5.4 zijn qua code in principe even capabel. Alleen de ene is dus efficiënter en gebruikt minder tokens, maar ze bereiken wel hetzelfde niveau. Ze plateauen ongeveer op hetzelfde punt.

111
00:20:04.640 --> 00:20:10.880
Eén ander belangrijk ding over 5.4 nog en ik weet niet hoeveel je nog over 5.4, maar 5.4 is ook een stuk beter geworden.

112
00:20:11.100 --> 00:20:18.459
Het heeft ook wel een beetje meer te maken met: wat is die, die 5.4 lancering nou eigenlijk inhoudelijk? Is heel veel beter geworden in computer use.

113
00:20:19.239 --> 00:20:29.860
En dan heb ik het specifiek over dat multimodel van je ziet een scherm en je kan klikken. Ja, muis emuleren. Muis emuleren. Gebruiker nadoen. Browser bekijken, software openen, dat soort dingen.

114
00:20:30.660 --> 00:20:32.700
En daar- Een flinke, flinke stap. Hele grote stap.

115
00:20:32.800 --> 00:20:52.850
En dat is misschien wel een boeiende, want er is, uh, er wordt al lang onderzoek gedaan naar en gespeculeerd over wat, uh, bij mensen is het bijvoorbeeld zo dat, uh, wanneer jij, uh, gaat, uh, boulderen, uh, klimmen, uh, dan krijg je best wel goeie fijne, fijne motoriek, uh, dankzij het boulderen.

116
00:20:52.880 --> 00:21:03.520
Want je moet die, uh, holds vasthouden, je klimt omhoog, et cetera. En op alle andere punten in je leven waarin, zeg maar, die fijne motoriek handig is, heb je dan allemaal voordeel. Ook buiten het boulderen.

117
00:21:03.840 --> 00:21:05.700
Net als oosterse vechtsport.

118
00:21:05.720 --> 00:21:16.420
Als jij daar leert, uh, bijvoorbeeld je ademhaling te beheersen om, uh, je tegenstander beter te kunnen, uh, uh, uh, anticiperen, dan ga jij op andere plekken in je leven ook beter anticiperen.

119
00:21:16.980 --> 00:21:23.620
Dit is waarom het, uh, zo goed is om je kinderen op Japanse vechtsport te doen bijvoorbeeld. Want het, dat generaliseert naar veel meer facetten van je leven.

120
00:21:23.660 --> 00:21:37.120
En wat ik jou nu eigenlijk hoor speculeren is dat op het moment dat jij, uh, dat ze bij OpenAI Codex, een model wat eigenlijk specifiek, uh, uh, ja, een soort van expert coding model is,

121
00:21:38.100 --> 00:21:59.160
merged in een soort hybrid model, uh, met het meer generalistische, uh, GPT model dat alle, uh, problemen die geformaliseerd kunnen worden, dus hard science, de wetenschap, eigenlijk voordeel hebben bij het, uh, blenden van dat, van dat programmeermodel in ieder geval dat sugge-- dat, dat is een beetje de suggestie toch, die er is?

122
00:21:59.400 --> 00:22:14.740
Dat is, denk ik wel de richting die veel mensen terugzien die modellen maken. Dus dat je in die zin transfer learning hebt tussen bepaalde subdomeinen als die elkaar best wel direct, zeg maar, beïnvloeden.

123
00:22:15.060 --> 00:22:23.240
Dus als jij, uh, in de wiskunde bijvoorbeeld is er heel veel te doen nu ook met bijvoorbeeld ook veel, uh, heel nuttig commentaar van Terence Tao.

124
00:22:23.480 --> 00:22:32.919
Dat is een, een bekende wiskundige, uhm, soort child prodigy en heeft heel veel bijzondere resultaten al behaald en is jong professor bij allerlei goede universiteiten en zo.

125
00:22:33.720 --> 00:22:42.460
En hij, uhm, gebruikt modellen net als heel veel andere wiskundigen om wiskundige bewijzen te schrijven in formele programmeertalen zoals Lean.

126
00:22:43.600 --> 00:23:00.160
En, uhm, als jij voorheen aan ChatGPT 5.2 vroeg: kun je mij in Lean een bewijs geven voor dit, uh, voor dit, voor dit, voor dit wiskundeprobleem? Dan kon die dat al, maar 100% dat, dat 5.4 dat beter doet.

127
00:23:01.320 --> 00:23:15.200
Want 5.3 Codex was wel veel beter in code dan 5.2. En als je dan kijkt, ik heb dit wel eens, uhm, de CEO van Anthropic horen zeggen, Dario Amodei, dat, uh, er een soort, uhm,

128
00:23:16.300 --> 00:23:29.340
stappen, stappen zijn van, uh, software maken. Dus je hebt AI die software maakt. Uh, AI zelf is ook software, dus daar kan je dan, uh, AI inzetten om je AI-software te verbeteren.

129
00:23:29.400 --> 00:23:40.180
Dus cloud code, bout cloud code, daar zijn we al, zeg maar. En Codex bout Codex, enzovoorts. Maar dat je, en, en dat je uiteindelijk ook, uh, wetenschap kunt gaan doen.

130
00:23:40.220 --> 00:23:48.280
In ieder geval een deel van de wetenschap, de exacte wetenschappen. Omdat een programmeur in essentie ook software kan maken die kan helpen bij wetenschap.

131
00:23:48.620 --> 00:23:55.799
Die wetenschap gaat er weer voor zorgen, uh, dat je fundamentele uitvindingen doet die er weer voor zorgen dat je applied science kan doen, enzovoorts.

132
00:23:56.200 --> 00:24:15.980
En dat ze daar een soort loopy cirkelig, cirkelig gedrag in herkennen en dat het doorduwen op de programmeerkracht van deze modellen als een soort expert eigenlijk heel logisch is als je ziet welke vruchten je allemaal kunt plukken, de breedte in, in de toekomst door je eerst te focussen op de meer exacte.

133
00:24:16.480 --> 00:24:25.548
En daarna krijg je als het ware de rest er, ik zeg het even heel makkelijk, gratis bij.Ja, nou dat is dat is waar nu heel veel om te doen is.

134
00:24:26.228 --> 00:24:32.708
Omdat het idee werd al heel vaak herhaald, dus ook al twee jaar geleden hadden mensen het over. Ja, en als je.

135
00:24:32.768 --> 00:24:44.568
Want als je het in de algemene termen ziet als je een AI maakt die AGI is, dan kan die AGI aan zichzelf werken en dan krijg je een loop en dan krijg je singularity.

136
00:24:44.788 --> 00:24:50.468
Dat was het simpele argument wat we al heel lang hoorden. Heel veel mensen hadden vraagtekens bij me. Hoe werkt het dan precies? En blabla.

137
00:24:50.528 --> 00:24:58.408
En er was veel scepsis, maar ook wel mensen die nog steeds best wel vasthielden aan dat idee. Het zijn hele grote verfstroken die je dan. Heel, heel, heel hoog over.

138
00:24:58.448 --> 00:25:13.477
Ja, nu zijn dingen een stuk concreter geworden, namelijk er is veel meer kennis en ervaring over wat het proces is wat leidt naar de volgende stap van verbetering in AI modellen.

139
00:25:14.148 --> 00:25:28.468
Dus de teams bij OpenAI die gepusht en hard gewerkt hebben om het eerste O1 model te maken waarbij ze voor het eerst een reasoning model produceerden wat snel gekopieerd werd in China met Deep Seek R1.

140
00:25:30.148 --> 00:25:33.268
Dat was een leerproces van hoe ga je van niet reasoning naar reasoning modellen.

141
00:25:33.948 --> 00:25:48.828
Toen hebben ze die coding agents die zeg maar steeds heftiger gebruik maken van een soort omgeving waarin dat model iets probeert, een klein stukje feedback krijgt door bijvoorbeeld een stukje code uit te voeren en weer opnieuw iets probeert.

142
00:25:49.248 --> 00:26:01.468
En dat hele fenomeen met Codex CLI en Cloud Code, dat zijn voorbeelden waarin. Wat hele rauwe tools waren die intern bijna een soort skunkworks achtige weekend project waren. Verkennen. Wat kunnen we het model?

143
00:26:01.928 --> 00:26:12.408
En toen is heel erg natuurlijk weer opnieuw een soort research intern gedaan van hoe kunnen we die modellen beter maken in dat. En dat zie je in de aankondiging van Codex 5.3 Codex.

144
00:26:12.588 --> 00:26:26.128
Dat dat model, dat coding model wat voor veel mensen echt voelde als een een flinke verbetering voor OpenAI modellen voor coding in het algemeen. Trok ze eigenlijk gelijk en zelfs voor voor Opus 4.6.

145
00:26:26.388 --> 00:26:41.008
Ja dus daar zitten ze daar. Daar is het echt trading blows momenteel. Er zijn echt aantoonbaar allerlei coding gebieden, want het is weer een beetje verspreid over welk deel code waar 5.3 Codex het beste is en 5.4 nu.

146
00:26:41.068 --> 00:26:48.718
Dus omdat dat echt een strikt superset is van wat Codex 5.3 doet. Dat is de consensus dat het beter is. Maar om het punt terug te brengen dus

147
00:26:49.648 --> 00:27:07.368
in die blogpost aankondiging van 5.3 Codex hebben ze gezegd dit is het model, het eerste model waarbij we echt wezenlijke autonomie en delegatie van testen en dingetjes implementeren en programmeren hebben toegepast

148
00:27:08.788 --> 00:27:19.468
op het model ontwikkelproces zelf. Dus dat ze daar een soort van echt heel veel konden delegeren in het ontwikkelproces van 5.3 Codex. Codex heeft geholpen om Codex te maken.

149
00:27:19.508 --> 00:27:27.048
Ja, en ze zeggen daar specifiek een early checkpoint in de blogpost post. Dus ze zeggen het model zelf. Dus we hebben zeg maar zijn model aan het trainen.

150
00:27:27.088 --> 00:27:38.458
We merken het model gaat heel goed worden en in de afronding van het model hebben ze al zeg maar een soort V1 of alfa versie van het model eruit getrokken en gebruikt om hem zeg maar over de eindstreep te trekken.

151
00:27:38.578 --> 00:27:48.378
Dus het brood is eerder uit de oven getrokken, was nog niet helemaal gebakken, maar zelfs onaf gebakken. Al sterk genoeg om aan zijn toekomstige zelf mee te werken. Ja, ja.

152
00:27:48.468 --> 00:27:57.948
Dus dat is dus wat zij gezegd hebben in de blogpost. En ik heb ook al eerder in interviews van de lead of de zeg maar de Head of Research van van OpenAI.

153
00:27:57.968 --> 00:28:05.248
Ik moet even de namen blijven u verschuldigd, maar als je ze ze googelt, dat zijn allemaal. Ik geloof Mark Chan en een nog een hele lastige Poolse naam.

154
00:28:06.488 --> 00:28:23.268
En zij zeggen ook echt specifiek dat een extreem interne doelstelling is om dit jaar dus voor het eind van dit jaar een wezenlijk doel bereikt te hebben. Als in dat ze een

155
00:28:24.408 --> 00:28:38.018
intern hebben. Dat is een beetje het niveau wat ze targeten. Stagiair. 1111 capabele stagiair dus denk aan een soort van valedictorian achtige MIT. Echt een super goede stagiair. Zeer getalenteerde junior. Ja, om dat

156
00:28:39.208 --> 00:28:50.848
niveau te bereiken dat een model dat dat niveau van bijdrage levert, autonoom en ook in termen van wat je kan delegeren en dus op het domein.

157
00:28:50.908 --> 00:29:04.668
Dus niet zozeer een stagiair in de algemene zin een stagiair marketing stagiair? Nee, echt een stagiair op het gebied van machine learning research. En Karpati André Karpati, een van de medeoprichters van OpenAI

158
00:29:05.788 --> 00:29:19.348
en ook de Lead AI bij Tesla. Heel lang geweest voor autonomous driving voor de eerste versies daarvan. Echt 11 hele goed geïnformeerde gast. Grote naam.

159
00:29:19.568 --> 00:29:36.008
Die heeft een een post geplaatst waarin hij zelf AI coding agents is gaan gebruiken voor een project waar hij al heel lang mee bezig was. Overigens, dat project heet Lama of Lama CPP. Nee, niet Lama CPP.

160
00:29:36.788 --> 00:29:52.108
LM.c heet het volgens mij en het idee is dat je in zo min mogelijk tijd een neuraal network GPT2 traint van scratch. Dus hoe kun je met zo zo efficiënt mogelijk gebruik van GPU. Grow your own GPT kit toch?

161
00:29:52.488 --> 00:30:04.448
En en En heel heel compact opgeschreven. Dus vorm van democratisering van het kleine taalmodellen maken. Een soort nadoen wat zij bij OpenAI hebben gedaan x jaar geleden. Precies.

162
00:30:04.548 --> 00:30:19.268
En hij heeft ook regelmatig mensen uitgenodigd om bij te dragen aan dat project. Om het beter te maken. Dus om op de leaderboard waarin ze bijhouden hoeveel uur kost het om helemaal van niks naar getraind te gaan.

163
00:30:19.848 --> 00:30:30.208
Om daar telkens ideeën aan bij te dragen. Dus onderzoeksideeën als het ware over kun je niet deze parameters aanpassen of kun je niet beter terwijl je de data laadt al iets doen op de GPU?

164
00:30:30.448 --> 00:30:41.824
Om eigenlijk met minder rekenkracht in kortere tijd. Die twee zijn met elkaar verbonden. Te komen tot iets wat goed mee kan doen met GPT2.Class modellen, right?

165
00:30:42.924 --> 00:30:56.723
En wat dus, uh, het bijzondere is, is dat dus, uh, OpenAI dus zegt van: wij, wij hebben in 5.3 al dat zelf gebruikt en hij heeft dat heel concreet gemaakt door te zeggen: ik ga een coding agent, uh, vrij spel geven.

166
00:30:57.244 --> 00:31:03.604
Ik ga hem gewoon toegang geven tot de huidige versie en ik ga hem vragen om gewoon ideeën te testen die hij zelf moet verzinnen.

167
00:31:03.644 --> 00:31:11.384
Dus niet Andre zijn ideeën, maar de ideeën die die agent zelf moet bedenken en die die dan vervolgens moet implementeren in de code.

168
00:31:11.724 --> 00:31:17.594
Moet ie een testje uitvoeren om te kijken hoe goed werkt het idee, zelf bijhouden welk idee werkt wel, welk, welk idee werkt niet?

169
00:31:18.024 --> 00:31:23.784
En dan zo proberen telkens weer beter te scoren op die benchmark van hoe efficiënt en snel is het getraind.

170
00:31:24.504 --> 00:31:37.444
En daar heeft hij dus echt soort van sparks, Sparks of AGI is een, uh, een bekende paper voor de mensen die al een tijdje meedraaien over dat ze de eerste keer een soort GPT-2, GPT-3 level model zagen.

171
00:31:37.464 --> 00:31:49.724
Dat waren de eerste vonkjes. En nu zien ze dus een soort van sparks of auto research. Ja, want dat is misschien om heel even uit te zoomen wat een beetje, uh, gebeurt nu in het debat, het verhaal rondom AI.

172
00:31:50.364 --> 00:31:56.244
Uh, uh, in ieder geval, dat komt wat meer naar de voorgrond is het idee van recursive self improvement, RSI.

173
00:31:56.324 --> 00:32:10.964
En dan niet pijn in je handen, maar het, het idee dat je iets hebt wat recursief is, dus herhalend op zichzelf, uh, informatie aan zichzelf loopend, zeg maar, uh, eigenlijk zichzelf aan zijn eigen veters omhoog trekt, zeg maar.

174
00:32:11.004 --> 00:32:16.784
Wat een beetje een raar beeld is, maar evolutie heeft het ooit eerder gedaan, dus mogelijk kunnen we het nabootsen in een machine.

175
00:32:17.344 --> 00:32:26.904
En dat idee van recursive self improvement is heel erg belangrijk, omdat, zoals ik begrijp, uh, dat een beetje richting die take off achtige scenario's gaat.

176
00:32:27.164 --> 00:32:46.804
Scenario's waarin, uh, je eigenlijk AI zo ver hebt doorontwikkeld dat het kan meewerken aan, uh, de ontwikkeling van zichzelf, waardoor wij als het ware achterover kunnen leunen met een glas limonade terwijl we kijken hoe onze creatie zichzelf, uh, je zit al te glimlachen, zichzelf verbetert, zeg maar.

177
00:32:47.344 --> 00:32:57.444
Wa-wa-waarom zit je te glimlachen? Je zag het voor je. Nou [lacht], omdat ik nog weet hoe ver weg het is. Ja, waarom is het nog zo ver weg? Stelt mij gerust trouwens dat je dat zegt. Maar ja.

178
00:32:58.784 --> 00:33:12.404
Omdat het, uh, zeg maar, wat denk ik niet ver weg is, is dat het voor het werk wat ze zelf doen echt heel bruikbaar is. En ik gebruik het zelf ook op een hele vergelijkbare manier voor mijn werk bij Nvidia. Uhm.

179
00:33:12.444 --> 00:33:25.624
AI als augmentation om jou te helpen met het verbeteren van AI systemen. Nou ja, maar nog specifieker autonome coding agents die ik alleen high level hoogover instrueer van: ga dit eens uitzoeken.

180
00:33:26.124 --> 00:33:37.644
Waar-waarbij die, uh, minuten, soms wel tot aan een uur, autonoom aan het werk is. Het is ongeveer een beetje het limiet, zo vaag ergens, misschien een keer 40 minuten, misschien een keer net over het uur.

181
00:33:38.304 --> 00:33:47.964
En dan dat ik ga kijken: wat heb je nou eigenlijk gedaan? Ben ik overtuigd? Kan ik het gebruiken? En ik, ik, ik zie dus dat dit wel werkt in dit hele,

182
00:33:49.064 --> 00:34:00.004
uh, in het, in het soort van specifiek ge-- afgebakende gebied van schrijf code aan een systeem waarbij we heel duidelijk weten hoe goed en slecht eruit ziet. Verifieerbaar.

183
00:34:01.174 --> 00:34:10.404
En binnen verifieerbare domeinen zie je dus deze enorme, uh, versnelling in, uhm, vooruitgang.

184
00:34:11.744 --> 00:34:20.104
En voor andere domeinen waar verifieerbaarheid lastiger is, zien we gewoon nog veel minder, veel minder vooruitgang.

185
00:34:20.164 --> 00:34:29.384
Ja, wat ook bijvoorbeeld verklaart waarom die modellen zo goed zijn geworden in wiskunde en, uh, programmeren, maar nog steeds matige artikelen schrijven, matige boeken.

186
00:34:29.924 --> 00:34:40.704
Uh, ik moet wel zeggen, heel even side tangent, maar de New York Times had een onderzoek gedaan bij hun- Die is leuk, ja. Schrijvers of, uh, lezers of ze bepaalde tekst prefereerden.

187
00:34:40.764 --> 00:34:50.684
Hè, dus je had dan AI-tekst en mensgeschreven tekst en voor mij prefereerde 60% of zo de AI geschreven teksten. Wat dan ook wel weer een beetje tegen mijn punt ingaat dat die teksten matig zijn.

188
00:34:51.144 --> 00:34:59.624
Of de New York Times moet tot nu toe matige teksten hebben geschreven zelf. Mag je zelf uitvinden, uhm, maar het is overduidelijk wat ze dan ook die jagged edge noemen.

189
00:34:59.704 --> 00:35:14.224
Dus een soort kartelrand op, uh, die modellen aan intelligentie, dat ze een soort idioot savanten zijn die ongelooflijk excelleren op een bepaalde competentie of een be-bepaald thema, om vervolgens een enorm gat aan competenties te hebben op een ander thema.

190
00:35:14.584 --> 00:35:21.284
En dat heeft onder andere te maken met hoe verifieerbaar de sector is of het thema waarbinnen ze dan kunnen groeien, right? Ja.

191
00:35:21.324 --> 00:35:33.544
Dus we, we hebben als het ware, en ik zeg we, als in de, de, de AI-sector, heeft uitgevogeld hoe we die modellen kunnen laten leren. Als we maar een soort

192
00:35:34.744 --> 00:35:44.884
omgeving kunnen creëren waarin ze het kunnen hill climb als het ware, waarin ze heel veel kunnen proberen en elke keer als iets begint te werken daar op een soort van double down. Schaken tegen jezelf.

193
00:35:45.004 --> 00:36:01.244
Go spelen tegen jezelf. Self play. En waar veel om te doen is, en misschien ook een leuk bruggetje, bruggetje naar, uh, het nieuwe AI-lab van Jan de Koen. We kunnen ook nog even bij andere dinges, uh, wat jij wil, maar

194
00:36:02.784 --> 00:36:15.844
er is dus nu heel veel aan gelegen om de verifieerbaarheid van andere domeinen waar het ook nuttig zou zijn om AI in te zetten en waar we ook de capaciteit van die AI-modellen willen zien groeien om de verifieerbaarheid te vergroten.

195
00:36:16.504 --> 00:36:25.664
Ja, wat ik bijvoorbeeld las, dat ging over chemie. Uh, dat je eigenlijk zegt: ik wil de interactie tussen twee stoffen weten. Dan bouw ik een laboratorium waar ik een robot heb.

196
00:36:25.704 --> 00:36:36.264
Het hoeft helemaal geen humanoïde te zijn, maar gewoon een mooi systeem met pipetjes en, uh, buisjes die uit een stok van chemicals dingen kan trekken, bij elkaar kan voegen. Er staat een camera op.

197
00:36:36.724 --> 00:36:49.824
GPT kijkt mee, doet zijn eigen experimenten en kan dan toch in de fysieke wereld verifieerbaar experimenten gaan doen. En dan ga je natuurlijk weer andere domeinen in dan alleen maar wiskunde en programmeren. Absoluut.

198
00:36:50.124 --> 00:37:07.048
En dit isWat, wat echt op hele grote schaal nu op allerlei gebieden waar je maar mensen met interesse hebben. Of het nou biotech is of, uhm, het fysieke domein, helaas ook oorlogsvoering en, en wapens.

199
00:37:07.088 --> 00:37:23.907
Er wordt heel, uh, actief gezocht naar hoe kunnen we een, een loop opzetten, een, een autonoom systeem wat gebruikt kan worden voor het verzamelen van het signaal en daar dan op trainen, uhm, zodat die modellen beter worden op allerlei dimensies.

200
00:37:24.068 --> 00:37:34.348
En zijn er dan dingen die jij intuïtief ziet als, uhm, er is toevallig recent een, uh, uh, onderzoek uitgekomen vanuit Anthropic. Dat ging over de arbeidsmarkt.

201
00:37:34.377 --> 00:37:44.688
Zij hebben natuurlijk bijzonder rijke statistieken rondom het gebruik van Claude. Uh, zij, ja, wat, wat, dat is dat vinkje wat je dan aanzet dat je anonieme statistieken toestaat.

202
00:37:44.728 --> 00:38:09.328
En ik denk als je niet betaalt voor Claude, dat je het daarmee toestaat, uh, waardoor zij kunnen zien hoe hun modellen worden ingezet en wat ze in het onderzoek, uhm, eigenlijk, uh, concluderen is dat, zij maken dan een cirkel van allemaal thema's in, uhm, in een, uh, visualisatie en dat bijvoorbeeld legal, hè, dus, uh, uh, ja, werk wat aan de Zuidas gebeurt in Amsterdam, dat daar, uh, zij maken een onderscheid tussen twee dingen.

203
00:38:09.548 --> 00:38:17.628
In hoeverre kan Claude daar al ingezet worden, hè? Dus we weten dat Claude er goed in is, uh, en kwaliteit kan leveren. En in hoeverre wordt Claude al ingezet?

204
00:38:17.988 --> 00:38:27.608
Dat zijn eigenlijk een, twee afbeeldingen die over elkaar heen gezet zijn. Daar zie je letterlijk de jagged ed of-- edge of intelligence, want het is een heel puntig, raar, hoekig ding met gaten erin.

205
00:38:27.668 --> 00:38:30.148
En het is een soort, uh, landkaart met hapjes eruit.

206
00:38:30.788 --> 00:38:53.148
Uhm, maar ik ben dan benieuwd of jij, als je zo gewoon puur op basis van intuïtie, uh, sectoren ziet of probleemvelden, zeg maar, die zo open-ended zijn dat, dat zijn, dat wat zulke, nou ja, uh, complexe chaotische systemen zijn als het ware, waar je heel veel, uh, data moet halen die, die niet zo makkelijk te halen is met een sensor bijvoorbeeld, waardoor het daar misschien langer duurt.

207
00:38:54.408 --> 00:39:02.248
Nou ja, dat is zeker, uh, aan de orde, want sommige dingen duren nou gewoon eenmaal lang om te valideren.

208
00:39:02.748 --> 00:39:10.448
Dus zelfs als je een systeem wilt bouwen dat, uh, bijvoorbeeld juridisch advies toetst en kijkt of het goed juridisch advies is.

209
00:39:11.268 --> 00:39:21.888
Uh, soms duurt het jaren voordat, uh, een oordeel geveld wordt over of een bepaalde handeling wel of niet, uh, juridisch gedekt wordt door weet ik veel welke regels en hoe dan ook.

210
00:39:22.528 --> 00:39:35.928
Dus niet alles is, uh, snel te valideren. En toch, en, en dan, dan wordt het toch lastig om daar vooruitgang in te boeken. Uhm, er zijn wel allemaal trucs die je kunt toepassen. Dus je kunt wel bijvoorbeeld,

211
00:39:36.848 --> 00:39:52.678
uhm, gebruik maken van een heel intensief validatieproces wat toch volledig digitaal is, dat heel uitgebreid onderzoek doet naar bijvoorbeeld alle uitspraken van alle rechters ooit. Zou je kunnen,

212
00:39:54.228 --> 00:40:05.228
naast een bepaalde tekst kunnen houden om te kijken of er gaten in te schieten zijn. Maar als je alle uitspraken ooit, je zou nogal makkelijk kunnen zeggen alleen de uitspraken die, uh, betrekking hebben op deze zaak.

213
00:40:05.278 --> 00:40:14.488
Maar je zou heel even naïef kunnen zeggen alle uitspraken ooit waar we toegang tot hebben, die gaan we ernaast leggen om, om iets van validatie te doen. Dat is wel iets wat je kunt doen.

214
00:40:15.088 --> 00:40:26.148
Dat, dat kost heel veel tijd en het is waarschijnlijk niet de efficiëntste manier. Maar er zijn wel manieren om ook dingen die minder zwart-wit zijn om die te valideren.

215
00:40:26.968 --> 00:40:38.628
En ik denk dat het ook wel een leuk bruggetje is naar world models, omdat er ook een, een vorm van foundation modellen aankomt die helpen bij valideren.

216
00:40:39.168 --> 00:40:43.318
Ja, het is misschien wel goed om te zeggen, want je haalde net Jan LeCun al aan iets eerder. Uh,

217
00:40:44.428 --> 00:41:02.968
er is een substantiële groep binnen de industrie en onderzoek die eigenlijk zeggen: taalmodellen, uh, voor, tokenvoorspellers die vooral teksttokens voorspellen, uh, ook als ze multimodaal zijn, eigenlijk als ze geboren zijn uit het soort taalmodel paradigma van de GPT's.

218
00:41:02.988 --> 00:41:12.668
Daar zit een soort maximum aan. Die hebben uiteindelijk een soort dead end en we hebben eigenlijk moeten we een paar stappen terugdoen, een paar flinke stappen terugdoen en een andere start maken.

219
00:41:12.867 --> 00:41:21.447
Eigenlijk zelfs een ander paradigm van modellen. Een ander paradigma van AI. Uhm, die kunnen later met elkaar gaan samenwerken, hè, die modellen.

220
00:41:21.488 --> 00:41:37.248
Dat zal wel, maar er is best wel een substantiële, best wel vocale groep, ook, uh, binnen de industrie die zeggen: we hebben dit taalmodel/multimodale model wel een beetje uitgespeeld nu, hè, daar kunnen we nog wel andere tricks op doen, maar dat, dat, daar zitten we aan een soort glazen plafond.

221
00:41:37.288 --> 00:41:49.548
Wat we nodig hebben zijn een paar hele, uh, nieuwe strategieën om te komen tot wat dan AGI genoemd wordt. En dat is onder andere, uh, world models. Kan je daar iets meer over vertellen? Wat is Jan LeCun aan het doen?

222
00:41:50.668 --> 00:42:01.528
Ja, ik denk dat je het al heel goed inleidt. En dat, dat gaat dan over waar liggen de echte limieten van, uh, AI-modellen die gebaseerd zijn op teksttoken, next token prediction.

223
00:42:01.868 --> 00:42:12.248
Dus, dus die, uh, die ChatGPT en Claude en Gemini, dat zijn allemaal next, next token prediction modellen en die worden allemaal blootgesteld aan grote hoeveelheden tekstdata.

224
00:42:13.048 --> 00:42:32.708
En, uhm, een heel belangrijk deel van deep learning, het heette ook wel representation learning, is dat je, uhm, als het ware een, een, een, een mapping vindt van ruwe data naar een betekenisvolle, uhm, als het ware beschrijving van die data.

225
00:42:33.208 --> 00:42:45.148
En een, een goed voorbeeld om ook echt LeCun's, uh, strategie, want zijn onderzoekspaper waar zijn lab, nou, niet op gebaseerd is, maar zeker wel, uh, heel erg overeenkomt met de richting.

226
00:42:45.158 --> 00:42:55.600
Voor de context: hij is vertrokken bij Meta. Hij is weg bij Meta. Hij was een grote naam binnen Meta. Zeker. Uh, heeft in interviews aangegeven, uh, ik parafraseerIk vind taalmodellen eigenlijk een beetje saai.

227
00:42:55.900 --> 00:43:00.740
Ik ben er wel op uitgekeken. Ik ga wat anders doen. Sterker nog, we moeten wat anders doen.

228
00:43:01.320 --> 00:43:11.260
En hij is nu weg bij Meta en is op basis van zijn inzichten en zijn, zijn gok op de toekomst zou je kunnen zeggen, een nieuwe weg ingeslagen. Ja, en hij heeft echt serieus geld opgehaald.

229
00:43:11.300 --> 00:43:22.600
Hij heeft $ 1 miljard opgehaald, uhm, dus daar kan hij echt, echt deze ideeën die hij heeft, uh, op gaan testen op schaal. Want hij laat in zijn paper, dus de paper waar het over gaat heet JEPA, J E P A.

230
00:43:22.920 --> 00:43:35.960
Van wanneer is hij ongeveer? Ik, ik dacht dat hij al echt oud, ik, ik geloof, komt ie 2022. Heel oud, ja. Superoud. Maar, uh, ik pin me er niet op vast, want het is ook een onderzoeksrichting die meerdere vormen kent.

231
00:43:35.980 --> 00:43:41.380
Dus JEPA zelf is waarschijnlijk niet eens de eerste versie van die paper. Er zijn ook- Vrij recent.

232
00:43:41.420 --> 00:43:49.320
Het komt erop neer dat als je een, een bijvoorbeeld een sensor input hebt, want je kunt zien, een tekst is gewoon een soort, uhm, input die geproduceerd is door mensen.

233
00:43:49.360 --> 00:43:56.340
Dus dat is een soort van, er wordt overal op allerlei manieren wordt er tekst geproduceerd, dus dat komt tot stand door een proces en er wordt dan ergens opgeslagen.

234
00:43:56.380 --> 00:44:07.280
Dus dat is in, in zekere zin niet heel veel anders dan bijvoorbeeld een camera ergens op richten en dan die, die lichtsignalen vangen en dat opslaan, zeg maar. Het is een, een manier om een soort datageneratieproces.

235
00:44:07.300 --> 00:44:21.280
Bij een camera, uh, is het heel duidelijk dat als jij, uhm, een camera hebt en hij beweegt heel erg, je hebt bijvoorbeeld een handheld camera, je, je selfiecamera en je loopt rond in de stad, dat het extreem lastig is om de volgende pixel met hoge nauwkeurigheid te voorspellen.

236
00:44:21.320 --> 00:44:36.940
Want als jij niet kan zien op dat camerabeeld dat er een persoon naast die persoon is en in één keer draait ie en, en er staat een persoon, is heel lastig om te voorspellen van waar gaan die, die pixels precies veranderen op het moment dat in de, op de rand van dat beeld, zeg maar, de persoon voor het eerst in beeld komt.

237
00:44:37.400 --> 00:44:44.200
Want het zijn hele, uhm- Een jas aan een kapstok of een mens. Precies. Dus het zijn heel hoog variabele soort van inputs.

238
00:44:44.620 --> 00:45:05.580
Maar als je, als ik jou vraag, uhm, gewoon semantisch als het ware, dus niet op, op cameradata, pixeldataniveau, maar ik zeg gewoon: als er een, uh, als er een jong persoon op een vakantiegebied met een selfiecamera, uh, praat, uh, uh, wat is de kans dat, dat, al-, dat, dat, dat tijdens de volgende vijf seconden er nog een persoon naast die persoon in beeld komt?

239
00:45:06.000 --> 00:45:12.180
Dan kun je wel zeggen van: nou ja, heel veel mensen die zo op een vakantielocatie zijn, niet alleen, dus ja, vrij hoge kans.

240
00:45:12.720 --> 00:45:22.920
Maar dan heb je het dus over kansvoorspelling in een dimensionaliteit die niks te maken heeft met die ruwe pixeldata, maar meer de situatie van mensen. Oh, het is zo'n, zo'n vakantielocatie of wat dan ook.

241
00:45:23.040 --> 00:45:37.860
Het is druk, mensen zijn vaak niet alleen op vakantie, et cetera. Dus, uh, Jans argument, ook met, met JEPA, is dat je dus niet moet willen voorspellen op die hoogdimensionale, hoge variabele camera pixeldata niveau.

242
00:45:38.480 --> 00:45:51.360
Maar je wilt in een latente representatie, dus dat is als het ware een, een soort vertaling van dat camerabeeld naar een andere representatie van datzelfde, van dezelfde werkelijkheid.

243
00:45:51.480 --> 00:45:59.260
Niet dezelfde camerabeeld, maar van de werkelijke situatie die die camerabeelden beschrijven. En dat, daarin zitten letterlijk misschien, uh, vrij

244
00:46:00.320 --> 00:46:08.089
letterlijk, uhm, uh, stukjes informatie die letterlijk alleen maar zeggen van: zijn ze op vakantie ja of nee? Uh, is het een persoon, ja of nee?

245
00:46:08.140 --> 00:46:21.080
Als ik je een beetje help, zou je kunnen zeggen: je hebt de ruwe realiteit, pixeldata. Dan heb je de interpretatie van die realiteit. Wat wij bijvoorbeeld als mens doen, dat is, je kunt, uh, naar een museum gaan.

246
00:46:21.200 --> 00:46:28.560
Uh, is leuk om ook met kinderen te doen en dan aan kinderen te vragen wat ze zien als ze naar kunst kijken. Dat zijn hele andere verhalen dan de meeste mensen.

247
00:46:28.600 --> 00:46:37.820
We zijn allemaal subjectief, maar kinderen hebben er een handje van. En daarbij gaan we niet alleen maar meer kijken naar ruwe brush strokes op een schilderij, maar gaan we interpreteren.

248
00:46:37.860 --> 00:46:49.140
En dat doen we vanuit menselijke cultuur. Dat doen we ook, daar zijn we ook aan het voorspellen eigenlijk. En wat jij volgens mij zegt is, uhm, de, het is bijna de resolutie als het ware, de rijkheid.

249
00:46:49.780 --> 00:46:57.300
Je moet niet op pixelniveau voorspellen, je moet eerst een interpretatie doen van wat daar gebeurt. Een interpretatie binnen context eigenlijk.

250
00:46:57.360 --> 00:47:07.740
En als je dan binnen die interpretatie gaat voorspellen, hè, bijvoorbeeld een zelfrijdende auto, zou je kunnen zeggen: er staat een, uh, zwangere vrouw bij een, uh, oversteekplaats.

251
00:47:08.300 --> 00:47:13.900
Nou, dat is een situatie eigenlijk die je beschrijft als een soort script in een film. En als je dan gaat zeggen: wat gaat hier gebeuren?

252
00:47:13.939 --> 00:47:20.560
Nou, er is een oversteekplaats, er is een zwangere vrouw, die zal wat langzamer naar de andere kant gaan lopen. Dat kan een tekstmodel zelfs een beetje voorspellen.

253
00:47:20.840 --> 00:47:33.440
Dan ben je niet per se in pixel, uh, in de, in de pixel, uh, modaliteit aan het voorspellen. Je bent in het verhaal, in de interpretatiemodaliteit aan het voorspellen in plaats van in de pixelmodaliteit. Zeg ik dat goed?

254
00:47:33.540 --> 00:47:50.160
Dat zeg je goed. En het is inderdaad ook zo, en dat is ook belangrijk om te benadrukken, dat, het is gewoon een keuze. Van welke ruwe data ga je die, uh, semantische, uh, representatie, interpretatie, ga je die leren?

255
00:47:50.760 --> 00:48:03.160
En, uh, de bitter lesson is een, is een idee of een, een, een soort zienswijze dat, uhm, je kunt hele slimme efficiënte dingen proberen te bedenken om dat eruit te trekken.

256
00:48:03.200 --> 00:48:13.660
Dus je kan bijvoorbeeld zeggen van: nou, ik ga een filter, uh, ontwikkelen dat mensen herkent in afbeeldingen en dan krijgen we een losse, een los stukje informatie dat puur en alleen gaat over wel of niet mensen in de foto.

257
00:48:14.009 --> 00:48:21.580
Maar dat is heel handmatig. En de bitter lesson zegt eigenlijk: je moet gewoon enorm veel data verzamelen en enorm veel compute ertegenaan gooien.

258
00:48:21.620 --> 00:48:30.520
Dus heel veel tijd geven als het ware aan het model om al die ruwe data te, te bekijken om vervolgens tot een, een, een interpretatie te komen.

259
00:48:30.580 --> 00:48:37.280
Een, een, uhm, uh, dus die, die latente representatie die, die kan leren van die, van die data.

260
00:48:37.740 --> 00:48:51.860
En wat LeCun eigenlijk gewoon zegt is: dat kan je beter niet uit tekst halen, maar dat kan je beter uit veel ruwere data halen, omdat tekst al een soort gecomprimeerde versie is van een situatie.

261
00:48:51.920 --> 00:49:00.412
Dus daarom zijn taalmodellen bijvoorbeeld- Maar niet zo ruw als pixelsNiet zo. Tekst Wat zit er, wat zit er tussen tekst en? Wat zit er tussen tekst en pixels bij?

262
00:49:00.592 --> 00:49:11.032
Als ik het goed begrijp dan voor hem is dat te beschrijven. Foto's misschien, want bijvoorbeeld video's is ook time series zeg maar. Heb je ook, heb je ook zeg maar wat over de tijd, uh, als zeg maar gebeurt.

263
00:49:11.872 --> 00:49:26.912
Uhm, video met audio is ook alweer meer dan alleen foto's. Dus foto's, video's, video's met audio. Dus eigenlijk hoe dichter je bij de, de werkelijkheid komt, de ruwe werkelijkheid, uhm, hoe rijker de informatie is.

264
00:49:27.892 --> 00:49:39.772
Maar je wil uiteindelijk niet de daadwerkelijke ruwe werkelijkheid. Nee, je wilt gewoon representaties leren die, uhm, goed vangen wat er toe doet.

265
00:49:40.372 --> 00:49:53.512
Ja, ja, het is, het is, het is een beetje filosofisch bijna, hè, want ik zie ook bij Meta, uh, waar LCOON vandaan komt, hebben ze best wel wat, uh, open source modellen uitgebracht als het gaat om, uh, objecten herkennen in beeld.

266
00:49:54.172 --> 00:50:07.552
Uh, dus dieren, mensen en daar een, uh, bounding box, een, een doosje omheen tekenen. Als ik die- Segment anything. Precies. Als je dan, uh, die segmentation bijvoorbeeld een voetbalwedstrijd, de bal en de spelers.

267
00:50:07.592 --> 00:50:19.482
Ja, en dan denk je misschien oké, ja, coole demo man. Dat is echt best wel, uh, bruikbare technologie, want je kan eigenlijk speler tracking doen zonder dat zij Bluetooth beacons of whatever voor ultra, uh, uh, l-, uh,

268
00:50:20.852 --> 00:50:29.992
ultra radio beacons hoeven dragen. Die segmentation, als ik jou zo begrijp, heeft hiermee te maken dan toch? Want eigenlijk, uhm, kan je dan gaan beschrijven,

269
00:50:31.072 --> 00:50:43.852
uh, je gaat niet de pixels voorspellen van de videofeed van de voetbalwedstrijd. Nee, nee, nee, je gaat de spelers de bal eruit extraheren en de spelsituatie voorspellen in plaats van de pixels.

270
00:50:44.212 --> 00:50:53.372
Maar je gaat niet een boek over voetbal gebruiken. We ga-, ik ben een beetje aan het zoeken naar, want het is best wel abstract wat ik beschrijf. Ja, dus ik kan het nogal concreter maken.

271
00:50:53.412 --> 00:51:06.752
Ik denk dat segment anything een goed voorbeeld is. Uhm, uh, hoe die GEPA modellen getraind worden uiteindelijk is door masking, dus dat je een stukje weghaalt van de afbeelding en dat je dan zegt: wat stond daar?

272
00:51:07.032 --> 00:51:16.752
Dus fill in the missing blank zeg maar en, en dat wordt gebruikt als basis, uh, opzet om dat pre-trainen te doen. Dus door al die ruwe data heen te gaan en dat te leren voorspellen.

273
00:51:17.002 --> 00:51:24.152
Want wat is dan eigenlijk de, want die, even een paar stapjes nog. LCOON GEPA Paper 2022-ish.

274
00:51:24.212 --> 00:51:38.932
Ja, een, een, een andere manier om AI te trainen of eigenlijk AI te ontwikkelen moet ik zeggen, waar ook training, uh, bij hoort. Wat is de input data source van die GEPA modellen? Wa-wat moet je erin stoppen? Foto's.

275
00:51:38.962 --> 00:51:50.412
Foto's. Maar het generaliseert ook naar rijkere data, dus ook naar video en andere dingen. Ja, dat kan er ook in. Ja. Ja, ja. En, uhm, wat je dus dan, uhm,

276
00:51:51.372 --> 00:51:57.112
een goede-- hoe, hoe weet je nou dat je representatie goed nuttig is? Goed is? Zonder de mens bedoel je?

277
00:51:57.212 --> 00:52:07.732
Nou ja, hoe, hoe kan je die vraag beantwoorden, uhm, of je nou een goede representatie hebt, uh, geleerd met een model? Uhm, dat moet je op een of andere manier kwantificeren.

278
00:52:08.112 --> 00:52:13.652
Zo van: je kan dus gaan van een, van een ruwe beschrijving van een camera naar een andere beschrijving.

279
00:52:14.032 --> 00:52:20.332
Nou ja, dat wordt, hoe, hoe machine learning werkt is dat het dan neurale netwerken zijn die dan iets vertalen naar een matrix.

280
00:52:20.372 --> 00:52:28.512
Dus je gaat van de ene matrix, de matrix die letterlijk de camera pixel, pixel kleuren beschrijft naar een nieuwe matrix. Is dat een goede matrix? En is een slechte matrix?

281
00:52:29.112 --> 00:52:38.312
En een van de dingen waar je dat dus mee kan toetsen is als je dus een taak gaat vervullen. Bijvoorbeeld vervang de bal voor of zeg waar de bal is.

282
00:52:38.832 --> 00:52:45.632
Om het even simpel te houden, uhm, of, of teken een hele strakke bounding box om alleen de bal, uh, en niet om de speler.

283
00:52:45.832 --> 00:52:55.082
En als dus de speler half boven de, o-over de bal zit, dan, dan is het dus als dat, als hij echt alleen de bal doet en niet de speler omdat hij dan denkt ja, maar het moet altijd een rondje zijn. Goed voorbeeld, ja.

284
00:52:55.112 --> 00:53:00.612
Dan heb je dus zeg maar een goede, uh, representatie als, als hij dat makkelijk kan.

285
00:53:01.192 --> 00:53:11.392
En dus de kwaliteit van de representatie is, uh, als het ware te meten door te kijken naar hoe snel en efficiënt kun jij een downstream task leren.

286
00:53:12.092 --> 00:53:23.352
Dus je, je, je pakt als het ware, dat is ook het idee van pre- en posttraining. Je pre-training, je leert de distributie van de data op, met zo'n manier dat je een, dat je een, een, een representatie hebt geleerd.

287
00:53:24.212 --> 00:53:30.472
En hoe goed die representatie is kan je uitdrukken als in hoe efficiënt kun jij nu leren om taken te vervullen.

288
00:53:30.992 --> 00:53:38.292
En wat je dus ziet, en dat is het bijzondere aan deze- Ja, dus heel even tussendoor, dat zijn dan twee leerprocessen. Ja. Daarom zeg je pre en post.

289
00:53:38.752 --> 00:53:45.402
Je hebt het, uh, het eerste leerproces is goede representaties leren om die vervolgens in te zetten om weer mee te gaan leren.

290
00:53:45.402 --> 00:53:55.112
Dat zijn als het ware de legoblokken van representatie waarmee je daarna taken gaat leren om uiteindelijk, stap drie, ingezet te worden om taken te vervullen.

291
00:53:55.172 --> 00:54:00.532
Ja, en het is niet zo heel, uh, uh, exotisch als het klinkt, denk ik. Want het is ook bijvoorbeeld net als met lezen.

292
00:54:01.052 --> 00:54:07.072
Als je hebt leren lezen, dan, dan op een gegeven moment kun je lezen en daarna kun je mensen vragen gaan stellen over de tekst.

293
00:54:07.532 --> 00:54:13.772
Maar als jij niet hebt leren lezen, dan zal dat, a-, vragen beantwoorden over wat er in de tekst beschreven wordt best wel lastig gaan.

294
00:54:13.812 --> 00:54:22.032
Dus, uhm, het, het is echt een gewoon een soort logisch vervolg wat bouwt op een bepaald fundament en daarom wordt het ook foundation mode-modellen genoemd.

295
00:54:22.712 --> 00:54:30.732
En die, uh, pre-training voor bijvoorbeeld vision dan als je een heel goed beg-begrip hebt van semantisch, van: o ja, het is gewoon een bal en die bal verdwijnt gewoon achter die persoon.

296
00:54:30.792 --> 00:54:39.732
En dat kan gewoon, want in de echte wereld, uh, heb je diepte. En, uh, als een object voor een ander object zit, dan is het niet te zien, tenzij het transparant is. Dat heb je ook, zeg maar.

297
00:54:39.772 --> 00:54:53.792
Dus dat, dat, die intuïtie over, uh, wat die cameradata eigenlijk beschrijft achterliggend, als dat heel goed, uh, getraind is in dat model, dan zou het heel makkelijk moeten kunnen zijn om te zeggen: nou,

298
00:54:54.852 --> 00:55:04.392
jij bent nu verantwoordelijk voor de bal vinden en exact de positie van de bal en dat is jou, uh, dat is de taak waar je, waarop je het goed moet doen en dat laat hij gewoon zien in die paper.

299
00:55:04.492 --> 00:55:21.028
Dus die paper toont gewoon aan dat met die vorm van die interpretatie van ruwe data, dat je daar hele goede, uhm-Uh taken, zeg maar het, het trainen van dat, van zo'n gepre-traind model voor specifieke taken zoals, uh, objectdetectie, dat dat heel efficiënt is.

300
00:55:21.348 --> 00:55:26.088
En is dan nu het idee dat, want, uhm, heeft hij dan het vertrouwen erin?

301
00:55:26.768 --> 00:55:37.448
Uh, want het is natuurlijk supertof dat je empirisch bewijst, uh, in je paper dat jouw, uh, aanvliegroute, je strategie, uh, eigenlijk state of the art is, hè.

302
00:55:37.488 --> 00:55:44.328
Dus niets anders kan het binnen die tijd of- Zeker Espari best state of the art. Ja, ja, precies. Allemaal de goede. Zolang alles- Appels en appels vergelijken.

303
00:55:44.368 --> 00:55:47.287
Precies, binnen die wereld, zeg maar, waarin alles te vergelijken is.

304
00:55:47.857 --> 00:55:57.948
Ik bedoel tof, maar betekent dat dan ook-- ik twijfel wel eens en ik heb er te weinig verstand van om die, om die claim te kunnen, uh, bewijzen of onderbouwen, dus ik, daarom vraag ik het aan jou.

305
00:55:59.208 --> 00:56:13.607
Is wat hij aan het doen is, uh, op korte termijn toe te passen? Heb je niet kans dat ie ingehaald wordt door patches op een soort, op het oude paradigma? Als we het, als we het zien als een soort horse race.

306
00:56:14.168 --> 00:56:29.888
Ik denk dat ie, ik kan me voorstellen dat hij gelijk heeft dat het, dat het, dat de tekstuele representatie van de wereld en al die modellen trainen op een, op een lossy en ver van de rauwe realiteit afzijnde representatie, namelijk tekst, menselijke cultuur in de vorm van tekst.

307
00:56:29.928 --> 00:56:38.707
Dus wat mensen hebben gezien en hebben opgeschreven in een formaat wat heel, uh, dun is en, en, en arm in vergelijking met de rauwe realiteit.

308
00:56:39.308 --> 00:56:48.108
Dat hij zegt: dat is zo dun en arm, uh, daar kan je blijven plakken, maar je komt er niet. Uhm, dus we moeten een nieuwe, op ergens anders beginnen.

309
00:56:48.148 --> 00:56:53.758
En uiteindelijk gaat mijn paard, ook al rent hij nu nog achteraan, hè, wacht maar, als die op stoom is jongen, dan rent hij heel die groep voorbij.

310
00:56:54.348 --> 00:57:05.748
Of is het zo, en/of is het zo dat de, dat de bestaande paarden geüpgraded kunnen worden op een manier dat eigenlijk zijn diepte-investering in een nieuw paradigma mogelijk, uh, niet op tijd komt.

311
00:57:06.668 --> 00:57:19.548
Ik denk dat, uhm, het ongetwijfeld zo zal zijn dat, uh, zijn aanpak voor de domeinen waar de tekortkomingen van die taalmodellen het, het, het, het meest duidelijk aanwezig zijn.

312
00:57:20.068 --> 00:57:30.328
Dat hij, dat hij daar echt heel veel specifieke dingen kan aanwijzen waarbij hij straks echt superhard veel beter is dan, dan die aanpak die gebaseerd is op wat nu wordt gedaan. Ja, als we hem terugpakken. Voor modellen.

313
00:57:30.388 --> 00:57:36.658
Die eerdere jagged edge of intelligence, hè. Dus die modellen hebben gaten erin. Roteer die as van jaggedness. En dan komt, dan komt.

314
00:57:36.808 --> 00:57:44.528
Dan zie je dat hij hele andere spikes krijgt en, en, en soort van, uh, ook de, de, de spikes hebben ook de, de, de dalen, zeg maar.

315
00:57:44.568 --> 00:57:53.428
Dus je hebt, zeg maar, waar het goed en slecht is, dat wordt gedraaid en dan hele andere gebieden is hij sterk. Als je genoeg sterren over elkaar heen legt en draait heb je een cirkel uiteindelijk. Dus in, in essentie.

316
00:57:53.568 --> 00:58:06.288
En dat is ook waarom het denk ik zo boeiend is. Uiteindelijk, hoe bijzonder goed AI ook werkt voor heel veel van de dingen die we ermee kunnen doen, zijn het eigenlijk een stapel aan hacks die we tot nu toe gebruiken.

317
00:58:06.688 --> 00:58:16.068
Oh ja, we hebben nou eenmaal toegang tot heel veel tekstdata, dus gaan we gewoon kijken wat we daaruit kunnen halen. En we hebben heel veel ruwe, uh, uh, beelddata. Gaan we kijken wat we daaruit kunnen halen.

318
00:58:16.648 --> 00:58:28.968
En we kunnen met die verschillende benaderingen, daarom heb je ook, uh, je hebt, je hebt sowieso, voor mensen die niet in, in AI werken is misschien niet heel duidelijk, maar het hele vision domein is allemaal diffusion, is allemaal een heel ander paradigma dan de, dan de tekstmodellen.

319
00:58:29.388 --> 00:58:40.768
Nu zien we de laatste tijd wel dat de transformer architectuur nu samen is gevoegd met diffusion, dus dat het a-afbeelding domein, dus het maken van genereren van plaatjes, dat is nu- Nano banana. Nano banana.

320
00:58:40.868 --> 00:58:49.468
Uh, dat is nu een combinatie van transformer en diffusion, maar er zit nauwelijks diffusion nog in tekstmodellen. Ook al is daar zijn ook experimenten mee, maar dat is early early.

321
00:58:49.508 --> 00:58:53.068
Voor de, voor de luisteraar, dat is wel grappig om een beetje een intuïtie te krijgen.

322
00:58:53.568 --> 00:59:01.028
Als je diffusie gaat gebruiken om tekst te genereren, dan wordt de alinea opgebouwd met woorden die op verschillende plekken verschijnen.

323
00:59:01.088 --> 00:59:10.288
Dus niet achter elkaar sequentieel als een ketting, maar de woorden poppen gewoon op in de alinea op verschillende plekken en langzaam wordt als het ware het hele verhaal zichtbaar.

324
00:59:10.328 --> 00:59:16.688
Om je een beetje een gevoel te krijgen bij hoe diffusie erin de techwereld- Van noise, van ruis naar een- Ja, bizar. Naar een, uh, gekristalliseerde.

325
00:59:16.748 --> 00:59:24.668
Ik vind het wel grappig, hè, want die hybrids tussen dan bijvoorbeeld transformers en diffusie modellen, uh, de nano banana van deze wereld voor de luisteraars die dat wat meer zegt.

326
00:59:25.308 --> 00:59:37.048
K-, zou je dan kunnen zeggen: oké, dan is Le Cuns, uh, uh, manier een derde en krijg je een soort, nou ja, niet hybrids tussen drie. Triple hybrid. Triple hybrids [lacht]. Ja, dat is zeker denkbaar, 100%.

327
00:59:37.308 --> 00:59:49.848
Ja, dus ze kunnen complementair zijn, die paradigma's. Absoluut. Absoluut. En dat is denk ik, uhm, de bitter lesson maakt ook dat het zo moeilijk is om een paradigma-afwijking te maken. Want- Hoe bedoel je dat?

328
00:59:50.588 --> 00:59:56.428
Uhm, de bitter lesson zegt dus: je moet er gewoon meer compute tegenaan gooien en je moet gewoon de boel opschalen. Maar opschalen is duur.

329
00:59:57.428 --> 01:00:02.928
Opschalen betekent heel veel data verzamelen, heel veel mensen eraan laten werken om het allemaal engineering werkend te krijgen.

330
01:00:02.948 --> 01:00:14.828
Want er zijn een hoop uitdagingen als je iets op één GPU werkend hebt op jouw lab opzetting en dat is waarschijnlijk hoe Jeppa gedaan is en je wilt het dan in één keer naar twee datacenters schalen, naar 100.000 GPU's.

331
01:00:15.408 --> 01:00:26.608
Dat is gewoon een, een hele grote stap en het kan jaren aan engineering kosten, uh, om tot dat punt te komen. Is dat de moeite waard? En dan moet je dus een onderzoeker hebben met overtuiging van:

332
01:00:27.548 --> 01:00:35.728
ik weet zeker dat voor in ieder geval een hoop problemen dit echt wel veel, veel, veel beter gaat werken dan language modellen, modellen.

333
01:00:35.768 --> 01:00:43.768
Ik denk ook niet dat Yann Le Cun denkt dat bijvoorbeeld voor coding Jeppa state of the art gaat zijn. Want coding leent zich gewoon heel erg goed voor dat tekstparadigma.

334
01:00:43.788 --> 01:00:51.848
Want alle code die we tot nu toe met mensen geproduceerd hebben is geschreven in tekst. Is gebleken. Daar leven we nu in. En, en coding is ook, het werkt ook als een tierelier, zeg maar.

335
01:00:51.868 --> 01:01:00.988
Het is ook een domein waar het gewoon supergoed werkt, wa-waar het ook heel veel adoptie vindt en ook heel veel impact heeft. Het is ook nog eens valideerbaar. We hebben, we hebben superveel code.

336
01:01:01.388 --> 01:01:09.728
Het is al een representatie in tekst van een wereld. Misschien wel het meest geschikte voor de transformer is, uh, coding models. Ja. Eigenlijk.

337
01:01:10.048 --> 01:01:16.988
Dus, dus dat is ook waarom je, uh, denk ik, waarom het goed is dat er dan mensen die gok nemen.

338
01:01:17.528 --> 01:01:25.228
En er was een heel interessant interview met Ilya Sutskever en ik geloof dat hij met Dwarkesh dat interview heeft gedaan, vrij recentelijk.

339
01:01:25.808 --> 01:01:41.282
En in dat interview zegt Ilya dat we een soort van terug zijn in de age of research.En, uh, daarmee doelt hij op het punt dat we wel bij bepaalde diminishing returns aankomen op het gebied van die standaard transformer language modellen.

340
01:01:41.292 --> 01:01:44.132
Het is een soort terug naar de tekentafel-achtig moment.

341
01:01:45.292 --> 01:01:58.152
Soort van, ja, want het, het doel voor heel veel van deze onderzoekers, zoals Yann LeCun als Iia, Ilya Sutskever en ik denk ook wel van OpenAI, maar die zitten het diepst al met een bepaalde bet die ze nu, zeg maar, zo ver mogelijk laten gaan.

342
01:01:58.832 --> 01:02:13.192
Uhm, dat is AGI in de zin van een, e-, jaggedness is echt een, een doorn in het oog. Zeg maar, jaggedness is geconstateerd, maar het is verschrikkelijk voor AI-onderzoekers dat, dat een model heel slim is.

343
01:02:13.412 --> 01:02:24.872
En dan draai je het probleem heel iets en dan is het in één keer superdom. Dat, dat is verschrikkelijk. Dat wil je helemaal niet, want je wilt eigenlijk robuuste algemene intelligentie maken. Zoals mensen. Zoals mensen.

344
01:02:24.932 --> 01:02:34.162
Meer zoals mensen. Mensen zijn in zekere zin misschien ook wel jagged, want je kan een savant zijn in een bepaald onderwerp, maar niet, uh, misschien is je taal, uh, super zwak.

345
01:02:34.162 --> 01:02:49.812
Ik vind het wel boeiend, hè, want als je dat nu zo zegt mens, mensen, uhm, ik vind, het is ook maar net, uh, in, in, uhm, je hebt zo'n, zo'n paar van die toffe animaties. Die zijn al gemaakt in de jaren 80 volgens mij.

346
01:02:50.652 --> 01:02:58.232
Dat er wordt, uh, ingezoomd. Dus je ziet de mensen volgens mij ergens op het, op het strand of zo. Dan zoomen ze in op het atomair niveau.

347
01:02:58.372 --> 01:03:09.152
Stap voor stap voor stap voor stap en daarna zoomen ze uit op het, op het galaxy, hè, niveau, zeg maar. En dan daartussen. En dat zijn eigenlijk zoomlevels, uh, uh, abstractieniveaus, uh, noem het maar op.

348
01:03:09.232 --> 01:03:19.392
En ik vind het wel boeiend. Je, je zou natuurlijk kunnen zeggen: we hadden het net over een soort triple hybrid, uh, wat eigenlijk dus een systeem van AI's is.

349
01:03:20.212 --> 01:03:29.282
Dat, kijk, als de discussie gaat, ik vind het ook interessant bijvoorbeeld kijken naar Gary Marcus. Uh, die halen we vaak in de nieuwsbrief ook aan. Ook om onszelf een beetje op de grond te houden.

350
01:03:29.292 --> 01:03:40.432
Omdat Gary gewoon heel, uhm, kritisch schrijft over taalmodellen, kritisch schrijft over de beloften van de labs. En dat creëert wat mij betreft ook een mooie tegenkracht in, tegen de hype, zeg maar.

351
01:03:40.452 --> 01:03:56.072
Hij is echt een soort de anti-hype, uh, persoon wat mij betreft op dit gebied. Maar ik denk dat, je kunt alsnog systemen krijgen die minder jagged zijn en, uh, bovenmenselijk gaan opereren.

352
01:03:56.692 --> 01:04:01.032
Terwijl Gary Marcus en LeCun gelijk hebben. Waarom zeg ik dat?

353
01:04:01.812 --> 01:04:21.992
Dan schuiven we namelijk de zoom, het zoomlevel één omhoog en dan zeggen we: als we nou Transformers, Diffusion en LeCun's idee en nog twee ideeën in een agentic swarm laten samenwerken en daar de stempel AI AGI op doen, dan hebben we toch-- kijk, ji-jij kunt tegen mij zeggen: één individu, een mens is jagged.

354
01:04:22.452 --> 01:04:28.652
Ja, fair. Maar een groep van duizend mensen is veel minder jagged, want dat is een soort cr-crowd knowledge, zeg maar.

355
01:04:29.052 --> 01:04:38.152
Kunnen we niet op diezelfde manier zeggen dat de verschillende AI, uh, expertmodellen in een groep mogelijk ook tot een minder jagged profiel komen?

356
01:04:38.572 --> 01:04:53.012
En is de discussie of GPT 5.4 ooit zonder jagged wordt niet de, het verkeerde zoomlevel? Ja, ik, dat, dat is een van de grote vragen eigenlijk waar iedereen zich nu mee bezighoudt. Van: hoe reduceer je die jaggedness?

357
01:04:53.332 --> 01:05:04.992
En, uh, één antwoord is overduidelijk een nieuw paradigma uitproberen. Uh, dus, dus Yann LeCun is heel erg van het, uh, GEPA-paradigma wat we zojuist besproken hebben.

358
01:05:05.572 --> 01:05:16.412
Dan heb je, David Silver is een nieuw lab begonnen en hij is heel erg van het experiential van: je moet die AI dingen laten proberen in de echte wereld en, en daar feedback zien. Dat kunnen baby's ook. Ja.

359
01:05:16.432 --> 01:05:25.812
Dus je moet in een soort trial and error zou je eigenlijk jezelf uit de modder moeten kunnen trekken. Ja, en dat vind ik eigenlijk niet eens per se een heel apart, zelf op zichzelf staand paradigma.

360
01:05:25.892 --> 01:05:34.452
Omdat dat is eigenlijk hoe de beste codingmodellen nu op dit moment getraind worden. Uhm, maar je zou daar nog meer in kunnen leunen als het ware, zeg maar.

361
01:05:34.472 --> 01:05:45.432
Je zou dat, dat, dat, dat wordt nu gedaan, maar dat zou je nog extremer kunnen doen. En dat is bijvoorbeeld ook hoe AlphaGo en AlphaZero, dat zijn modellen die in dat, dat spel Go- Self-play. Toen jij het erover had ook.

362
01:05:45.472 --> 01:05:59.472
Ja, dus die, die hebben, uh, leren Go, dat bordspel spelen door Go, uh, zelf met zichzelf te spelen. Dus dat is natuurlijk een heel erg, uh, afgebakend domein. Maar, nou, dat is in ieder geval ook een ander paradigma.

363
01:05:59.582 --> 01:06:08.592
Maar het punt is dus dat de integratie van deze verschillende paradigma's, uh, op heel ve-, u-u-, op fundamenteel verschillende manieren kan plaatsvinden.

364
01:06:08.632 --> 01:06:18.812
Dus je kunt dat aan elkaar knopen als het ware als een soort Rube Goldberg machine die, zeg maar, oké, jij gaat eerst dit doen en dan kom jij met een half resultaat en dan geef ik dat weer door aan het andere model.

365
01:06:18.852 --> 01:06:20.832
Van de agentic workflows die ik nu zie.

366
01:06:21.152 --> 01:06:35.032
En dan ga je, ja, en dan ga je dus, uh, een beetje router per, per paradigm, uh, heen en, en er zijn, uh, heel veel indicaties dat, dat, d-die naïeve vorm van combineren eigenlijk waarschijnlijk niet zo goed gaat werken, omdat je dan toch altijd een soort

367
01:06:36.332 --> 01:06:46.692
gat blijft houden. Dus bijvoorbeeld taalmodellen. Als je een verkeerssituatie beschrijft in een taalmodel en je zegt: uh, a car was going at bla bla bla miles an hour bla bla bla en die beschrijft de hele context.

368
01:06:46.712 --> 01:06:55.632
Dan kunnen ze sommige dingen heel goed beantwoorden en sommige basale soort van spatial logic kunnen ze helemaal niet goed beantwoorden. Hebben ze echt een soort blind vlek.

369
01:06:55.642 --> 01:07:05.052
Ja, je hebt het typische voorbeeld van, uh, de autowasserette is op acht minuten van mijn huis lopen. Ja. Moet ik met de auto gaan of lopen? En zeggen ze: loop maar gewoon. Ga maar lopen.

370
01:07:05.112 --> 01:07:14.031
Maar dan heb je natuurlijk je auto niet bij je. Dus dat, dat, dat soort- Dat soort logica. En dat vind ik eigenlijk een, een heel erg, uh, heel, heel schadelijk voorbeeld.

371
01:07:14.352 --> 01:07:25.552
Of, of een heel extreem, een heel goed voorbeeld van: het is niet eens echt het voorbeeld waar we n-net over hadden in zekere zin. Want het is niet per se dat het heel erg leunt op spatial understanding.

372
01:07:25.562 --> 01:07:28.402
Het is bijna zelfs common sense understanding, want het is gewoon logic.

373
01:07:28.402 --> 01:07:36.932
Een slecht voorbeeld als je, pre-precies, pro-probeert het punt te maken: wat gebeurt er als een appel onder een tafel ligt, hè, dat wat meer te maken heeft met de dimensies. Precies.

374
01:07:36.952 --> 01:07:51.912
Dus stel, stel je hebt een foto geüpload naar ChatGPT en je zegt: uhm, uh, teken, uh, zeg maarDie appel als die doormidden is gesneden of zo. En beschrijf dan welke pixels dit of zo moeten zijn.

375
01:07:51.932 --> 01:07:57.192
Dus een soort van, uh, visuele manipulatie of zo. Weet je dat? Dat soort dingen kan die helemaal niet.

376
01:07:57.852 --> 01:08:04.732
En wat jij dus schetst van als je systemen kan combineren en die zijn eigenlijk altijd fundamenteel blind op die gebieden.

377
01:08:04.772 --> 01:08:13.212
Dus dan heeft Jeppa weer iets heel slims in een spatial domein gedaan en dan geeft hij het weer terug aan een LLM-model. En die, die zegt die, die, die komt dan weer met een of andere domme fout.

378
01:08:13.232 --> 01:08:27.472
Dus die, die verpest dan weer een beetje de vooruitgang omdat hij dus weer hele basale fouten introduceert. Dus wat je niet wil is, uh, dat die vormen van intelligentie heel naïef met elkaar verbonden zijn.

379
01:08:27.892 --> 01:08:29.352
Maar je kan ze wel blenden met elkaar.

380
01:08:29.632 --> 01:08:42.092
En als je dus kijkt naar transformer diffusion modellen voor afbeeldingen genereren, dan zie je dus dat als je die combineert op een slimme manier waarbij ze ook tijdens training- Nano Banana Pro bijvoorbeeld is niet naïef verbonden.

381
01:08:42.132 --> 01:08:57.972
Nee, nee. Die is intelligent verbonden. Of in ieder geval die weten van elkaar. Die, die zijn echt symbiotisch verbonden met elkaar, dus dat ze elkaars sterke en zwakke punten compenseren. Is dan die, die, die, uhm,

382
01:08:58.972 --> 01:09:00.812
ik zit nu, e-e-even wat jij,

383
01:09:01.772 --> 01:09:15.072
uh, wat ik voor me zie, hè, dus een soort zwerm van, uh, verschillende modellen die competenties hebben die verschillen van elkaar, maar samen vormen ze een goede groep, hè, en dat heet dan AGI tegen die tijd.

384
01:09:15.112 --> 01:09:19.812
Dat die approach die ik voor me zie, uh, is naïef, hè, om jouw woord te gebruiken.

385
01:09:20.992 --> 01:09:38.652
Hoe moeilijk is het om wat er met Nano Banana gebeurd is, dus eigenlijk een symbiotische integratie van modellen die verschillende strategieën hebben om dat te doen met bijvoorbeeld niet twee, maar vier of vijf verschillende paradigms combineren.

386
01:09:39.132 --> 01:09:44.172
Ik bedoel, praten we dan misschien ineens over tien jaar in plaats van tien maanden?

387
01:09:44.892 --> 01:09:59.352
Ja, dat is, dat is denk ik een redelijke aanname dat-- het is sowieso heel afhankelijk van, want je, je, je vergelijkt nu een, een fictief nieuw paradigma waarvan we niet eens kunnen beoordelen hoe ver het af ligt van de huidige paradigma's.

388
01:10:00.152 --> 01:10:09.832
Misschien dat er wel voor energie-efficiënte intelligentie een, een soort biologisch, uh, soort bio computer, physical computing, analog computing, iets wordt gebruikt.

389
01:10:10.492 --> 01:10:21.412
En dan is misschien integreren, uh, een stuk lastiger. Dus hoe dat paradigma is dat nog steeds gewoon silicon? Is dat gewoon computers? Uhm, werkt dat op GPU's?

390
01:10:21.632 --> 01:10:28.892
Zeg maar, werkt dat, zeg maar, de, al die dingen maken hoe integreerbaar ze zijn en hoeveel werk dat kost.

391
01:10:29.072 --> 01:10:42.752
Er is in essentie iets nog fundamentelers gaande, denk ik, is dat, uhm, kijk, als ik met, la-laten we even, laten we inderdaad zeggen dat, uh, we hebben stukjes die met elkaar kunnen samenwerken en we doen het op een naïeve manier.

392
01:10:42.812 --> 01:10:50.912
Dus wat jij een Rube Goldberg machine noemt, hè, dus touwtjes, houtje-touwtje constructie. Ja, wat de router was op GPT-5. Zo voelde die in ieder geval.

393
01:10:50.972 --> 01:11:02.332
En, uhm, dan heb je natuurlijk een aantal dingen die goed moeten gaan, hè. Stel dat je dat over die, dat we dat zeggen, uh, de autowasserette is acht minuten van mijn huis. Kan ik beter lopen of mijn auto pakken?

394
01:11:02.392 --> 01:11:10.252
Nou, veel modellen nu, bij-bijna allemaal, niet a-, sommigen niet, maar bijna allemaal zeggen dan: je moet lekker gaan lopen, maar dan kom je daar natuurlijk zonder je auto aan.

395
01:11:10.292 --> 01:11:20.592
En wij als mens moeten dan lachen dat we denken: dit is een beetje, is dit nou superintelligentie? Dan moet ten eerste dat model weten: ik twijfel. Dat is stap één, hè.

396
01:11:20.932 --> 01:11:33.652
Ik moet iets anders gaan aanroepen in mijn groep, want ik, ik, ik weet het niet, hè, dus dat moet je fixen. Ja, dus er moet ook wel een soort van de jacketness daarvan is nu nog geen zelfreflectie.

397
01:11:33.752 --> 01:11:43.112
Precies, dus er moet een zelfreflectie zijn. Oei, dit is er eentje waar ik niet te snel een uitspraak over moet doen. Ik kan niet alleen maar naar thinking mode gaan. Je mag hem van mij gewoon pauzeren.

398
01:11:43.172 --> 01:11:49.572
Dit gaat gewoon nooit werken. Zeg maar, die hele soort van samenknopen van dat soort dingen, dat gaat nooit AGI geven. Waarom niet?

399
01:11:50.552 --> 01:12:06.311
Omdat, uhm, er heel veel voorbeelden zijn van hoe in het verleden zo systemen, expert systems of andere systemen aan elkaar geknoopt zijn en dat dan altijd dat verbindingsmechanisme de bottleneck is,

400
01:12:07.292 --> 01:12:20.312
uhm, waarbij uiteindelijk een systeem zo goed is als zijn zwakste component en dat wordt het zwakste component, dus dan gaat het uiteindelijk niet goed werken. En je ziet gewoon dat, uh, bijvoorbeeld Gemini

401
01:12:21.692 --> 01:12:27.232
is class leading, zeg maar het beste op het gebied van multimodal data.

402
01:12:27.932 --> 01:12:40.712
En dat gaat dan over audio en video en image en een stukje tekst tegelijk geven aan het model en dan vragen die modaliteiten te combineren om een antwoord te geven. En dat komt omdat dat model,

403
01:12:41.672 --> 01:12:49.672
uh, fundamenteel multimodaal getraind is. Dus ze hebben dat al gecombineerd in de, in het, in het ontwikkel-, creatieproces van dat model.

404
01:12:50.712 --> 01:13:06.852
En, uhm, zolang, kijk, uiteindelijk de, de AI zoals we het, de, de beste AI's die we kennen in die, in die specifieke slice of nou coding is of afbeelding genereren of video genereren, bijvoorbeeld CDance, uh, C-Dream, CDance 2.0, insane video model uit China.

405
01:13:07.512 --> 01:13:15.312
Uhm, die bijzondere capaciteiten, die komen voort uit het simpele paradigma van machine learning.

406
01:13:15.332 --> 01:13:25.652
Zo van: je ge-, je hebt een systeem, je hebt heel veel data en je traint het model gewoon enorm lang en je blijft maar het model groter maken. Je blijft maar meer data toevoegen en dan krijg je magic.

407
01:13:25.672 --> 01:13:35.232
En dat paradigma werkt. Voor de rest weten we niet iets anders wat werkt, dus gewoon dat werkt. En je moet dus ook een combinatiesysteem,

408
01:13:36.612 --> 01:13:40.912
zeg maar, die moet diezelfde, uh, datzelfde paradigma moet nog steeds daarvoor werken.

409
01:13:40.952 --> 01:13:51.532
Dus dan moet je die systemen knoop je aan elkaar en daarna ga je het trainen, zeg maar in zijn geheel.Omdat het anders nooit gebruik leert maken van elkaars zwakke en sterke punten.

410
01:13:52.352 --> 01:14:04.252
Uhm, omdat het nooit de kans heeft gehad. Dus het is niet magie, het is gewoon dat moet het, dat moet het leren. De leerlingen moeten tijdens de opleiding al opgeleid worden voor het team waarin ze terecht gaan komen.

411
01:14:04.262 --> 01:14:17.052
Voor die samenwerking als het ware. Ja, en, en dat en die als het ware die, uh, uhm, samenwerkingsinfrastructuur, hè, wat alles dan aan elkaar verbindt. Dat is in het verleden geprobeerd.

412
01:14:17.072 --> 01:14:24.592
Daarom noem jij het ook een naïeve approach. Want dat, daarmee doe je eigenlijk een waardeoordeel van dan. Jij denkt dat dit gaat werken, maar dan gaat het echt niet, hoor.

413
01:14:24.652 --> 01:14:34.232
En, en, maar, en betekent het dan ook dat jij persoonlijk, uh, best wel kunt. Want Lecoon is best wel, uh, cynisch.

414
01:14:34.292 --> 01:14:41.492
Of ja, die is best wel aan het down hypen, zeg maar aan het anti hypen van: jongens, jongens, wacht even. Ik ben ook onder de indruk wat er nu allemaal gebeurt, hè.

415
01:14:41.552 --> 01:14:49.332
Ik zie het ook, maar denk nou niet dat we nu ineens doorstoten naar AGI vanuit wat we nu hebben uitgevonden. Er is nog een hoop te doen.

416
01:14:49.392 --> 01:15:00.812
Hij zegt eigenlijk: we missen nog hele componenten van de, van de cirkel, hè, die jaggedness. We moeten nieuwe sterren gaan maken die we naast elkaar kunnen leggen en die zomaar aan elkaar knopen gaat niet helpen.

417
01:15:00.822 --> 01:15:09.472
Dus we moeten ook nog eens hybrids, uh, gaan maken met zeven verschillende dingen en dat is even niet binnen zes maanden gefixt. Ja, en daar is dus wel--

418
01:15:10.632 --> 01:15:14.892
we gaan weer helemaal terug naar het begin van het gesprek, want daar hadden we het over auto research.

419
01:15:15.162 --> 01:15:27.832
En dat je dus nu ziet dat het steeds sneller en steeds capabeler gaat als je vraagt aan een AI coding agent: uh, implementeer dit voor mij en test of het werkt. En heel veel van dit werk,

420
01:15:28.812 --> 01:15:35.652
of het nou, zeg maar, het Jeppa-idee opschalen is en de engineering werkzaamheden die daarvoor nodig zijn, is nog steeds allemaal software engineering.

421
01:15:35.832 --> 01:15:40.732
Ja, tuurlijk, het is ook een stukje datacenters bouwen en die GPU's installeren, verbinden met het stroom, et cetera.

422
01:15:41.152 --> 01:15:50.952
Maar als er al een datacenter staat en je hoeft alleen maar in plaats van transformer te trainen, train je nu Jeppa. Dan kan een agent dat binnen een paar uur gefixt hebben.

423
01:15:51.892 --> 01:16:04.072
En als we straks voor elkaar krijgen om meerdere agents productief samen te laten werken op het gebied van coding, want dat is heel dichtbij, dat werkt al vandaag. En dat, dat in rap tempo wordt dat beter,

424
01:16:05.052 --> 01:16:11.932
is het combineren van dit soort ideeën ook iets wat steeds sneller gaat. Dus dan heb je het niet per se over tien jaar.

425
01:16:12.972 --> 01:16:26.172
Juist omdat je als het ware krachtige instrumenten ontwikkelt en waar we dichtbij zijn voor zelfversnelling. Het is niet per toeval dat de labs zoals OpenAI hebben gezegd: we gaan dubbel downen op transformers.

426
01:16:26.332 --> 01:16:29.312
Die hebben ook al, al die bezwaren gehoord van wat je wel niet met transformers kan,

427
01:16:30.512 --> 01:16:47.172
maar die geloven wel dat je tot het punt kan komen dat het die jaggedness of die tekortkomingen kan gaan adresseren door bijvoorbeeld hybride aanpakken of, of, of, of, zeg maar varianten van een transformer systeem.

428
01:16:47.441 --> 01:16:55.432
Misschien wel helemaal van scratch trainen, want dat kan nog steeds, hè. Je kan nog steeds iets helemaal van scratch, scratch trainen in een paar maanden, uhm, op hele, hele grote schaal.

429
01:16:56.112 --> 01:17:04.612
En dan komen die dingen misschien samen en dan zo, zo druk je misschien de jaggedness eruit. Gewoon puur met die coding agent. Het is wel boeiend, hè, want eigenlijk, uhm,

430
01:17:06.572 --> 01:17:23.172
als, even als voor het gemak van het gesprek Lecoon zit hier ook aan tafel, dan vraag ik aan hem voor wat er nog uitgevonden moet worden aan spelers in het team en de coördinatie binnen het team.

431
01:17:24.032 --> 01:17:36.812
Hoe lang duurt dat nog? En dat hij dan zegt: ja, daar zijn we nog, nog wel tien jaar mee bezig. En als ik dan aan hem vraag: wie is we? Dat hij daar dan misschien toch ook nog met menselijke intuïtie zit.

432
01:17:37.452 --> 01:17:45.191
Dat hij denkt dat we als mensen dit allemaal moeten gaan uitvinden. Want wat ik jou nu hoor zeggen is eigenlijk: ik ben het met hem eens, hè.

433
01:17:46.472 --> 01:18:10.132
De vraag is alleen of de bottleneck die hij ziet voor hoeveel novel science en oplossingen er nog gedaan moeten worden, niet ten dele opgelost wordt en versneld wordt door uit de hand gelopen previous paradigm transformers die als junior researchers Lecoons problemen gaan oplossen in een tempo dat zelfs hij misschien intuïtief.

434
01:18:10.142 --> 01:18:14.992
We zijn heel erg aan het gokken nu op wat hij denkt en voelt, hè. Die man is honderd keer zo slim als ik, dus dat is prima.

435
01:18:15.292 --> 01:18:25.772
En ja, [lacht] dus die zit nu, uh, tegen mij te zeggen: nee, zelfs, ik heb in mijn tien jaar rekening gehouden met- Met supergoede coding agents. Keer 10.000. Zo moeilijk is dit probleem, weet je wel.

436
01:18:25.782 --> 01:18:31.992
Maar toch, wat ik merk wel voor mij, ik projecteer het even op Lecoon is, uh, mijn intuïties.

437
01:18:32.032 --> 01:18:43.072
Ik ben constant, uh, toen ik vandaag in de trein zat naar de studio, zat ik op een gegeven moment gewoon te denken: volgens mij heb ik er nu het meeste aan om te reflecteren op mijn eigen intuïties.

438
01:18:43.172 --> 01:18:45.552
Uh, o-, daarmee bedoel ik te zeggen:

439
01:18:47.292 --> 01:18:59.491
ik vind het, we, je hebt een typisch voorbeeld, uh, dat wordt in, uh, heel veel, uh, uh, eerstejaars economie, uh, opleidingen altijd aangehaald dat wij als mens een bijzonder slechte intuïtie hebben als het gaat om compound interest.

440
01:18:59.532 --> 01:19:08.472
Omdat we, ja, omdat we eigenlijk geen interne simulatie kunnen draaien van exponentials, alleen maar lineair, omdat we dat het meest hebben gezien als wezen. Is dan mijn invulling.

441
01:19:08.852 --> 01:19:15.932
We zien niet zo vaak exponentials en daardoor hebben we daar geen intuïtie voor. Maar ze bestaan wel. Uh, de geschiedenis zit vol met exponentials. Zeker.

442
01:19:16.672 --> 01:19:26.052
Dus hier zou ik, i-ik merk dat in een soort hyper exponentials of whatever, er zullen vast mooie wiskundige namen voor zijn. Ik heb al een bijzonder slechte intuïtie voor exponentials.

443
01:19:26.272 --> 01:19:34.872
Ik heb een bijzonder, uh, slechte intuïtie voor vier dimensies in plaats van drie, hè. Daar kan je blijkbaar als wiskundige na tien jaar werken met vier dimensies een intuïtie voor ontwikkelen.

444
01:19:35.332 --> 01:19:42.772
Maar ik merk dus ook dat in veel gesprekken, ook nu met jou, dat wij dan zeggen: uh, ja, nee, maar dat, dat duurt nog wel tien jaar.

445
01:19:43.412 --> 01:20:03.919
Maar z-zeggen we dan dat we daar, houden we daar dan constant rekening met het feit dat er ook door AI geduwd wordt in wie die wetenschap aan het doen is?Ja, ik, ik denk dus dat de tijdlijnen uiteindelijk het, het product zijn van een hele complexe soort samenloop van, van zaken.

446
01:20:03.960 --> 01:20:17.400
Want stroombeschikbaarheid, de maatschappelijke, ant-, het, het maatschappelijk enthousiasme voor het bouwen van meer datacenters, uhm, de kwaliteit van coding agents,

447
01:20:18.460 --> 01:20:31.800
de verruiming van wat coding agents wel en niet autonoom kunnen. Zeg maar al die, al die dingen zijn samen bepalend voor de totaalsnelheid en dat is lastig te voorspellen.

448
01:20:31.840 --> 01:20:40.360
Maar wat je wel dus nu ziet en daarom denk ik dat er zo'n moment is van auto research als subtrend die nu heel actief besproken wordt.

449
01:20:40.880 --> 01:20:55.300
De autonome AI onderzoeker, uhm, die code schrijft, tests draait en dat, uhm, daar resultaten mee laat zien en dus het proces enorm versnelt. Makkelijk factor tien, echt makkelijk factor tien. Uhm,

450
01:20:57.060 --> 01:21:00.280
ja, dat kan wel gewoon al die tijdlijnen verkorten.

451
01:21:01.570 --> 01:21:15.880
En dan is misschien nog één van de blinde plekken, blinde vlekken die daar zit, in ieder geval bij mijzelf, is, uh, dat er een verschil is tussen executie, uh, dus taken uitvoeren en interpreteren wat dat betekent.

452
01:21:16.240 --> 01:21:22.000
Uh, dus het resultaat van die taak weer verwerken binnen een systeem. Wat probeer ik, uh, te zeggen?

453
01:21:22.040 --> 01:21:34.640
Er is een heel, uh, oud software engineering boek, uh, waar de, The Myth of the Man-Month, de mythe van de man de maand, oftewel, uh, en dan met man grotendeels engineers. Mythical Man-Month. Ja, de Mythical Man-Month.

454
01:21:34.660 --> 01:21:35.100
Dank je wel.

455
01:21:35.440 --> 01:21:51.240
Het idee dat als je een project hebt dat met e-één persoon tien maanden duurt, dat als je er tien personen tegenaan gooit, dat het dan nog maar één maand duurt en dan blijkt het ineens veertien maanden te duren omdat de overhead van het toevoegen van die extra personen het langer laat duren.

456
01:21:51.300 --> 01:21:56.940
En er zitten zelfs grafieken in dat boek van bij hoeveel mensen je weer terugkomt om de oude tien maanden, bij twintig of zo.

457
01:21:57.000 --> 01:22:01.820
En dan, bij boven de twintig ga je inderdaad terug naar zes maanden en al dit soort, ik roep maar getallen als voorbeeld.

458
01:22:02.200 --> 01:22:13.430
Punt is dat veel van, uh, de problemen in de fuzzy realiteit van, uh, ja, waar realiteit ook de wereld raakt, hè, we leven niet alleen maar in computergames.

459
01:22:14.020 --> 01:22:25.920
Dat daar, uhm, als jij een complex systeem hebt waar nodes in zitten van stukjes software die tot resultaten moeten komen en dat al die nodes ineens instant resultaat gaan leveren van de een op de andere dag.

460
01:22:26.290 --> 01:22:38.260
Dus alle blockers in jouw, uh, s-, uh, s-, bedrijf, uh, die technisch waren doen er niet meer 10 minuten over, maar allemaal geven ze gewoon meteen instant antwoord. Dan heb je niet ineens een instant bedrijf.

461
01:22:38.600 --> 01:22:48.780
Nee, je hebt nu een deel van je nodes in je informatiesysteem. Er is ook een hele leuke wetmatigheid hiervoor. Die wordt gebruikt, ook voor het analyseren van de maximaal haalbare speedup.

462
01:22:48.840 --> 01:22:57.020
Als je wel puur kijkt naar het computational probleem, dat heet Amdahl's Law en dat gaat over parallelisatie versus dingen sequentieel doen.

463
01:22:57.680 --> 01:23:08.920
En de, die zegt gewoon simpelweg dat de maximale speedup is de, het sequentiele deel, uhm, bepaalt uiteindelijk of je het parallelle deel oneindig zou kunnen schalen.

464
01:23:08.980 --> 01:23:15.580
Dan bepaalt puur en alleen het sequentiele gedeelte de maximale speed. Kan je een voorbeeld geven? Ja, dus nu om, om met concrete getallen te komen.

465
01:23:15.650 --> 01:23:21.020
Stel je hebt een probleem, uh, wat je wil oplossen in code en het is een berekening.

466
01:23:21.040 --> 01:23:29.640
Misschien een weers-, weersberekening of het trainen van een model en je krijgt het voor elkaar om 95% van het probleem helemaal parallel te doen.

467
01:23:29.660 --> 01:23:39.460
Je hebt 5 miljoen GPU's en je doet het op elke van die GPU's zet je een stukje van het probleem waardoor je instant klaar bent, maar je hebt alleen nog 5% wat je niet kan gebruiken.

468
01:23:39.520 --> 01:24:00.440
Dan is het 5% zorgt ervoor dat je 20x maximale speedup is, want als je nog steeds die 5% sequentieel gaat doen, dan domineert dat deel nu gewoon de tijd die het kost en dus is het volledig reduceren van bottlenecks zoals jij zegt niet direct dan een volledig.

469
01:24:00.480 --> 01:24:13.600
Als twintig, als twintig rijbanen op een snelweg eindigen bij één brug, kan je alles daarvoor, maar uiteindelijk vind jij dan: hey, de nieuwe bottleneck is nu dat ene bruggetje waar al die auto's die met z'n twintigen naast elkaar reden overheen moeten.

470
01:24:13.639 --> 01:24:25.920
Ja. En dan had jij het er nog over dat je zei: in een puur computational realm. Ja, en dan. Oftewel als alles informatie was. En dan heb je dat het niet als informatie is. Maar wat wel een interessante, uh,

471
01:24:26.840 --> 01:24:37.000
een bruggetje is naar de, de fysieke wereld. Als we het nu dan toch hebben over ja, je hebt, je hebt je digitale wereld, maar er is ook nog een fysieke wereld. En dat, daar i-is wel ook best wel veel

472
01:24:38.300 --> 01:24:51.000
snelle ontwikkeling nu op het gebied van robotics en kun je voor een, dus, dus autonomous driving, zeg maar selfdriving cars die, uh, die werken. Ze zijn nog niet beter.

473
01:24:51.040 --> 01:25:02.420
Ze zijn beter dan mensen, maar ze zijn nog niet perfect. Maar ze zijn wel vele malen veiliger dan mensen, menselijke bestuurders. En, uhm, zo heb je nu dus de trend van humanoïde robots.

474
01:25:02.960 --> 01:25:10.620
En die, uh, zijn nog heel basaal, maar worden wel in rap tempo beter. En dan heb je het weer over die intuïtie van exponentials.

475
01:25:11.440 --> 01:25:24.380
Hoeveel, hoeve-hoeveel zinnigs kunnen wij nu zeggen over de, uh, snelheid van verbetering van humanoïde robots als we nog niet eens begrijpen hoeveel sneller die coding agents beter worden?

476
01:25:24.420 --> 01:25:32.820
En wat een veel betere coding agent betekent voor de snelheid waarmee we de ro-, de, de, de humanoïde robots beter kunnen maken.

477
01:25:33.600 --> 01:25:45.240
Want als, zeg maar, het, v-, het, het maken van die AI systemen uiteindelijk een heel groot fysiek component blijkt te he-, te hebben, omdat we, uh, een aantal keren bijvoorbeeld hele datacenters opnieuw moeten inrichten.

478
01:25:45.840 --> 01:25:58.076
Als dat volledig geautomatiseerd is, dan kan je dat ook helemaal digitaal aansturen en wordt dat door een robot uitgevoerd. EnIk weet dat heel veel mensen denken: ja, maar nu ga je echt te ver.

479
01:25:58.156 --> 01:26:09.296
Dat we humanoids hebben en dat die coding agents ook heel goed zijn. En nou ja, daar zijn we gewoon nog lang niet. Maar het is wel exact de realiteit waar keihard gedrukt wordt om naartoe te komen.

480
01:26:09.336 --> 01:26:23.296
En ik denk met goede reden, omdat als we daar eenmaal zijn, dan ben je in staat om heel veel grote problemen die, als je die, zeg maar, als je, uh, als je, zeg maar, dat coding gedeelte helemaal opgelost hebt.

481
01:26:23.316 --> 01:26:41.196
Dus je kan alle software die je kan bedenken kan je pr-praktisch instant schrijven en je kunt alle fysieke, uh, stappen die gezet moeten worden om, om, uh, om, om het gat dicht te-- stel je bent een farmabedrijf en je moet ook, uh, uh, logistiek, zeg maar, uh, de, de medicijnen naar de mensen toe brengen zodat ze ook daadwerkelijk de medicatie kunnen nemen.

482
01:26:41.276 --> 01:26:54.156
Ik noem maar wat. Dat, dat kan wel heel veel welvaartcreatie uiteindelijk opleveren. Dus. Dat is een beetje Hassabis idee, Demis Hassabis, van: de laatste uitvinding is een syte-synthetische uitvinder. Ja.

483
01:26:55.296 --> 01:27:06.996
Want als je eenmaal een hele grote, als je een uitvinder uitgevonden hebt, ja, dan, dan gaat de rest vanzelf. En, uh, ik denk dat de laat-laatste misschien wel, om het af te sluiten, is

484
01:27:08.356 --> 01:27:21.616
als je al een tijdje programmeur bent en je bent zoals ik ook heel erg bezig met AI-onderzoek en ideeën implementeren, ideeën bedenken, dan implementeren, testen of ze werken en dan, en dan dat riedeltje herhalen. Dan,

485
01:27:23.316 --> 01:27:33.276
v-, dan zie je nu wat die coding agents zelfstandig voor elkaar krijgen. Wat Karpathy dus liet zien, dat hij een grafiek post op zijn Twitter waarbij die, uh, liet zien, want ik heb een systeem gebouwd.

486
01:27:33.316 --> 01:27:46.496
Hij is echt een van de, de, de beste. Hij is, zeg maar, uh, Michael Jordan van AI-onderzoekers. En hij, uh, ziet dus, hij zegt: ik begon met een systeem wat ik zo, zo goed geoptimaliseerd had als ik ongeveer wist.

487
01:27:47.116 --> 01:27:51.516
En dan liet hij die grafiek zien. Dat was het startpunt. En die AI-agent, die vindt gewoon verbetering naar verbetering, naar verbetering.

488
01:27:51.566 --> 01:28:03.196
Er staan volgens mij 40 puntjes op die grafiek en dan zie je dat lijntje naar beneden gaan. En dan, dan, en, en dan ben je zelf als programmeur, gebruik je deze coding agents om jouw werk gedeeltelijk te automatiseren

489
01:28:04.116 --> 01:28:16.296
en dan voel je gewoon van: damn, het kan gewoon echt. Het zijn echte ideeën. Hij doet het helemaal zelf. Het zijn echt capabele, zeg maar, uh, uh, uitvoeringen, uh, ervan.

490
01:28:16.356 --> 01:28:26.336
Dus hij heeft niet, uh, de, de kantjes ervan afgelopen en zich 10 keer gestoten. Nee, hij heeft gewoon netjes goed dit geprobeerd, tot de conclusie gekomen en het op de juiste manier verwerkt.

491
01:28:26.436 --> 01:28:32.516
Dan, dan voel je gewoon ineens: holy shit, we zijn wel veel dichter bij die realiteit dan we denken. Ja, en ik denk ook dat, uhm,

492
01:28:33.756 --> 01:28:50.556
je hebt eigenlijk twee dingen nodig op zijn minst om tot een soort, uhm, ja, uh, dat, dat gevoel over je heen te krijgen wat jij nu beschrijft, wat Karpathy heeft gehad, wat, wat ik op mijn eigen manier binnen mijn eigen werk een aantal keer heb meegemaakt, vooral in de laatste maanden.

493
01:28:50.996 --> 01:29:02.716
Een gevoel waardoor ik vrienden wil gaan opbellen om ze te vertellen: d-er is iets substantieels aan de hand. Daar heb je twee dingen voor nodig. Ten eerste heb je een, uh, principe nodig dat werkt.

494
01:29:03.036 --> 01:29:16.096
Dus, uh, iets wat een cirkel kan maken en zichzelf kan verbeteren, zeg maar. Ik zeg het heel even vaag, maar iets recursiefs wat eigen onderzoek kan doen. Auto research, dat heb je nodig. Dat is er nu eigenlijk.

495
01:29:16.596 --> 01:29:28.956
En dan heb je nog nodig dat, dat, dat de principes die je daar hebt, dat, dat, dat, dat idee generaliseert naar alle andere domeinen. Of in ieder geval genoeg domeinen die weer doorgeneraliseren naar de rest.

496
01:29:29.556 --> 01:29:43.816
En ik denk dat j-jij en ik, ik spreek even voor ons allebei, niet kunnen garanderen dat dat niet zo is. Ja, en het is, en het is altijd een, zo'n s-, zo'n inschatting. Weet je wel, van

497
01:29:44.936 --> 01:29:57.516
toen ik, uh, GPT-3.5 zag, toen dacht ik ook wel van: wow, super bijzonder! Vet dat dit nu kan. Maar je wist wel gewoon gut check. We zitten superver af van AGI, wat het dan ook mag zijn.

498
01:29:58.276 --> 01:30:11.596
Maar je voelt nu gewoon dat de technologie een bepaald punt heeft bereikt. Dat het, uh, zo goed is dat je weet: holy shit, alles wordt, uh, heel anders. En dan weten we nog steeds

499
01:30:12.596 --> 01:30:22.676
eigenlijk niet hoe dicht we bij nog betere intelligentie zijn. En er kan, er kunnen nog steeds allemaal-- maar je voelt wel van: hey, het kan wel eens dichterbij zijn dan we denken.

500
01:30:23.196 --> 01:30:33.096
En dan heeft iedereen het over: stel, je survey't een aantal experts uit het veld over wat zijn jouw AGI timelines. En dan kan je het vragen aan Demis Hassabis. Dan kan je het vragen aan Sam Altman.

501
01:30:33.136 --> 01:30:40.536
Dan kan je het vragen aan wie dan ook, zeg maar, daar. Demis Hassabis vijf tot tien. Sam Altman één tot twee. Dario één tot twee op dit moment.

502
01:30:40.576 --> 01:30:53.076
En, uh, Shane Legg, de andere co-founder van DeepMind, die zit al een tijdje consistent op 2028 omdat hij het gevoel heeft dat we een stuk dichterbij zijn. Uhm, ook weer

503
01:30:54.296 --> 01:31:05.656
opnieuw bevestigd voor hem, voor zijn gevoel, zegt hij ook, uh, publiekelijk, door de recente doorbraken die er zijn geweest. Iedereen heeft het over het decembermoment, dat in december.

504
01:31:05.796 --> 01:31:17.416
Er zijn veel tech leaders- Ja...die, uh, in hun, in hun vakantie echt even up and close zijn ge-ge-gegaan met de laatste modellen en dat waren toen Opus 4.5 [klikt met tong]

505
01:31:17.456 --> 01:31:33.776
en, uhm, en toen echt zagen: ho, dit werkt echt megagoed. En we moeten het nog maar zien. Dat is sowieso nog, i-i, ik kan niet zeggen: we zijn er al, maar het gaat wel een, een hele extreme kant op.

506
01:31:33.816 --> 01:31:36.376
Waarbij de, de-- dat is ook, denk ik, het ding.

507
01:31:36.716 --> 01:31:59.715
Mensen moeten denk ik realiseren dat we voordat we bij AGI zijn, wat, wat de meeste mensen als AGI zouden bestempelen, zouden we bij een soort AGI 0.5 kunnen zijn, een soort halve AGI, die zeker nog niet door iedereen AGI genoemd wordt, maar wel extreem disruptief is en alles verandert aan hoe we de maatschappij organiseren in, in allerlei landen.

508
01:31:59.736 --> 01:32:13.140
Van, van China tot Amerika tot aan Europa, tot, zeg maar, deDe impact van een sub AGI systeem kan nog steeds enorm zijn. Ja, de uitvinding van een, uh, talentvolle

509
01:32:14.100 --> 01:32:29.980
junior onderzoeksassistent is al gigantisch substantieel. Als het echt dat is, hè. In zijn volledigheid. Als het dat is in de volledigheid. En ik denk om af te sluiten dat, uh, er vonkjes zijn. Vonkjes van novelty dus.

510
01:32:30.400 --> 01:32:39.960
Nieuwe dingen die wij nog niet hebben uitgevonden. Strategieën die nergens op papier staan, maar ontstaan in die modellen die vervolgens verwerkt worden in de modellen zelf.

511
01:32:40.340 --> 01:32:55.820
En de nieuwe versies van die modellen gaan weer door uitvinden. Dat lijkt nu in kleine versies en testjes en domeintjes te werken. En als dat generaliseerbaar is naar meer, uh, dan is het allemaal wat dichterbij.

512
01:32:55.860 --> 01:33:00.460
Om het lekker vaag te zeggen dan dat veel van ons, inclusief wij, misschien kunnen begrijpen.

513
01:33:01.340 --> 01:33:10.879
Uh, tegelijkertijd is meer, uh, personen tegen een softwareproject aangooien niet de oplossing per se om een softwareproject te versnellen.

514
01:33:11.240 --> 01:33:26.300
Dus ik denk dat-- en is het zo dat we nog allemaal dingen, we, wie we is trouwens, dat weten we niet, maar in ieder geval dat er een groep aan onderzoekers met AI samen nog fu-fundamentele uitvindingen moet doen die ook nog eens aan elkaar gelijmd moeten worden met beter dan tape om ze allemaal samen te laten werken.

515
01:33:26.320 --> 01:33:40.900
En dan als, als, als, als, als, als duurt het waarschijnlijk geen tien jaar meer. Drie. Drie houden we erin. Daar sluiten we mee af. Dank je wel man. Tot de volgende keer! Leuk gesprek. Hoi hoi.

516
01:33:43.459 --> 01:33:54.990
[outro jingle].