WEBVTT

1
00:00:00.080 --> 00:00:10.400
[wekkerrinkel] Oh! Oh. Zo klinken 165.000 scheerbewegingen per minuut die je helpen om fris voor de dag te komen.

2
00:00:10.440 --> 00:00:18.600
De flexibele scheerkop van de Philips S9000 Prestige volgt de contouren van je gezicht en scheert tot op nul millimeter van je huid.

3
00:00:18.660 --> 00:00:29.000
Ervaar een ultiem gladde en comfortabele scheerbeurt, ook wanneer je nog niet helemaal wakker bent. Want dankzij de slimme sensoren past het scheerapparaat zich helemaal aan jou aan.

4
00:00:29.740 --> 00:00:39.300
Zo kun jij nog extra genieten van je kopje koffie voor je de deur uit gaat. De Philips S9000 Prestige is het ideale scheerapparaat om jouw dag goed mee te beginnen.

5
00:00:40.300 --> 00:00:51.000
Koop de Philips S9000 Prestige bij jouw favoriete winkel. Koffietijd voor mannen. De podcast waarin drie onbezonnen gasten je wekelijks een kijkje geven in hun zinderende studentenleven.

6
00:00:51.060 --> 00:01:00.580
We gaan geen onderwerp uit de weg en helpen je op het gebied van liefde. Zou je huilen tijdens de seks een, een, een afknapper vinden? Vriendschap en alle andere problemen die je tegenkomt in je studentenleven.

7
00:01:00.620 --> 00:01:14.800
Ze miste een beetje vo. [gelach] Elke maandag om 3.00 uur sharp op je favoriete podcastplatform. Ik heb met zoveel meiden getongd en met vier verschillende. Ik zo bram, dat was vier keer dezelfde.

8
00:01:14.840 --> 00:01:27.000
[gelach] We luisteren deze podcast op eigen risico. Welkom bij Poki, de Nederlandse podcast over kunstmatige intelligentie waar we uitzoeken welke invloed AI gaat hebben op ons werk, ons leven en de samenleving.

9
00:01:27.040 --> 00:01:39.050
Tegenover mij zit Wytse Hagen. Goedemiddag. Goedemiddag Wytse. In het nieuws in Amerika was er iemand zo slim om zijn huurcontract eens door ChatGPT te halen. En wat bleek? De huisbaas deed iets wat helemaal niet mocht.

10
00:01:39.200 --> 00:01:44.720
Conclusie de rechter wees deze persoon $ 1.000 schadevergoeding toe. We hebben, we hebben het erover.

11
00:01:45.310 --> 00:01:54.340
Amazon lanceert het huismerk onder de taalmodellen, zeg maar de Amazon Basic versie van ChatGPT voor zakelijke klanten en Apple gebruikt het stiekem al op de achtergrond en wij analyseren het.

12
00:01:54.780 --> 00:02:07.280
Er is een Europese AI-startup die bekend heeft gemaakt dat ze AI-attack drones, AI-attack drones hebben vliegen in Oekraïne en ze maken nu bekend dat andere landen die ook kunnen kopen. Gezellig. Gezellig.

13
00:02:07.320 --> 00:02:11.960
Misschien iets voor jou, Wytse. En we hebben het de hele tijd over steeds grotere trainingsdata voor taalmodellen.

14
00:02:12.040 --> 00:02:19.200
Taalmodellen worden steeds groter, maar daarmee is onderbelicht wat relevant is voor ons allemaal, denk ik, namelijk het steeds groter wordende context window.

15
00:02:19.240 --> 00:02:31.760
En dat betekent in de praktijk een vrijwel oneindig geheugen voor jezelf, maar zelfs ook de mogelijkheid dat je het geheugen van andere mensen kunt gaan raadplegen. Wat dat betekent, doet ons hoofd tollen.

16
00:02:32.220 --> 00:02:34.180
Dat en meer bij Poki. Veel plezier!

17
00:02:42.420 --> 00:02:55.120
[muziek] Ik was vorige week voor een lezing bij, uh, een grote verzekeraar en die vertelde wat ze allemaal met, uh, met AI-agents doen. Dat vond ik toch vet.

18
00:02:55.600 --> 00:03:05.520
Ik kom zelden bedrijven tegen die, ik praat veel over AI, maar dat is meestal bedrijven die niet heel veel zelf doen met AI. En dit was een bedrijf die dat duidelijk wel deed

19
00:03:06.740 --> 00:03:14.300
en die hadden allemaal agents die hele delen van dat schadeproces, uh, met agents oplossen.

20
00:03:14.320 --> 00:03:25.080
Dus dat dan op een formulier, uh, een datum gematcht moet worden met de geboortedatum op het rijbewijs bijvoorbeeld, is dan een agent die op de achtergrond draait. En zo zijn er talloze.

21
00:03:25.160 --> 00:03:35.280
En als al die agents een groen vinkje geven, dan zeggen ze de schade kan uitbetaald worden en dat kan dan op termijn zelfs binnen een paar seconden. Maar dat is dan ook nog een, een groepje van.

22
00:03:35.560 --> 00:03:45.920
Dus er moet een soort consensus zijn tussen die agents. Precies. Grappig, hè? Ja, ik moet zeggen dat het mij ook wel opvalt dat er best wel wat AI-squad teams en dat soort, uh, teams binnen bedrijven zijn.

23
00:03:45.960 --> 00:03:56.160
Het onderwerp wordt wel serieus genomen, laat ik het zo zeggen. Ja, ja. Het is op de ene plek wat meer dan de andere plek, maar er is die urgentie. Ik deed mijn lezingen anderhalf jaar geleden heel erg over urgentie. Ja.

24
00:03:56.280 --> 00:03:58.000
Dat woord kan er eigenlijk een beetje uit inmiddels.

25
00:03:58.080 --> 00:04:08.280
Ja, dat is er wel, maar die, uh, dat, dat valt me ook op dat het op, dat op, in die kant van het bedrijfsproces is, want dat is dan de kern van een verzekeraar is natuurlijk verzekeringen uitbetalen.

26
00:04:08.380 --> 00:04:24.720
En, uhm, ik had verwacht dat ze als bedrijven zeggen we doen heel veel met AI, dan heb ik, heb ik altijd het idee dat een beetje een soort van Klarna-effect, namelijk dat marketing en sales, uh, en klantenservice, uh, heel, heel erg of zeg maar grotendeels geautomatiseerd worden.

27
00:04:24.730 --> 00:04:27.980
Maar dat is niet de kern van het bedrijfsproces natuurlijk. En dat is bij Klarna ook niet het geval.

28
00:04:28.000 --> 00:04:39.360
En ik zag, ik zag zo'n artikel dat zij, als Klarna nou heel goed zou zijn in AI toepassen in de kern van hun bedrijf, namelijk gewoon een leen, leningboer zijn, dan hadden ze dat van de daken geschreeuwd.

29
00:04:39.820 --> 00:04:48.480
En dat doen ze niet. In plaats daarvan hebben ze het alleen maar over marketingdingen, marketingassets maken en klantenservice optimaliseren met botjes. Ja, content genereren.

30
00:04:48.580 --> 00:05:00.919
Ja, dus dat is niet de kern van het bedrijf, zeg maar. Dus de- Maar zou het niet zou kunnen zijn dat, uhm, iets meer cynisch, maar dat wat agents genoemd wordt eigenlijk algoritmen zijn, maar dan met een nieuw jasje?

31
00:05:01.010 --> 00:05:11.400
Ik bedoel, uh, ik kan me ook voorstellen dat er werd al grote analyse gedaan op grote datasets op basis van, uh, verschillende eisen en daar draaide dan een algoritme op. Ja.

32
00:05:11.720 --> 00:05:21.220
Dat, dat die algoritmes nu ge-, rebranded zijn naar agents. Nou, het klonk, dit, dit. Klonk wel serieus. Ja, nee, dit was niet dat. Nee. Nee. Ik ga er niet te veel over zeggen. Nee, snap ik. Maar.

33
00:05:21.520 --> 00:05:22.800
Uh, we gaan naar het nieuws.

34
00:05:23.100 --> 00:05:33.260
Uh, ik denk het grootste nieuws, uh, deze week was, uh, in de Verenigde Staten waar een huurder een met succes een rechtszaak heeft gewonnen tegen zijn huisbaas met behulp van ChatGPT als juridisch adviseur.

35
00:05:33.720 --> 00:05:43.039
Hier beginnen we even mee, Wytse. Dit is een verhuurder die een onrechtmatig hoge borg van meer dan € 2.100 had geëist, terwijl de maandelijkse huur € 1.400, uh, be-bedroeg.

36
00:05:43.480 --> 00:05:53.340
Wat deze slimme man had gedaan, deze huurder, is het huurcontract in ChatGPT vra, uh, ze-zeg, zetten en dan vragen: help mij hierbij. Best wel brede vraag.

37
00:05:53.760 --> 00:06:08.332
Toen kwam dat ding met een, uh, artikel uit een lokale wet in die buurt, uh, die in 2019Is gekomen, die wet. Die zat in de trainingsdata. Die zat in de trainingsdata en daarmee identificeerde die, uh, ja, uh, die fout.

38
00:06:08.372 --> 00:06:19.372
Want je mag namelijk maar één, één maand huur vragen in die, uhm, in die regio. En dat had deze verhuurder dus niet gedaan. Dus de rechtbank kende uiteindelijk de huurder $ 1.180 toe. Wietse.

39
00:06:19.632 --> 00:06:28.972
En daar stond een enorme, uh, thread over op Reddit en daar gingen mensen zeggen: ja, je moet, dit kan je doen, het werkt best wel goed, maar je moet niet helemaal vertrouwen op ChatGPT. Nou, oké.

40
00:06:29.012 --> 00:06:30.672
En w-wat ze erbij deden, was wel een handige tip.

41
00:06:30.732 --> 00:06:45.732
Ze zeggen: je moet gewoon naar een advocaat gaan die je per uur betaalt en dan doe je gewoon, uhm, dan, dan vraag je van tevoren met expliciet verzoek: ik wil één uur van jou kopen en dan ga je gewoon alles wat je met ChatGPT hebt voorbereid, ga je dan aan die advocaat vertellen en vertellen: wat klopt hier niet?

42
00:06:45.792 --> 00:06:52.712
Ja, je komt beslagen ten ijs. Ja, je komt echt beslagen ten ijs. Je zegt gewoon: ik ga één uur van een advocaat afnemen. En toen dacht ik: ha, het is grappig.

43
00:06:52.812 --> 00:07:02.672
Ik, ik kan me best voorstellen dat dit— ik bedoel, ik heb laatst ook bezwaar gemaakt tegen iets in mijn buurt en dan, re-, dan hoor je hoeveel uur een advocaat denkt nodig te gaan hebben daarvoor. Dan denk je: ja, dag.

44
00:07:03.272 --> 00:07:09.372
En, dus ook de neiging om dat helemaal voor te bereiden en dan te laten checken door een advocaat. Ik denk dat hier een model in zit.

45
00:07:09.392 --> 00:07:19.052
Nou, je hoort eigenlijk, het is een combinatie van een, een voorbereiding samen met AI en dan de opdracht timeboxen. Ja, ja, ja. En je hebt een uur. Nou, grappig toch? Ja.

46
00:07:21.312 --> 00:07:34.212
[muziek] Amazon, dat is het echte nieuws van deze week, uh, heeft een eigen familie van taalmodellen gelanceerd. Uh, tekst, beeld en video. Vier modellen, van een klein eenvoudig model tot een groot en krachtig model.

47
00:07:34.392 --> 00:07:43.212
En, uh, dat gaat dan over tekst. En dan zijn er daarnaast ook nog twee mediamodellen. Eentje heet Nova Canvas voor het creëren van afbeeldingen en Nova Reel voor het maken van korte video's.

48
00:07:44.072 --> 00:07:49.852
Uhm, het indrukwekkendste model van deze allemaal, het, het krachtigste taalmodel, komt volgend jaar beschikbaar.

49
00:07:50.352 --> 00:07:58.272
En ze zeggen: het kan grote hoeveelheden data verwerken, tot wel 225.000 woorden of 30 minuten video in één keer.

50
00:07:59.012 --> 00:08:04.452
Ja, het maffe is, ik had een beetje zitten zoeken, want dit was dan wel best nieuws, want het is een grote partij. Diepe investering.

51
00:08:04.552 --> 00:08:16.252
Amazon is vaak wel, uh, goed, die hebben genoeg kennis en hardware om iets bruuts neer te zetten. Ik kreeg een beetje de eerste reacties op wat dan, uh, mogelijk zou moeten zijn. Een soort Amazon Basics idee.

52
00:08:16.332 --> 00:08:24.732
Namelijk, wat Amazon vaak doet, is de producten die zeer populair zijn, bluetooth speakers, noem maar wat, daar dan ook een Amazon Basics versie van uitbrengen. Ja, huismerkspul.

53
00:08:24.792 --> 00:08:33.861
Ja, dan snoepen ze van twee walletjes natuurlijk. En als iemand statistieken heeft op wat de consument wil, is het Amazon zelf. Ja, ja, ja, ja. Dus die gaan gewoon producten maken die ze zien dat ze groot worden [slikt]

54
00:08:33.892 --> 00:08:42.892
of al groot zijn. Het voelde, het grapje was een beetje, is niet mijn grapje, maar dat het een beetje de Amazon Basics van het, van het taalmodel is. Het was zo vet geweest als ze dit gewoon hadden gedaan. Amazon Basics.

55
00:08:42.912 --> 00:08:50.652
[lacht] Amazon Basic één. Ja. Ja, ja, B1 en dan staat er stiekem voor Basic. Ik zou, zij zouden mijn hart gewonnen hebben. Maar oké, is niet gebeurd.

56
00:08:50.792 --> 00:08:56.192
Nee, en wat opviel is dat er geen audio is, want je zei net in één regel tekst, beeld en video. Maar er is dus geen audio. Ja.

57
00:08:56.212 --> 00:09:03.692
Dat is best een dingetje, want, ja, Whisper is een van de beste, mooiste toepassingen die OpenAI ook nog vrijgegeven heeft zelf, zelfs.

58
00:09:03.732 --> 00:09:10.712
Maar goed, ik kan me ook wel voorstellen dat de eerste versie hiervan— ik bedoel, het feit dat ze een cirkel rond hebben gekregen, dat ze het uitrollen. Het is allemaal binnen Bedrock beschikbaar.

59
00:09:10.722 --> 00:09:20.892
Het is Amazons Azure, zeg maar. Daar kan je straks gewoon zeggen: joh, uh, ik wil niet, uh, zoveel tokens betalen aan OpenAI. Doe mij maar die Amazon Basics versie, uh, voor de helft, want dit is een prijsvechter.

60
00:09:20.932 --> 00:09:26.052
Ja, want dit is natuurlijk het ding: mensen gebruiken AWS om hun, uh- Exact...hun software op te hosten.

61
00:09:26.072 --> 00:09:36.272
En dan is het idee dat je bij AWS heel makkelijk kan zeggen: nou, als het dit kost, dan doe maar Amazon Basic, want nu gebruik ik Claude en is het een dropdown die je verandert en dan heb je opeens heel veel korting.

62
00:09:36.352 --> 00:09:45.112
Want Amazon heeft geen OpenAI, maar die heeft wel een deal met Anthropic. Ja. En dan zit in die dropdown straks ook hun eigen taalmodel. Dat is gewoon slim. Voor minder. Ja, ja, ja.

63
00:09:45.232 --> 00:09:53.332
Uhm, wat ze ook zeggen is dat ze minder afhankelijk proberen te worden van Nvidia, uh, door eigen chips te maken.

64
00:09:54.012 --> 00:10:02.072
Dat hebben ze ook aangekondigd, dat ze eigen chips, uh, maken en dat onder andere Anthropic die chips, deze specifieke chips, vorige week hadden we het er al even over, ook echt gaat gebruiken.

65
00:10:02.932 --> 00:10:14.532
Uhm, en ze zeggen dat Apple heeft, uh, Apple heeft dus nu, die kwam, er kwam ook een dude van Apple, van Apple Intelligence, kwam het podium op tijdens een AWS Keynote. En dat is toch altijd een opvallend moment. Zeker.

66
00:10:14.692 --> 00:10:23.052
Mensen van Apple komen niet opdagen op je feestje. Nee, je moet naar hen toe. Hier is een deal gesloten [lacht] op de achtergrond. Nou, laat zich natuurlijk raden wat voor deal dat is. Dat weten we natuurlijk niet.

67
00:10:23.102 --> 00:10:32.452
Maar, ja, dit zijn allemaal schimmige deals op de achtergrond. Of schimmig? Nou ja, het zijn allemaal, uh, deals op de achtergrond, zoals dat Apple TV+ ook in Amazon Prime Video is gekomen.

68
00:10:32.772 --> 00:10:43.492
Dus weet je, dit soort handjeklap zal wel- Ja...gegaan zijn op de achtergrond. Misschien krijgen ze gewoon korting. En het idee is dat, uhm, ze denken dat ze 50% kunnen besparen met hun eigen chips.

69
00:10:43.692 --> 00:10:55.412
En Nvidia, zegt de CEO van Amazon, zal waarschijnlijk nog lang dominant blijven met 99% van de workload. Maar hij hoopt dat Amazon T-tranium, Trainium chips een goede niche kunnen veroveren voor specifieke toepassingen.

70
00:10:56.052 --> 00:11:08.772
De omzet uit AI-diensten groeit volgens AWS met meer dan 100% per jaar en de Financial Times constateerde dat dit de, uh, strijd is die Amazon op dit moment aangaat met vooral Microsoft.

71
00:11:08.952 --> 00:11:31.052
Ja, wat ik me dan nog kan voorstellen, is, da's eigenlijk omdat we het al even over Apple hadden, uh, wat Apple gedaan heeft met hun eigen chips, hè, wat een ARM-chip is met allemaal Apple-magie eromheen, de M-series en de A-series in de iPhones, is dat eigenlijk de programmeertaal Swift, die ze het liefst g-hebben dat jij gebruikt als ontwikkelaar, dat Swift is ontwikkeld met die chip in gedachten en die chip ontwikkeld is met Swift in gedachten.

72
00:11:31.192 --> 00:11:41.392
Dat ik me ook kan voorstellen dat deze modellen van Amazon ontwikkeld worden met de chip in gedachten en de chips worden gemaakt in, uh, met het model in gedachten. Klinkt toch niet zo basic dan. Toch niet zo basic. Hmm.

73
00:11:41.832 --> 00:11:53.320
[muziek]Er is een Europees AI bedrijf dat heet Helsing. Ik weet niet of jij weet wat zij maken. Ze maken attack drones. Gezellig. Misschien ken ik ze daarom niet. Ja, die, uh, maken onder andere de HX2.

74
00:11:53.700 --> 00:11:58.900
Uh, die wordt al een tijdje ingezet in het geheim in Oekraïne, maar ze hebben hem nu onthuld voor het grote publiek.

75
00:11:59.370 --> 00:12:08.440
Het is een AI-gestuurde drone en die kan tot 100 kilometer vliegen en doelen identificeren en volgen zonder een GPS-signaal of een dataverbinding.

76
00:12:09.220 --> 00:12:22.520
En dat is belangrijk, want we weten dat het Russische, de Russen, uh, van die jammers heeft waardoor ze, uh, storingen veroorzaken waardoor GPS bijvoorbeeld niet werkt, waardoor het heel lastig is voor, uhm, voor drones om te vliegen.

77
00:12:22.560 --> 00:12:32.520
Je moet dus of beeldherkenning doen van wat er op de grond gebeurt bijvoorbeeld, of iets anders. Naar de sterren kijken. Of naar de sterren kijken om te kijken- Iets van een patroon ergens. Ja.

78
00:12:32.660 --> 00:12:36.160
Uh, het bedrijf claimt tienduizenden van deze drones per jaar te kunnen produceren.

79
00:12:36.200 --> 00:12:46.440
Dat is belangrijk, want je wil ze in swarms laten vliegen tegen lagere kosten dan bestaande systemen, onder meer door het gebruik van 3D-printing. Hier nog een optimistische noot bij, Wytse [lacht].

80
00:12:46.540 --> 00:12:50.280
Ik blijf even neutraal. Oké [lacht].

81
00:12:51.140 --> 00:13:03.260
En tenslotte, er is een, in het nieuws, een research paper uitgekomen die jou opviel, Wytse, uh, met de belofte dat ze, uh, een taalmodel kunnen halveren in grootte, terwijl het maar 1% minder presteert.

82
00:13:03.940 --> 00:13:12.399
Nou, het is wel vet, want ik ben meteen in een rabbit hole gedoken. Daar ging weer twee uur van mijn avond. Ja, maar dat snap ik ook wel na deze belofte. Ja, als mijn vriendin luistert als ik op mijn telefoon zit.

83
00:13:12.440 --> 00:13:19.000
Ik, ik speel geen Pac-Man. Nee. Ik ben dit artikel aan het lezen [lacht]. Deze podca-- ja, de, Wytse zegt sorry. Dat is, ja. Ja. Ja.

84
00:13:19.080 --> 00:13:26.580
Uhm, wat er gebeurt is, uh, in de biologie, ik maak even een sprongetje, heb je zoiets als synaptic pruning. Nou, pruning is eigenlijk bijknippen.

85
00:13:26.620 --> 00:13:36.200
Zoals je een bonsai boompje kan bijknippen, zie je even iemand staan die met een klein schaartje dat bonsai boompje aan het prunen is. En synapsen zijn eigenlijk de verbindingen in jouw brein tussen neuronen.

86
00:13:37.100 --> 00:13:45.480
En synaptic pruning is eigenlijk wat jouw lijf, jouw wezen sowieso al doet. Dingen die niet gebruikt worden op de lange termijn worden weg gepruned. Die knipt ie gewoon weg, jouw brein.

87
00:13:46.140 --> 00:13:53.300
En, uh, dat zorgt er dus ook voor, zeker naarmate je ouder wordt, dat je, wat je niet gebruikt, dat verdwijnt en wat je gebruikt, dat blijft. Oké.

88
00:13:53.840 --> 00:14:04.349
Uh, dus dan is het bijvoorbeeld handig om op een, dat weet ik nog wel, vroeger gingen, uh, mensen op een Nintendo DS heb je een spelletje speciaal voor oudere mensen om hun, uh, wiskunde op, op, uh- Ik ken helemaal dit.

89
00:14:04.370 --> 00:14:09.940
Op te lauwen. Ja. Ja, dat is heel handig. De Japanse. Ja. Ja, ja, ja. Dat is heel cute. Met de Japanse professor. Ik weet precies wat je bedoelt. Nou, oké.

90
00:14:10.120 --> 00:14:18.660
En dat is dan een beetje gebaseerd op dat idee van synaptic pruning. Want wat je niet gebruikt, dat, uh, verlies je. Nou, dat synaptic pruning kan je ook doen binnen taalmodellen.

91
00:14:18.840 --> 00:14:26.440
Die taalmodellen zijn niet, uh, zi-zijn geen menselijke breinen, maar er zitten wel heel veel ideeën in die ook een beetje overeenkomen met ons brein.

92
00:14:27.400 --> 00:14:36.740
Nou, wat kan je dan doen, is eigenlijk zo'n model pakken, een benchmark draaien en dan heb je de baseline, hè. Dus dat noemen ze dan een benchmark van het volledige model pre, pre-pruning.

93
00:14:37.360 --> 00:14:46.780
En dan ga je stukjes weghalen en dan ga je iedere keer die benchmark weer draaien. En zolang die benchmark niet te veel daalt, blijf je wegknippen totdat je een groot gat ziet en dan plaats je dat weer terug.

94
00:14:47.280 --> 00:14:56.940
En als je dan heel veel van die runs gaat doen, dan kan je natuurlijk op een gegeven moment achter komen welke onderdelen van dat model eigenlijk niet per se nodig zijn om in ieder geval op die specifieke benchmark.

95
00:14:57.240 --> 00:15:02.570
Hè, je moet natuurlijk een suite aan benchmarks doen, want anders heb je straks een model wat alleen maar goed is in die benchmarks en verder niks meer kan. Ja.

96
00:15:02.590 --> 00:15:09.280
Maar je moet meerdere benchmarks en dan kan je dus heel veel weghalen. Hoeveel kan je dan wegknippen? Ongevor de, ongeveer de helft, hè.

97
00:15:09.600 --> 00:15:21.680
Dit gaat even voor de, voor de kenners onder ons om het Llama 3.1-model van Meta, de 8 biljoen versie, en dan terugknippen naar de helft en dan scoort ie 1.6% minder op die benchmarks. Wauw.

98
00:15:21.760 --> 00:15:29.240
Dat is helemaal niet zo spannend. Dat is, o-, dit is eigenlijk, daarom wilde ik hem ook even in Poki benoemen, een gigantische sprong. Ja. En ik moet zeggen dat ik zelf,

99
00:15:30.400 --> 00:15:36.760
uh, uh, geloof dat, uh, die, die taalmodellen zijn nog best wel jong. Het hele idee van een taalmodel is best wel jong.

100
00:15:36.810 --> 00:15:47.080
Ik bedoel, GPT-3 is denk ik 2,5 gele- ik weet, ik vind het moeilijk qua tijd, covid jaren, ik snap het allemaal niet meer, maar ongeveer 2,5 jaar geleden hadden we volgens mij, uh, ChatGPT. Twee jaar geleden.

101
00:15:47.140 --> 00:15:56.860
Twee jaar geleden. Ze zijn, ze waren volgens mij vorige week jarig. We hebben het niet gevierd. Cute. Uhm, maar goed, daarvoor en daarvoor dan GPT-2 en de rest. Het is allemaal nog hartstikke jong, zelfs in internettijd.

102
00:15:57.620 --> 00:16:05.340
Uhm, dat betekent dat het eigenlijk nog heel veel laaghangend fruit is van hoe je dit kan optimaliseren, hè, want dan draai je het nu op GPU's die eigenlijk bedoeld zijn voor computergames.

103
00:16:05.370 --> 00:16:12.500
Daar kan je specifieke chips voor maken. Uhm, je kunt, uh, kijken naar wat die modellen eigenlijk allemaal in zich hebben, wat je nog weg kan knippen. Wat zijn ze nu nog?

104
00:16:12.540 --> 00:16:21.200
En je bent tering veel energie in het verbruiken en kan dat efficiënter doen. Ik denk dat- Ja. Iedereen wel interesseert. Zeker. Dat die bedrijven er minder energie voor gaan gebruiken.

105
00:16:21.360 --> 00:16:30.660
Dus als jij die modellen kunt halveren in hun grootte, heb je de helft praktisch- Ja. Van de RAM, VRAM nodig- Ja. Om je modellen in te laden. Nou, op datacenterschaal is de helft gigantisch.

106
00:16:30.860 --> 00:16:35.520
Daar zouden ze al op, uh, champagne poppen voor 5%. [lacht] Ja. Om eerlijk te zijn, dus 50% is gestoord.

107
00:16:36.300 --> 00:16:47.060
Uhm, en nu is natuurlijk de vraag, uh, als het model van Meta, en dat is een serieuze partij in dit spel, eigenlijk nog modellen aan het uitbrengen is die je voor de helft kan wegprunen en met, met schade van 1.6%.

108
00:16:47.560 --> 00:16:54.940
Wat zegt het dan over de andere frontier models? Hè, zijn ze in OpenAI ook zover? Is, zijn die mini modellen eigenlijk pruned models, hè?

109
00:16:54.980 --> 00:17:02.150
Het is een beetje de vraag, uh, of deze optimalisaties bij een Anthropic en OpenAI eigenlijk al gedaan zijn en Meta heeft het gewoon niet gedaan. Ja.

110
00:17:02.200 --> 00:17:14.680
Of is hier met dit onderzoek eigenlijk een enorme stap gemaakt om nog veel meer zaken aan taalmodellen te optimaliseren? En wat zijn de nadelen van optimaliseren op, op een mandje van, van benchmarks?

111
00:17:14.700 --> 00:17:25.620
Want ik kan me voorstellen dat in, voor gewoon gebruik er dan opeens, uhm, je, je wel het nadeel ervan ondervindt dat je gewoon merkt: dit ding is echt veel minder goed dan hiervoor.

112
00:17:25.680 --> 00:17:33.780
Kan niet helemaal plaatsen, maar ik merk het gewoon. Ja, wat we nu al wel wat hebben, hè. Ja. Als er weer een nieuwe Mini of een Turbo of zo uitkomt. Ja, precies. Dat je denkt: meeh, het is hem niet helemaal meer, man.

113
00:17:33.930 --> 00:17:42.600
Ja, precies, dat ding, dat die modellen minder goed worden. Bij bijvoorbeeld programmeren hoor je dat heel snel als mensen dat vermoeden. Nou, in essentie. Ik bedoel, ik heb ook al reacties gelezen.

114
00:17:42.640 --> 00:17:50.760
Mensen zeiden: is dit niet eigenlijk normaal wat finetunen is? Hè, want bij finetuning ga je zeggen: ik wil dat je op deze taak getuned wordt om specifiek die taak goed te kunnen. Ja.

115
00:17:50.780 --> 00:18:00.040
Hè, dus je wordt heel goed in wiskunde en dat je geen poëzie meer kan schrijven. Ja. En je hebt nu van die coder modellen. Word je daar ook kleiner van, van finetunen? Nou, dat was het dus tot nu toe niet per se. Nee.

116
00:18:00.280 --> 00:18:07.440
Dus dat is het interessante. Dat ik denk dat als je een finetune en een prune doet, dat je dan misschien bijvoorbeeld een heel klein- Ja. Programmeermodelletje kan krijgen. Ja.

117
00:18:07.580 --> 00:18:11.820
Uh, die niks meer weet over de Koude Oorlog, maar wel, uh. Ja, is prima. Ja, dat is prima.

118
00:18:11.920 --> 00:18:25.072
UhmIk denk dat het gevaar is een beetje taalmodellen zijn al vrij disharmonisch, oftewel die zijn ontzettend goed in taak A en dan een kind op taak B en een baby op taak C, waardoor ze vaak ook overschat worden.

119
00:18:25.132 --> 00:18:35.412
Dus de harmonie in uhm de kwaliteit van het model was al vreemd. Grappig ding om te constateren dat je dus heel goed kan zijn in programmeren, maar heel slecht kan zijn in Sinterklaasgedichten.

120
00:18:35.472 --> 00:18:39.172
Ja, en die disharmonie, dat disharmonisch profiel is eigenlijk een term uit de psychologie.

121
00:18:39.232 --> 00:18:46.232
Wat bij mensen kan gebeuren is dat bijvoorbeeld een kind in een klas verbaal heel sterk is, maar eigenlijk niet zo goed een, een werkstukje kan maken.

122
00:18:46.692 --> 00:18:53.812
En dat is voor een docent goed om te weten, want anders overschat je die leerling en die leerling komt er onder staat te staan als er een keer. Ik ben zelf ook redelijk disharmonisch.

123
00:18:53.852 --> 00:18:57.832
Ik schrijf liever ook niet, maar goed. Dus ik herken mezelf wel een beetje in die taalmodellen.

124
00:18:57.892 --> 00:19:05.872
Dat ik wel snap hoe het kan zijn om ESMC2 als average docent kwak uit te kunnen leggen, maar tegelijkertijd niet het aantal letters in het woord strawberry te kunnen tellen. Inmiddels wel, maar goed.

125
00:19:06.432 --> 00:19:16.872
Uhm de vraag is inderdaad wordt dat niet bij dat prunen nou nog veel erger als het straks alleen maar. Ja, dit draait te gek op deze twintig benchmarks. Maar die lobotomie zeg maar.

126
00:19:16.892 --> 00:19:24.672
En dat verwijderen van stukjes brein heeft er wel voor gezorgd dat die Sinterklaasgedichten ineens weg zijn. Precies. Maar het is tegelijkertijd ook een hele leuke manier.

127
00:19:25.872 --> 00:19:34.772
Ja, leuk zolang het niet mensen zijn, maar taalmodellen waar je stukjes uitknipt om erachter te komen waar de magie dan zit. Bij Anthropic bijvoorbeeld hebben ze heel mooi blog over geschreven.

128
00:19:35.052 --> 00:19:43.132
Die proberen erachter te komen waar de San Francisco Bridge zit. Of hoe heet het? De Golden Gate Bridge. Daar hebben we het wel eens over gehad, een half jaar geleden dat zij gingen zoeken in dat taalmodel.

129
00:19:43.512 --> 00:19:47.272
Waar zit dan de Golden Gate Bridge eigenlijk opgeslagen in dat taalmodel?

130
00:19:47.612 --> 00:19:54.252
En toen bleek dat er allemaal dingen op gingen lichten, op plekken die weinig met een brug te maken hadden, maar blijkbaar wel met een brug te maken hadden.

131
00:19:54.272 --> 00:20:04.332
Want als we die uitzetten, dus een soort van temporary pruning, dan kon die ineens veel minder goed vertellen over de over de Golden Gate Bridge. Dus waar ik naartoe wil. Hoe kan dat dan? Dan.

132
00:20:04.592 --> 00:20:13.912
Het woord brug staat er dan niet letterlijk in. Nee, want die taalmodellen zijn in essentie gewichten, oftewel getallen uh bij elkaar verzameld in statistiek. Die lichten dan op. Bedoel je?

133
00:20:14.052 --> 00:20:23.412
Ja, maar het kan dus zo zijn omdat het best wel, uh net als ons brein een proces is van optimalisatie en compressie. Dat die Golden Gate Bridge ook deels opgeslagen zit in een eend.

134
00:20:23.912 --> 00:20:32.632
Ik zeg nu echt iets heel sucs, maar je snapt een beetje waar ik naartoe wil. Dat het voor dat ding logisch is, maar uh voor ons heel moeilijk. Ja, omdat hij eigenlijk een soort metaforen gebruikt, hè.

135
00:20:32.692 --> 00:20:41.272
Dus je zou kunnen zeggen net als de appel valt niet ver van de boom, lijkt een zoon op zijn vader. Dat dat taalmodel denkt oh, die twee patronen kan ik prima opslaan als een appel en een boom.

136
00:20:41.652 --> 00:20:45.152
Ook al gaat het over een jongen en zijn zoon en zijn vader en zijn zoon.

137
00:20:45.192 --> 00:20:54.592
En dat dat soort metaforische uh manier van nadenken over de realiteit, dat dat ook gevangen wordt in die taalmodellen omdat het patroon modellen zijn en niet feiten modellen, hè.

138
00:20:54.672 --> 00:21:02.712
Daarom hebben we nu ook dat knopje gekregen dat je een websearch kan laten doen voor feiten. Welk weer is het? Maar voor patronen is hij ontzettend sterk.

139
00:21:03.052 --> 00:21:12.092
Alleen de vraag is dan als jij een benchmark doet die specifieke dingen aanraakt, maar andere dingen niet. En dan op basis van die benchmark alles gaat wegknippen.

140
00:21:12.112 --> 00:21:23.592
Heb je dus kans dat je iets heel moois hebt weggeknipt omdat je niet begreep omdat je benchmark dat niet testte waar het voor was. Pokie is inmiddels de best beluisterde podcast over AI van Nederland.

141
00:21:23.672 --> 00:21:34.772
Ondanks dit uh, ja, hoe moet je dit zeggen? Het was wel weer. Ja, sorry. Lekker toegankelijk. Ik neem jullie als luisteraar erg serieus. Ja, precies. En dat be-, dat uh vinden jullie duidelijk leuk.

142
00:21:34.852 --> 00:21:41.792
En dat doet ons heel erg goed, dat zoveel geluisterd wordt. En dat heeft een grappig bijverschijnsel, want dat betekent dat we aanvragen krijgen van adverteerders.

143
00:21:42.592 --> 00:21:50.932
Uhm, maar we willen voor volgend jaar iets nieuws proberen. En dat is niet heel veel adverteerders langs laten komen, maar één partner te kiezen. Een exclusieve hoofdsponsor van de show.

144
00:21:51.432 --> 00:22:01.532
En Pokie, dat weten we uit de reacties die mensen ons sturen, wordt, wordt geluisterd door bazen van allerlei bedrijven. Die verzekeraar bijvoorbeeld waar ik bij sprak, die kwam via, die luistert de podcast.

145
00:22:01.572 --> 00:22:11.112
Maar allerlei beslissingsmakers uit het Nederlandse bedrijfsleven en van de overheid luisteren. En als je je naam daaraan wil verbinden en daarmee onze doelgroep wil bereiken, dan kan dat.

146
00:22:11.392 --> 00:22:14.512
Dan heb je één kans voor komend jaar, want dan zijn we er ook in één keer klaar mee.

147
00:22:15.252 --> 00:22:27.552
Als je dat wil en je bent er geïnteresseerd in, uh, dan kun je naar Pokie.show gaan en je gegevens achterlaten en dan praten wij verder. Goed, straks gaan wij het hebben over NotebookLM's productmanager.

148
00:22:27.592 --> 00:22:36.232
Dat klinkt een beetje raar, maar die heeft een soort van ode geschreven aan het context window iets, hè. En daar wil ik het graag met je over hebben. Heel vet. Mijn eerste tip van de week.

149
00:22:38.192 --> 00:22:42.072
[muziek] Die haalde ik uit de AI-report van deze week.

150
00:22:42.272 --> 00:22:57.852
Een stukje over World Labs, een bedrijfje dat je in staat stelt om een willekeurige foto te uploaden en er dan, ja, het is niet fysiek erin te stappen, maar je kan in de foto komen om er doorheen te wandelen.

151
00:22:57.872 --> 00:23:13.172
Dus het is een model dat gewone foto's omtovert tot 3D-werelden waarin je met je toetsenbord kunt of met je muis door je om je heen kijken en met toetsenbord bewegen, zeg maar, zoals in een game doorheen kunt lopen.

152
00:23:13.812 --> 00:23:20.412
En dat werkt gewoon in je browser. Je kan ook allerlei cameratrucs toepassen, uh, waardoor het realistischer lijkt, zoals

153
00:23:21.672 --> 00:23:31.552
scherpte-diepte effect in foto's toevoegen waarbij alleen objecten die op een bepaalde afstand, uhm, in beeld zijn scherp zijn. Of je kan spelen met verschillende belichtingen, special effects, allemaal in real time.

154
00:23:31.892 --> 00:23:43.052
Het is allemaal nog niet perfect, maar wel, uh, veelbelovend. Dingetjes werken nog niet zoals. Je kan niet eindeloos door gegenereerde werelden verdwalen. Op een gegeven moment loop je tegen onzichtbare muren aan.

155
00:23:43.092 --> 00:23:55.052
Maar dat mag allemaal de pret niet drukken, want het is natuurlijk een heel vet idee dat je een foto of nou ja, laat het een herinnering zijn die je hebt gehad om daar doorheen te klikken, zeg maar.

156
00:23:55.272 --> 00:24:02.312
Wat ik ziek vond is die schilderijen van Van Gogh en dat je dan om kan draaien. Ja. Dan ga je achter je kijken. Dat is heel gek.

157
00:24:02.572 --> 00:24:12.460
Ik bedoel en wat daar dan achter gebeurt, want er zitten een paar mooie Van Gogh demo's bij.Het is best wel plausibel. Het was niet dat. Het is geen realiteit, maar ik vind het een hele knappe bluf.

158
00:24:12.600 --> 00:24:20.180
Het is grappig ook omdat die, als jij, als jij aan, weet ik veel, Midjourney zou vragen: hier is een plaatje, hoe ziet het aan de achterkant van de camera eruit?

159
00:24:20.620 --> 00:24:24.940
Dan krijg je gewoon een ander plaatje en dan is die magie weg. Want het zijn twee losse plaatjes die geen connectie.

160
00:24:24.980 --> 00:24:35.880
Maar het feit dat je hem zelf kan besturen en dan die camera om kan draaien, dat maakt opeens dat het magisch voelt. Dit bedrijf, uh, heeft grootse plannen. Ze hebben 230 miljoen aan investeringen opgehaald.

161
00:24:35.900 --> 00:24:43.240
Het bedrijf wordt gewaardeerd op een miljard, want zo gaat dat tegenwoordig. En ze mikken zich vooral op professionele gebruikers, van gamemakers tot filmstudio's.

162
00:24:43.280 --> 00:24:50.400
Want nu maken die bedrijven, ja, die geven heel veel geld uit aan het ontwikkelen van die virtuele werelden. En die ontwikkeltijd kunnen ze potentieel hiermee besparen.

163
00:24:50.440 --> 00:24:57.740
Dat is dan het idee om erin te investeren en dat gaat met hun technologie, hopen zij, drastisch veranderen. Dat is een tip. Jazeker.

164
00:24:57.800 --> 00:25:07.080
En dan nog los van het feit, even voor de fantasie van de luisteraar, dat je ook meer informatie gaat geven. Want nu geef je eigenlijk het beginpunt en hallucineer de rest er maar bij en dan kan je rondlopen.

165
00:25:07.200 --> 00:25:13.520
Dat is al superspectaculair. Maar wat als je zou weten waarvan Gogh die, dat schilderij gemaakt heeft in die straat?

166
00:25:13.580 --> 00:25:23.920
Als het een specifieke plek is om vervolgens daar foto's te maken, dat eraan te, en dan een beetje context mee te geven en te zeggen: joh, analyseer nou eens, fantaseer nou eens de boel erbij met een beetje input.

167
00:25:24.780 --> 00:25:35.260
Dat is wat mij betreft een volgende hele gave stap. Misschien heb je wel tien foto's gemaakt zelf op vakantie. Stitch je even aan elkaar. Ja, ik ben zo benieuwd hoe vakantiefoto's eruit gaan zien over twee jaar.

168
00:25:35.280 --> 00:25:45.180
Maar goed, misschien overschat ik dit. Misschien gaat dit toch minder snel dan- Eerste killer app voor de Vision Pro. Ja. Eindelijk. Ja, ja. Nou ja, dit was de AI-report van, uh, van, uh, afgelopen dinsdag.

169
00:25:45.300 --> 00:25:55.700
We sturen hem twee keer per week. Als je dat nou wil krijgen, dan kun je gaan naar AI report punt email en dan krijg je twee keer per week dus het nieuws over AI in je mailbox. Goed, het hoofdonderwerp.

170
00:25:57.460 --> 00:26:09.900
[muziek] Ik las een fantastisch artikel van Steven Johnson. Dat is een auteur van, uh, van boeken en die werkt dus inmiddels bij Google.

171
00:26:10.000 --> 00:26:19.060
Dat is een vreemde overstap, want, uh, nou ja, meestal ga je bij Google werken als je, weet ik veel, programmeur bent of salesmedewerker om AdWords te verkopen, stel ik me zo voor.

172
00:26:19.160 --> 00:26:35.640
Maar dit is dus een auteur die, uh, aan boord gehaald werd omdat hij al heel lang publiceert over twee second brain-achtige toepassingen. Dus het idee dat je slimmer met je, uh, geheugen kunt omgaan als schrijver.

173
00:26:35.800 --> 00:26:44.760
Hij is de hele tijd bezig om na te denken over wat voor goede tools er zijn om beter te schrijven. Dus het is iemand die niet alleen schrijft, maar ook heel erg met het proces van schrijven bezig is. Ja.

174
00:26:44.820 --> 00:26:54.320
En dat viel blijkbaar op bij Google. Die hebben hem een baan aangeboden en dat is, uh, de, hij is de soort van geestelijk vader van NotebookLM geworden. En NotebookLM hebben we het vaker over gehad.

175
00:26:54.880 --> 00:27:04.820
Een tool waarbij je, uh, allerlei documenten erin kan gooien, zoals pdf's en YouTube-video's, uh, eindeloos tekstbestanden en eigenlijk met een heel groot maximum.

176
00:27:04.880 --> 00:27:16.420
Hij heeft een heel groot geheugen wat hij kan raadplegen en, uh, dan kan hij dingen vinden die jij, uh, zoekt en dan geeft hij daar de, uh, voetnoten bij.

177
00:27:16.560 --> 00:27:25.820
Dus het is niet een ding wat heel erg gaat filosoferen en creatief gaat nadenken. Nee, je vraagt dat ding en dan geeft hij daar feitelijke antwoorden op. Het is echt een soort research assistant. Precies.

178
00:27:25.920 --> 00:27:35.360
En dat is fijn, want voor sommige dingen wil je creativiteit hebben en dan kun je Claude gebruiken en soms wil je gewoon dat shit klopt. En dan is dus NotebookLM fantastisch. Ja.

179
00:27:36.160 --> 00:27:48.300
En het spreekt heel erg tot de verbeelding, uhm, sinds de, de audio overview feature waarbij een soort van podcast genereert tussen twee Amerikaanse hosts die praten over de artikelen die je hebt aangezet.

180
00:27:48.340 --> 00:27:55.920
Nou, dat allemaal ter context. Hij heeft nu een verhaal geschreven, uhm, over, ik zal het linken in de shownotes.

181
00:27:56.660 --> 00:28:18.360
Ik raad het zeker aan om het te lezen, maar het is niet nodig om, uh, om, om, uh, om dit stuk te gaan luisteren nu, waar ik het nu over wil hebben, want hij heeft bijna een soort van, ja, het is niet een literair stukje, maar het is een heel mooi geschreven stuk over AI waarbij hij metaforen gebruikt die, uh, die het heel erg tastbaar maken wat op dit moment gebeurt in de ontwikkeling van AI.

182
00:28:18.420 --> 00:28:34.680
Hij vertelt bijvoorbeeld over een jongetje wat in de jaren 60 meen ik van zijn fiets valt en daarmee, uh, nou ja, een zware hersenschudding, uh, oplevert en die daarna nog wel een langetermijngeheugen heeft, maar zijn kortetermijngeheugen is weg.

183
00:28:35.800 --> 00:28:44.140
Dus elke keer als hij opnieuw mensen ontmoette en dat is de rest van zijn leven helaas zo gegaan, dan was het alsof hij die persoon weer voor het eerst ontmoette. Alsof het een nieuwe persoon was.

184
00:28:44.200 --> 00:28:52.580
Want als hij al in het langetermijngeheugen zat, dan herkende hij die persoon in ieder geval en wist hij ook van de geschiedenis. Hij was een beetje bevroren in tijd, zou ik maar zeggen.

185
00:28:52.760 --> 00:29:01.600
En het was voor wetenschapper, voor wetenschappers een heel belangrijk moment, omdat zij daarvoor nog niet constateerden dat er een verschil was tussen korte termijn en lange termijn in de hersenen.

186
00:29:01.760 --> 00:29:09.880
Dus dit heeft een, hij heeft een hele soort van, uh, reeks aan onderzoeken in werking gezet over, over, nou ja, dit concept van het brein.

187
00:29:10.740 --> 00:29:17.690
En deze Steven Johnson maakt dus de vergelijking van deze gast en het kortetermijngeheugen en het langetermijngeheugen met de manier waarop taalmodellen werken.

188
00:29:17.720 --> 00:29:21.430
Want hij zegt: eigenlijk hebben taalmodellen ook een kortetermijn- en een langetermijngeheugen.

189
00:29:21.440 --> 00:29:35.060
Het langetermijngeheugen is die enorme set aan trainingsdata waar wij het de hele tijd over hebben en waar we in allerlei wedlopen zijn beland van bedrijven die met elkaar aan het strijden zijn om wie, uh, heeft de grootste, uh, set aan trainingsdata.

190
00:29:35.160 --> 00:29:43.480
En jij bent het dan weer aan het prunen. Maar alsnog, het is het langetermijngeheugen. Ja, waar die, uh, lokale, waar het lokale wetsartikel uit 2019 in zat waar je het net over had.

191
00:29:43.510 --> 00:29:52.100
Die zat erin, want 2019 is lang geleden. Precies. Uh, maar je hebt ook het kortetermijngeheugen en dat is het context. Ja, mooi. Mooi, mooi, mooi.

192
00:29:52.440 --> 00:30:04.900
En, uh, hij zegt: hier is te weinig aandacht voor in de manier waarop wij in de maatschappij, in de media, maar ook bij technici praten over AI-ontwikkeling. Want het gaat de hele tijd over grotere modellen.

193
00:30:05.400 --> 00:30:14.068
Maar ondertussen hebben we het niet over het steeds groter wordende context window. En dat is super relevant, want hij zegtHet succes van ChatGPT twee jaar geleden.

194
00:30:15.148 --> 00:30:21.648
Wat ik ook al vet vind dat hij het daar überhaupt over mag hebben, want een Google medewerker. Ik heb nog nooit een Google medewerker het woord ChatGPT in de mond horen noemen, maar hij doet dat gewoon.

195
00:30:21.678 --> 00:30:38.327
Wat ik alweer heel cool vind van Google. Maar oké. ChatGPT succes twee jaar geleden, hij zegt, is grotendeels te danken aan dat het context window groter werd, want ChatGPT's context window was vier, was 8.000 tokens.

196
00:30:38.468 --> 00:30:48.308
Ja. En dat was alweer vier keer groter dan GPT3, wat we daarvoor nog in de playground. Anders paste het gesprek niet. Anders paste het gesprek niet.

197
00:30:48.348 --> 00:31:04.528
En het feit dat het context window groter werd, maakte dus dat dat ding kon doorgaan op het wat je daarvoor had gezegd, uhm, en dat hij onthield wat je soort van eerder in het gesprek had gezegd, waardoor het een gesprek wordt.

198
00:31:04.728 --> 00:31:13.308
Ja, want er is ook een bepaalde verhaallijn. Het narratief wordt niet gebroken. Dat gebeurt nog wel eens als je eruit loopt. Dat weten mensen, maar aan het begin heb je een redelijk lange verhaallijn. Maar ik had ik.

199
00:31:13.338 --> 00:31:23.148
Tot dit artikel had ik niet, uh, had ik niet het besef dat dit zo. Ik dacht dat ChatGPT, uhm, zo anders voelde omdat het de interface had van chat.

200
00:31:23.358 --> 00:31:42.728
Dus ik dacht: de reden waarom dit is doorgebroken ten opzichte van wat mensen al eerder op een playground, een soort van zijsite van OpenAI waar je GPT3, de voorganger van wat we in, in ChatGPT zijn gaan gebruiken, uhm, waar je al mee kon spelen, dat, dat zag er qua interface veel uitdagender uit.

201
00:31:42.748 --> 00:31:49.808
En ik dacht: ze hebben het nu in een chatinterface stop en dat is nu waarom we het met z'n allen gaan gebruiken. Maar hij maakt een ander belangrijk onderscheid.

202
00:31:49.838 --> 00:31:58.248
En dat is namelijk dat vergrote context window, waardoor het voelt als een echt gesprek. Wat, wat doorgaat zeg maar. Ja, wat daarin wel interessant is, als ik mag aanvullen, is dat- Jazeker.

203
00:31:58.728 --> 00:32:12.968
Uhm, waar ik laatst achter kwam, dat wist ik niet, is dat GPT drieënhalf, wat ons openbaard werd als, uh, ChatGPT, dat het wel degelijk een finetune was van GPT3 om te kunnen chatten.

204
00:32:13.188 --> 00:32:18.268
Dus wat ze hadden gedaan is hem extra punten gegeven voor gesprekken die liepen als een chatgesprek.

205
00:32:18.688 --> 00:32:28.728
[Ilg] Dus wat, wat je daar voelde is al wel-- want toen wij ermee speelden, speelden in OpenAI, The Labs heette dat platform of whatever. Dan kon je tekst completion doen. Heel saai.

206
00:32:28.788 --> 00:32:34.988
En dan plakte je een alinea erin en dan deed ie er nog een alinea bij. En toen zaten wij allebei al: wauw, dit kan echt brute Amazon reviews faken, weet je. Al zou het.

207
00:32:35.848 --> 00:32:38.988
[Ilg] Maar dat was niet een chat met een inputveld zoals een WhatsApp.

208
00:32:39.488 --> 00:32:50.588
En wat ik nou, wat ik jou nu eigenlijk hoor zeggen is: ja, leuk dat ze dat model gefinetuned hadden op betere gesprekken voeren, maar het is het feit dat het een ge-gesprek was en niet een eenmalige interactie.

209
00:32:50.868 --> 00:32:55.228
Hè, ik zeg wat, jij zegt wat terug punt. Maar een, uh, train of thought, zeg maar. Juist.

210
00:32:55.428 --> 00:33:02.208
En dat die, dat er ruimte is voor die train of thought door het vergroten van die context window is de eigenlijke revolutie van ChatGPT. Ja, precies.

211
00:33:02.268 --> 00:33:15.388
En, en wat, wat, wat dan al, al onze hoofden heeft doen, uhm, ja, verwonderen over, o-over het wonder van ChatGPT komt dus mede hierdoor en dit is onderschat, zegt hij.

212
00:33:15.588 --> 00:33:29.428
En, uh, die grotere context windows, die leiden ook tot minder hallucinaties. Want op het moment dat je het kortetermijngeheugen hebt om te raadplegen, dan is de, dat is dus wat NotebookLM de hele tijd doet.

213
00:33:29.468 --> 00:33:35.248
Dat is één grote oefening in, uh, dingen, het context window intrekken- Ja...die je zelf hebt toegevoegd.

214
00:33:36.108 --> 00:33:48.548
Als je dat, de dingen in je kortetermijngeheugen, net als bij een mens, zijn over het algemeen makkelijker te raadplegen en dichter bij de, uh, ja, dichter wat er gebeurd is en dus ook makkelijker te repliceren dan het langetermijngeheugen.

215
00:33:48.608 --> 00:33:57.698
Die hallucinaties, met andere woorden, zitten hem in de lange term-, in het langetermijngeheugen van de AI. Ja, omdat het daar allemaal patronen liggen opgeslagen en geen feiten. Precies.

216
00:33:57.708 --> 00:34:04.968
Dus dan begint hij ineens over een appel, terwijl jij wil praten over een zoon. Precies. En er is op een gegeven moment een soort meme geboren.

217
00:34:05.028 --> 00:34:19.548
En, uh, dat werd, dat werd heel mooi gevat in een artikel wat op een gegeven moment in de New Yorker verscheen van iemand, van een, van een staff writer van de New Yorker die, uh, eigenlijk de AI's van dat moment vergeleek met een soort van blurry JPEG.

218
00:34:19.608 --> 00:34:21.808
Ja, mooi. Ken je dat artikel? Mooie metafoor, ja.

219
00:34:21.828 --> 00:34:31.158
Dus die, die schreef een heel artikel over dat AI moet je, uh, je, dat je je moet realiseren dat als je met zo'n taalmodel praat, dat het, dat je, dat je het moet zien als een, als een JPEG.

220
00:34:31.208 --> 00:34:42.568
En een JPEG is een foto met heel veel compressiepotentieel en, w, dus dat die file kleiner wordt gemaakt dan dat hij uit de camera komt. En hoe doet hij dat? Dat is door delen weg te laten.

221
00:34:42.688 --> 00:34:48.968
Door te bedenken: wat ziet het menselijk oog niet of valt minder op voor het menselijk oog. Dan halen we die dingen eruit, wordt die file kleiner.

222
00:34:49.648 --> 00:35:01.488
En daardoor zie je ook dingen die niet echt zijn in die foto, als je heel precies wil zijn. Ja. Het is niet meer een realistische weergave van de werkelijkheid. En de, hij maakte die metafoor met hoe taalmodellen werken.

223
00:35:01.508 --> 00:35:09.288
En dat is eigenlijk een meme geworden. Want mensen zijn, en dit hoor ik nog steeds iedere dag als ik met mensen over AI praat, mensen het gewoon niet vertrouwen.

224
00:35:09.908 --> 00:35:19.308
En dat ze zeggen: het hallucineert, het is feitelijk niet juist. La, la, la. Dit is, dit is ingebed inmiddels in de manier waarop wij over- Misschien op zich niet gek, hè? Ik bedoel: het is een achterhaald verhaal. Ja.

225
00:35:19.588 --> 00:35:30.068
Maar ik, ik ben het er wel mee eens dat het goed is om in eerste instantie te zeggen: ik vertrouw het niet. Het zou jammer zijn als je daardoor zegt: dan gaan we het ook nooit inzetten om de huisarts te ondersteunen. Ja.

226
00:35:30.188 --> 00:35:38.588
Nooit. Nooit is lang, hè. Ja. Dus daarom wil ik hem even nuanceren. Nou en, en je kan het preciezer maken door onderscheid te maken tussen die- Ja...grotere modellen.

227
00:35:38.688 --> 00:35:43.008
En dat we daar steeds beter in worden en dat dat nog steeds niet ervoor zorgt dat er niet gehallucineerd wordt.

228
00:35:43.068 --> 00:35:51.748
En de constatering dat bij grotere context windows, het korteretermijngeheugen, dat als het korteretermijngeheugen groter en groter wordt en dat is nu aan de hand,

229
00:35:52.668 --> 00:36:02.328
uh, dat we daarmee ook dichter op de feitelijkheden kunnen blijven. Zeker. En ik denk als ik hem mag aanvullen, je zou in essentie over drie plekken kunnen praten. Ik weet dan niet zo goed.

230
00:36:02.948 --> 00:36:07.848
Ik denk dat je dan zou hebben het langetermijngeheugen, het kortetermijngeheugen en de bibliotheek waar die persoon op dat moment zit.

231
00:36:07.868 --> 00:36:18.648
Als we het bij een mens houden, is hoe die systemen nu werken, bijvoorbeeld ook, uh, NotebookLM, is er is een taalmodel, dat is die blur JPEG, hè, dus een lossy compressie. Net als MP3 en JPEG.

232
00:36:18.788 --> 00:36:27.268
Het is niet het originele nummer, maar ze bluffen een beetje en jij hebt het toch niet helemaal door. En het is leuk genoeg voor muziek, hè, maar het is niet een zipje. Als je die uitpakt komt hetzelfde boek er weer uit.

233
00:36:27.348 --> 00:36:30.448
Nee. Een zipje, een zipje is, uh, niet lossy, die is lossless.

234
00:36:31.048 --> 00:36:41.617
UhmNou, dan heb je een lossy, uh, langetermijngeheugen met daarbij een, uh, contextwindow kortetermijngeheugen waar je op dat moment informatie in kan stoppen en daar kan die mee aan de gang.

235
00:36:42.178 --> 00:36:49.578
Maar dat contextwi-, die contextwindow is niet infinite. Daar past niet de hele bibliotheek in. Daar passen ook niet al jouw documenten in die jij in NotebookLM plakt.

236
00:36:50.438 --> 00:36:59.998
Wat Google slim doet, hè, we hebben het vaak over het grapje rag, rag, raggen. Nou, als je gaat raggen, dan zegt Google: wacht even, voordat ik jouw vraag ga beantwoorden, kijk ik even naar jouw bronnenlijst.

237
00:37:00.238 --> 00:37:04.938
Dan maak ik een gok, een geïnformeerde gok, welke van jouw bronnen relevant zijn voor jouw vraag.

238
00:37:05.378 --> 00:37:13.858
Dan trek ik hoofdstukken en al, niet paragrafen, hoofdstukken en al, misschien wel het hele boek als het moet, het contextwindow in. Dan ga ik die vraag beantwoorden en dan krijg jij het antwoord.

239
00:37:14.298 --> 00:37:31.408
En dat is eigenlijk alsof je bij een professor thuis zit die zegt: momentje, naar zijn boekenkast loopt, alle boekhoofdstukken begint te lezen die relevant zijn voor jouw vraag en dan jou, plus zijn hele ervaring, uh, van alles, uh, dus de langetermijnervaring, training, 40 jaar professor zijn, plus alle boeken die hem of haar in de kamer staan.

240
00:37:31.728 --> 00:37:41.238
Dat vlug even lezen terwijl jij er zit. Supersnel lezen en dan antwoord geven. Juist. En dat is veel meer dan een lossy JPEG. Ja. Of een van de drie in deze trifecta. Ja, maar toch.

241
00:37:41.278 --> 00:37:47.458
Als ik jou goed begrijp zeg je: hè, dat ding gaat alsnog zelf constateren van alles gelezen te hebben.

242
00:37:47.798 --> 00:37:57.418
Nou, n-, hij gaat eigenlijk geïnformeerd proberen te bedenken welke stukken die heel snel eventjes gaat lezen voordat hij antwoord geeft op de vraag. Maar hij leest niet alles, is wat ik je hoor zeggen. Exact. Ja.

243
00:37:57.458 --> 00:38:10.378
En nou, dat, dat is, oké. Dat is nog zo. Ja, en ik zou- Is zijn punt. Nou, en ik zou willen zeggen: is misschien al wel een beetje zo, want, uhm, dus ik zal hem, ik probeer hem, uh, houdbaar te maken. Hoe zeg je dat?

244
00:38:10.678 --> 00:38:13.998
Dat deze metafoor niet een soort driedubbele driedimensionale supermetafoor wordt.

245
00:38:14.858 --> 00:38:25.678
Kijk, die, die boekenkast met die 10.000 boeken erin die niet in het contextwindow passen in zijn geheel, die zijn wel geïndexeerd, dus daar zit een database overheen.

246
00:38:25.898 --> 00:38:36.258
Daarom duurt het ook even als je die bestanden in NotebookLM zet. Ik moet zeggen, ze doen het supersnel, maar er worden heel snel een soort van compressie, die JPEGs van gemaakt, van die boeken in stukjes.

247
00:38:36.318 --> 00:38:47.838
Chunks noemen ze dat. En die chunks, die stukjes van die boeken, die, dat zijn eigenlijk wel een soort van, uh, taalmodelgebaseerde samenvattingtjes. Een soort van, uh, uh, vage JPEG-segmentjes.

248
00:38:48.438 --> 00:38:58.778
En op het moment dat jij een vraag stelt aan dat taalmodel, laten we zeggen NotebookLM, en dan moeten we eigenlijk zeggen aan die ensemble waar een taalmodel Gemini onderdeel van maakt, want we praten niet meer alleen met taalmodellen.

249
00:38:59.538 --> 00:39:08.018
Dan gaat hij vragen aan die, ja, eigenlijk is dat conceptuele search machine die niet, waar je niet alleen maar een woordje aan hoeft te geven, maar een conceptje aan kan geven.

250
00:39:08.078 --> 00:39:15.208
Die zegt dan: oh, ik weet wel welk boek dat is. Hè, dus er zit een modelletje tussen die eigenlijk zegt: ik weet wel welk boek dat is. Die gaat dan het juiste boek pakken voor je.

251
00:39:15.218 --> 00:39:24.538
Ja, en dan als het contextwindow een beetje groot is. Nou, Gemini heeft gigantische contextwindows. Ja. Gooi dat hele boek maar lekker in die klont. Ja, maar, maar dit is de kern, Wytse, dat dit aan het gebeuren is.

252
00:39:24.868 --> 00:39:31.357
Klopt. Want je hebt het nu nog over een soort van slim dingetje wat als een soort verkeerstoren dan gaat kijken: welk boek ga ik uit de bak, uit de kast pakken?

253
00:39:31.378 --> 00:39:40.518
Maar hij zegt: het contextwindow is nu 1,5 miljoen woorden, 1,5 miljoen tokens. Dus dan, dat verwar ik nu even met elkaar, maar dat komt ongeveer overeen, toch? Is oké.

254
00:39:41.238 --> 00:39:48.318
Hoeveel zou je zeggen wat er, wat het daadwerkelijk aan woorden is als het 1,5 miljoen tokens is? Uh, ik heb begrepen tokens is woorden keer 1,5. Ja, precies.

255
00:39:48.358 --> 00:40:02.618
Nou, oké, uhm, maar- Op grote getallen, hè, dus 1 miljoen is 1,5 miljoen. Ja. Prima. Maar 1 miljoen, uh, of, uh, maar er zijn, uh, uh, plannen al aangekondigd voor, uh, een, uh, nieuwe versie van Gemini die 7 miljoen.

256
00:40:02.778 --> 00:40:12.198
Ja, voor jouw beeld in de discussies, uh, de discussies in de, uh, in het vakgebied, uh, AI machine learning is nu: is this the end of rag?

257
00:40:12.598 --> 00:40:21.598
Dus- Ja, precies, dan heb je het helemaal niet meer nodig, dat, dat, die verkeerstoren. Gooi lekker die hele bioscoop erin. Want je gooit die hele kast erin. Bibliotheek bedoel ik. Ja. Ja. Nou, en dit is dus aan de hand.

258
00:40:21.758 --> 00:40:29.038
En hij zegt: wat ik nu al kan doen is, weet je, dit gaat over Steven Johnson, die daadwerkelijk 14 boeken heeft geschreven.

259
00:40:29.538 --> 00:40:46.418
Hij kan zijn 14 boeken, alle artikelen die hij ooit heeft geschreven, alle blogposts die hij ooit heeft geschreven, alle interviews die hij ooit heeft gedaan en alle onderzoeksnotities die hij heeft bijgehouden voor al die media die de output waren, kan hij allemaal upload-- en die kunnen nu al in NotebookLM.

260
00:40:46.498 --> 00:40:56.518
Ja, ik wil wel de opmerking erbij maken dat, ik bedoel, de reden dat het contextwindow zo klein is bij de meeste modellen en zo klein was toen ze begonnen, is omdat het niet gratis is om het contextwindow te vergroten.

261
00:40:56.558 --> 00:41:10.738
Nee. Dus je zou je ook nog voor kunnen stellen, dat is waar wij al langer op anticiperen en dat het gaat gebeuren, is de €500 per maand taalmodellen, hè, de, uh, Anthropic, uh, uh, Claude, uh, Ultimate, uh, Master.

262
00:41:11.138 --> 00:41:15.688
Die is 500. Daar kan, uh, 100 miljoen tokens in de tokenwindow.

263
00:41:15.728 --> 00:41:31.068
Ik roep maar wat geks, maar dat soort getallen gaan in de IT vaak van het- Maar het zal me wel dat dat duurder gaat kosten of dat dat duurder gaat zijn en dat het technisch, misschien, dat, het gaat mij gewoon eventjes erom: het is mogelijk om je hele corpus als, in je contextwindow mee te geven.

264
00:41:31.138 --> 00:41:39.058
Ja, je bedoelt jouw hele levenswerk? Ja. Ja. En hij maakt dus, hij maakt hier een punt van. En volgens mij is het heel belangrijk dat hier een punt van gemaakt wordt.

265
00:41:39.478 --> 00:41:51.668
Want hij zegt dus: ik heb macht aan wel boeken geschreven, maar heel eerlijk gezegd, als ik op een boekentour ga, dan weet ik heel vaak niet meer wat ik nou precies in mijn onderzoek voorbij heb zien komen en wat nou daadwerkelijk in het boek terechtgekomen.

266
00:41:51.688 --> 00:41:57.918
Want het boek is iets wat, nou, om het maar bij prunen te houden. Je begint met heel veel woorden, dan wordt het minder en dan wordt het een boek. Ja.

267
00:41:58.218 --> 00:42:06.258
En, uh, als ik op een boekentour ga, dan wil ik soms iets vertellen waarvan ik eigenlijk helemaal niet meer weet of het überhaupt in een boek staat of dat het gewoon in mijn research voorbij is gekomen.

268
00:42:06.898 --> 00:42:16.138
Point in case is dat hij dus dit artikel aan het schrijven was, constateerde: het zou lekker zijn als ik een metafoor zou hebben tussen kortetermijn- en langetermijngeheugen.

269
00:42:16.218 --> 00:42:22.358
In zijn NotebookLM ging zoeken en het verhaal van dat jongetje tegenkwam die van zijn fiets- Wauw. Viel. Ja.

270
00:42:22.398 --> 00:42:30.938
En dan doet het er dus niet toe of dat in een boek heeft gestaan van zichzelf of dat hij dat is tegengekomen als onderdeel van zijn onderzoeksnotities. Hij heeft het voorbij zien komen.

271
00:42:30.958 --> 00:42:40.658
Het is onderdeel geweest van zijn research. Hij heeft daar iets mee gedaan en kan dat vervolgens hergebruiken omdat dat ding kan constateren: dit is relevant, wat in jouw geheugen zit.

272
00:42:41.198 --> 00:42:56.394
En hij zegt dus eigenlijk met, uhmMet, met een groter wordend context window krijg ik opeens, uhm, mijn soort van mijn intellectuele denkwijze, zo noemt hij het,

273
00:42:57.494 --> 00:43:05.174
uhm, kan die AI eigenlijk beter reproduceren dan bijna ikzelf. Want ik, ik was niet bij deze, bij dit ding.

274
00:43:05.374 --> 00:43:15.674
En ik ben zelf nodig, want ik ben tot de conclusie gekomen dat het een leuk verhaaltje is over die jongen die, die valt. En natuurlijk mist die AI een soort persoonlijke geschiedenis, emotionele geschiedenis.

275
00:43:16.374 --> 00:43:20.834
Maar het is ook weer niet ondenkbaar dat je dagboeken gaat toevoegen hieraan.

276
00:43:20.914 --> 00:43:41.014
Of dat je, m-, ja, uiteindelijk, ik, ik, ik denk natuurlijk: w-wat wordt het moment dat je daadwerkelijk je gezichtsveld de hele tijd gaat opnemen en dat toe gaan voegen als context, dat daadwerkelijk alle gesprekken die je voert kan toevoegen als co-, aan context, dat, dat echt je hele leven in het context window past.

277
00:43:41.894 --> 00:43:53.994
Maar zelfs als we daar niet naartoe gaan, dan nog kun je zeggen: oké, alles wat ik doe voor werk of, uh, alles wat ik lees in mijn leven, laat dan een soort van daartoe, is als, als door enorme bronnen aan informatie.

278
00:43:54.574 --> 00:44:05.274
Stel je kan dat allemaal in een context window krijgen. Wat kun je dan doen? En, uh, hij zegt eigenlijk: dit is een soort van nieuwe vorm van mens-machine samenwerking

279
00:44:06.194 --> 00:44:17.154
waar we nog maar beginnen te begrijpen wat voor effecten dat potentieel kan hebben. Ja, want als ik jou nu eigenlijk zo hoor, want ik begin nu een beetje door te krijgen waarom jij dit effect zo gaaf vindt.

280
00:44:17.194 --> 00:44:27.073
Ja, nee, ik voel hem, ik voel hem. Is dat, laten we zeggen jouw digital twin of jouw digital ghost, hè. Dus alles wat van jou in woord bestaat, digitaal gedigitaliseerd of niet, kan later ook nog.

281
00:44:27.874 --> 00:44:35.974
Dat is een aantal tokens, gemiddeld, hè. En voor een mens die ontzettend veel leest en ontzettend veel kletst, zijn dat meer tokens dan voor een gemiddeld mens. Ja.

282
00:44:36.374 --> 00:44:46.734
Maar mijn vraag is namelijk tot nu toe altijd geweest: wanneer past er een boek in de context window? Toen was het: hoeveel boeken passen er in de context window? En jij zegt nu, er loopt nu een grafiekje ergens- Ja.

283
00:44:47.054 --> 00:44:56.554
die zegt: average, the token, the amount of tokens of an average researcher. Ja, en wanneer past die eigenlijk in een token window? En nog even los van,

284
00:44:57.514 --> 00:45:03.804
ik denk namelijk dat die discussie, is het een puur token window of is het eigenlijk ook rag, whatever. Weet je, als het voelt- Als het werkt.

285
00:45:03.804 --> 00:45:14.554
dat jij een needle in the haystack, want die is wel belangrijk, hè, dat je een, dat je een specifiek voorbeeld van een jongetje en een mooie metafoor die je ooit hebt gehoord of een, of zelf hebt verteld wat je niet meer weet, kunt vinden.

286
00:45:14.574 --> 00:45:23.174
Hè, dus niet een blurry JPEG, maar feiten. En misschien zelfs een quote uit een e-mail van jou van zeventien jaar geleden. Dus dat is een vrij scherpe JPEG, is een zipje.

287
00:45:23.854 --> 00:45:37.364
Dat je die, dat jij erin past als mens met al jouw artefacten en al jouw, uh, digitale, uhm, identiteit, dat is wel een groot ding. Maar hij zegt, jij, jij zegt nu: zoek de needle in the haystack. En dat is de soort van,

288
00:45:38.374 --> 00:45:52.614
uh, de test die onderzoekers nu al heel lang gebruiken om te kijken of dat ding daadwerkelijk goed kan vinden wat jij zoekt, wat verstopt is in hele grote hoeveelheden informatie. Dit is een soort test voor AI-modellen.

289
00:45:52.674 --> 00:46:00.334
Ja. Maar hij zegt: ik wil dat dat ding de hele fucking haystack, uh, kan vinden.

290
00:46:00.594 --> 00:46:23.774
Waarmee hij bedoelt: hij had een, uh, een boek geschreven over een, uhm, nou doet er verder niet toe, maar hij had een soort van, uh, stukje geschreven, uh, zoals een auteur dat doet in een, in een spannend boek, waarbij een stukje geschreven waar die cruciale, uh, kennis, uh, onthoudt aan de lezer om het spannend te maken.

291
00:46:24.374 --> 00:46:39.594
Dus hij beschrijft een hele kleurrijke scène met iets wat je tegenkomt, wat, wat, uh, wat de, uh, protago-protagonist in het verhaal tegenkomt als hij een bepaalde ruimte binnenloopt en vertelt dan heel kleurrijk over wat hij ziet en ook wat hij hoort.

292
00:46:40.134 --> 00:46:48.374
En dan vraagt hij aan die, uh, aan NotebookLM: uh, wat komt hij tegen? Wat, wat is, wat is de betekenis hiervan?

293
00:46:48.954 --> 00:47:02.654
En dan, uh, begrijpt dat ding dus dat, uh, later in het boek, w-wordt dan onthuld dat er een bommelding, uh, in het pand was en dat het geluid wat hij hoorde, de tikkende klok, het geluid van de bom was.

294
00:47:03.254 --> 00:47:09.434
Dat komt later, wordt dat, uh, duidelijk. En hij zegt dus: dit is niet de needle in the haystack.

295
00:47:09.494 --> 00:47:25.214
Dit is, hij begrijpt, hij begrijpt gewoon als een mens wat ik verderop heb bedoeld met deze soort van, ja, het is niet een metafoor, het is een hele beeldende beschrijving van iets, maar hij begrijpt het concept van dat dat later een bommelding is.

296
00:47:25.334 --> 00:47:34.414
Hij, hij probeert te zeggen: dit is niet meer zoeken naar de naald, het is, je, je, we moeten het gaan beschouwen als de hele haystack en dat gaan accepteren.

297
00:47:34.454 --> 00:47:39.074
Ik denk dat nu, nu, uhm, uh, hoe zeg je dat, wringen we die, uh, naald een beetje uit.

298
00:47:39.114 --> 00:47:49.814
Maar het idee van die nie-, de, de idee van de needle in de haystack is om te testen of de hele haystack erin zit, hè, dus wat je doet: een paar needles zoeken en dan, zodat je zeker weet dat dat ding niet aan het bluffen is.

299
00:47:49.834 --> 00:48:00.054
De blauwe M&M's. Ja, want v-vroeger was het zo met, wat mensen zeiden: moet je voorstellen als je een taalmodel zou trainen op jou, hè, dan zou je een taalmodel trainen op Alexander.

300
00:48:00.074 --> 00:48:13.434
Maar dan maak je dus een blurry JPEG van Alexander. Precies wat je niet wil. Ja. Jij wil een, uh, een zip van Alexander waar alles in zit. Nou, exact dit. En hij zegt dus: dit is iets wat gaat gebeuren.

301
00:48:13.454 --> 00:48:22.354
Want hij zegt dus: we, we kunnen ons niet voorstellen waar, zeg maar, hoe gaat dit, als dit kan, dit grote context window en daar kan alles in zitten, uh, wat voor jou relevant is op dat moment.

302
00:48:23.244 --> 00:48:33.834
Dan kun je dus gaan nadenken over nieuwe toepassingen voor AI. En hij zegt dus bijvoorbeeld als jij het hebt over die ziplus of die zip, die, die loslusmetafoor, als je de hele, als jij alles kan, als jij

303
00:48:35.194 --> 00:48:42.594
mijn NotebookLM kan gebruiken waarin mijn NotebookLM alle teksten staat die ik ooit niet alleen geschreven heb, maar ook gelezen heb.

304
00:48:43.914 --> 00:48:57.078
En jij kan daar toegang toe krijgen tot alles wat ik besloten heb ooit te lezen, dan is dat potentieel wat waardEn hij zegt: dit zou best als een soort nieuwe inkomstenstroom gezien kunnen worden.

305
00:48:57.118 --> 00:49:11.758
Dat, niet als vervanging van expertise, maar eigenlijk de, de, de weg ernaartoe te, te kopen. Je, je koopt, het is als The Matrix, weet je wel, dat je zo kung fu kan inpluggen. Het is dat. Send me the tank program. Ja.

306
00:49:12.078 --> 00:49:18.158
Maar ik denk dat als ik, een leuk, ik heb een leuke anekdote, die komt ook bij Google vandaan. Zij hebben YouTube, dat is een van hun, uh, dingen.

307
00:49:18.658 --> 00:49:23.898
En, uh, ik had een video gezien vorige week van een YouTube creator en die was heel erg boos. Dat vind ik altijd interessant.

308
00:49:23.938 --> 00:49:32.458
Niet omdat ik rage bait aan het klikken ben, maar dit was gewoon iemand die boos was, maar op AI. Dus ik dacht: nou, daar moet ik even naar kijken. Als mensen boos aan het worden zijn op AI, dan gaat Wietse wel opletten.

309
00:49:33.178 --> 00:49:40.018
Nou, wat he-, je hebt een YouTube Creators dashboard. Dus als jij YouTuber bent en je bent groot, dan heb je een creators dashboard waarop jij alle comments kunt zien.

310
00:49:40.858 --> 00:49:46.178
Uh, en dat is een soort inbox voor jouw eigen YouTube-kanaal. Anders moet je onder je eigen video's gaan scrollen op zoek naar reacties.

311
00:49:46.198 --> 00:49:50.998
Niet handig, dus je hebt een unified inbox voor al jouw video's tegelijk en daar komen alle reacties op binnen.

312
00:49:51.558 --> 00:49:57.838
Daar is al controversie op geweest, omdat daar een influencer filter op zit, zodat je alleen de reacties krijgt van mensen met meer dan 10.000 volgers.

313
00:49:57.958 --> 00:50:06.698
Zodat je alleen reageert op jouw mede homies die ook cool zijn op YouTube. Maar goed, die feature is ook wel weer logisch, want je wil niet een reactie missen van iemand met 20 miljoen volgers en die soort van negeren.

314
00:50:06.878 --> 00:50:17.338
Ja. Maar er zit een nieuwe feature in. Als jij in de bèta creators program van YouTube zit, dan staan er al reacties klaar. De reacties staan al klaar. Je hoeft alleen maar- Te posten.

315
00:50:17.398 --> 00:50:26.418
Ja, en hij is heel erg geschrokken, deze jongen, want het is een jongen die maakt video's over Dungeons and Dragons. Die doet best wel diepe analyses van goede Dungeons and Dragons games spelen.

316
00:50:26.538 --> 00:50:35.378
Nou, dat is een hele eigen, uh, wereld, een hele subcultuur. Uh, en die mensen daar zijn streng, want Dungeons and Dragons is een serieus spel. Dat is geen grapje. Ja, ik meen het. Ik ben ook een beetje boos.

317
00:50:35.458 --> 00:50:44.758
Nee, maar ik, ik heb het één keer gespeeld. Die ziet een reactie klaarstaan. Die klikt erop. Die ziet de reactie klaarstaan. Verrassing. Van hemzelf, wat natuurlijk een heel vreemde ervaring is.

318
00:50:44.798 --> 00:50:52.338
En het is een reactie waar hij het mee eens is. Een hele goede inhoudelijke reactie waar hij van da- dacht: eigenlijk kan ik nu gewoon drukken op post.

319
00:50:52.418 --> 00:50:59.468
Maar even voor de helderheid: dat is een reactie vanuit zijn account op iemand anders video. Nee. Of een comment. Dus iemand reageert.

320
00:50:59.598 --> 00:51:08.338
Ah, dus onder zijn eigen video's commenten mensen en dan reacties op die comments, die staan klaar. Oké, gotcha. En die vond hij goed. AI generated draft comments. Ja.

321
00:51:08.498 --> 00:51:21.798
Een experimental feature in de YouTube creators omgeving. Ja, ja, ja. En hij zei: dit is echt een hele goede reactie. En waar was hij boos? Nou, omdat hij zei: waarom is deze reactie zo goed? Waar komt dit vandaan?

322
00:51:22.058 --> 00:51:30.627
Dit is niet getraind op enkel alle reacties die ik tot nu toe heb gegeven. Dit is getraind op mij. Dit is getraind op een transcript van alles wat ik ooit heb gezegd in YouTube video's. Ja, ja, ja, ja.

323
00:51:30.638 --> 00:51:38.458
Jullie zijn een digital twin. Ja. Jullie hebben al een digital twin van mij gemaakt. Hij legt het nog wel voor. Dat is nog wel vriendelijk. Dus hij mocht hem nog.

324
00:51:38.548 --> 00:51:46.418
[lacht] Hij staat, hij is geframed als draft en dan kan je hem zelf een beetje aanvullen. En hij zei- Het is echt zo waarschijnlijk. Ze hebben een digital twin van hem gemaakt.

325
00:51:46.518 --> 00:51:52.558
Ja, en hij, het is een jongen die verder niet zoveel verstand heeft van AI, dus die zei: ja, er is een model gefinetuned op mij.

326
00:51:52.648 --> 00:52:01.638
Nou ja, jij en ik, daar gaat deze discussie vandaag ook over, weten: nee jongen, jouw transcript zit in de context window en hij zoekt de juiste video's erbij en dan pakt hij de, wat we net hebben gezegd.

327
00:52:01.698 --> 00:52:02.978
Ja, eigenlijk nog best simpel.

328
00:52:03.298 --> 00:52:14.598
Ja, en de makers van NotebookLM, Google, hebben in hun YouTube platform, ook Google, een feature gemaakt die eigenlijk reacties aan het bluffen is, maar aan het bluffen is op basis van een kopie van jou. Ja.

329
00:52:15.038 --> 00:52:27.678
En, uh, zijn discussie in die video is ook dat hij zei: het is wel een goede reactie. Doet het er nu eigenlijk toe? Waarop ik, uh, begon na te denken toen ik die video had gezien. Ik krijg best wel veel mail. Jij ook.

330
00:52:27.718 --> 00:52:37.118
Allemaal lieve mensen die, uh, opmerkingen hebben of soms ook vragen over AI en, uh, wat we in Pokie hebben besproken. Ik vind dat best wel overweldigend soms.

331
00:52:37.218 --> 00:52:45.118
Uh, dit is niet per se om mensen te ontmoedigen, maar weet wel het kan even duren. Waarop een vriend van mij zei: haha, daar moet jij dan toch AI voor inzetten, want daar heb jij het toch altijd over?

332
00:52:45.208 --> 00:52:54.078
En toen zei ik: nou, dat voelt niet prettig, want dan ga ik AI antwoorden geven. Mhmm. En toen zei hij: hoezo, dat voelt niet prettig? Kan je dat ding niet trainen op al jouw eerdere podcast afleveringen? Ja.

333
00:52:54.158 --> 00:52:58.118
Kan je dat ding niet jouw mail een beetje laten doornemen, dan een draft neerzetten voor jou.

334
00:52:58.618 --> 00:53:09.298
En, ik bedoel, nu geef je eigenlijk of laat of geen antwoord en dan zou jij met je digital twin een antwoord geven met Wietse approved. Ja, straks wordt het een daad van agressie als je die comment niet plaatst.

335
00:53:09.558 --> 00:53:17.078
Hoezo communiceer je niet met je achterban? En hij is Wietse approved, hè. Ja, ja, ja, ja. Ik heb die draft gezien. Ik vond hem oké en ik heb hem gestuurd.

336
00:53:17.458 --> 00:53:25.798
Nou ja, en ik, ik, ik merkte bij mezelf ook dat ik dacht: oké, dit voelt als een beetje een rare tussentijd waarin nu iedereen een beetje stigma heeft rondom AI reacties sturen.

337
00:53:26.298 --> 00:53:34.938
Maar ja, als, als die Dungeons and Dragons gozer, hij zei: negen van de tien van de drafts die klaarstaan is troep, maar deze gaf mij de shivers.

338
00:53:35.658 --> 00:53:49.198
Ja, dit is grappig, want dit is eigenlijk, dit is weer een ander hoofdstuk wat je opentrekt, want dit is een soort van, uh, digital twins en, uhm, dat is iets wat op YouTube natuurlijk, dit, dit voorbeeld gaat dan over, dat is dan het equivalent van de YouTube BN'er.

339
00:53:49.958 --> 00:53:59.118
Maar, maar je zou ook kunnen zeggen: dit geldt eigenlijk, dit geldt voor iedereen, want waarschijnlijk gaat er op je werk, gaat er ook een digital twin van jou komen over een tijdje.

340
00:53:59.198 --> 00:54:04.078
Als de, als we, als de cultuur dit allemaal toelaat. Noem het jouw copilot. Ja, precies. Ja.

341
00:54:04.478 --> 00:54:20.858
Nou, en in dit stuk zegt hij dan dus ook die, die bedrijfsbeslissingen die, of, hij zegt het: het gaat over een tijdje bizar zijn om niet bedrijfsbesi-beslissingen langs een soort van reeks van digital twins te trekken.

342
00:54:21.058 --> 00:54:26.938
Ja, hoe jij de aflevering begon, hè, met de agents bij die verzekeringsmaatschappij die consensus vinden over een bepaald onderwerp. Ja, ik snap je.

343
00:54:26.958 --> 00:54:35.518
En hij zegt dus: dit wordt gewoon een plek aan tafel bij bedrijven, uh, dat als je belangrijke beslissingen gaat nemen, dat je dan eigenlijk,

344
00:54:36.558 --> 00:54:42.758
je hebt heel erg je best gedaan om de belangrijkste documenten van je bedrijf te cureren en die in die context window te zetten.

345
00:54:43.938 --> 00:54:55.976
Uhm, en dat kan dus heel groot zijn, kan alsnog heel veel zijn, maar waarvan je zegt: dit is, hier, m-de-deze, dit, it, it needs to pass this testEn, uh,

346
00:54:56.906 --> 00:55:09.866
dat hij zegt: de succesvolle organisaties zullen, uh, niet diegene zijn met de krachtigste modellen, maar met de best samengestelde context. Want die krachtige modellen, dat is, uh, een soort commodity.

347
00:55:10.826 --> 00:55:23.286
Maar die context die je, uh, verzamelt als bedrijf, dat is waar de, dat is waar de waarde zit. Nou, of dit nou waar is of niet, het is een verschuiving van het, van de aandacht en ik denk dat die,

348
00:55:24.246 --> 00:55:29.106
uh, dat die heel, uh, uh, terecht is en, en, en ook echt noopt tot nadenken.

349
00:55:29.146 --> 00:55:44.346
Want dit, dit zou dus kunnen betekenen dat je als bedrijf bijna een soort van, uh, ja, professionele archivarissen moet hebben of zo, die je kennisbank helpen beter geschikt te maken voor dit soort toe-, voor dit soort toepassingen.

350
00:55:44.366 --> 00:55:47.886
Het is de big data belofte van jaren geleden, maar dan waargemaakt. Ja.

351
00:55:48.546 --> 00:55:58.826
En dan, ik denk dat, hè, want of, ik vind het eigenlijk in dat opzicht wel interessant, dat, we hadden het vorige week over die model, uh, context protocol. Daar zit het woord context ook in.

352
00:55:59.166 --> 00:56:00.686
In context window zit dat ook.

353
00:56:01.186 --> 00:56:12.946
Ik denk dat onze discussie, ons verhaal hier vooral gaat over: je hebt een blurry JPEG van het internet of van de wereld, namelijk het foundational basismodel, hè, GPT-4o, Claude, noem ze allemaal maar op.

354
00:56:13.686 --> 00:56:23.105
Maar dan ga jij, terwijl je die vraag stelt, korte termijn meegeven. Maar die korte termijn, dat woord kort klinkt klein, maar dat is niet zo, die kan steeds groter. Ja.

355
00:56:23.206 --> 00:56:31.636
En, hè, mijn nuance daarbij is dat ik zeg: je kunt zelfs een systeempje maken en, uh, die het, die vluchten boeken erbij vindt die nodig zijn, zolang niet alle boeken erin passen, hè. Ja.

356
00:56:31.646 --> 00:56:43.346
Dus ik denk eigenlijk dat we met wat slimme trucs er al zijn, hè. Ja. Dus dit is niet eens meer een toekomstverhaal. Alleen, uh, dan is de vraag vooral, uh, wat stop je in die context window?

357
00:56:43.406 --> 00:56:53.386
Want je zou ku-, je zou kunnen zeggen, ik heb hier veel discussies over met, uh, programmeurs. Dan zeg ik: ja, dan, uh, kan jullie hele codebase erin. Zeggen ze: moet je niet doen, man. Hoezo niet?

358
00:56:53.726 --> 00:57:00.246
Daar zijn we niet per se trots op, hè vriend. Dat is een codebase van achttien jaar oud. Wij willen helemaal niet dat dat ding dat gaat nadoen.

359
00:57:01.186 --> 00:57:12.526
Uh, jij kan ook zeggen: ik ben een schrijver, ik gooi mijn eerste boeken erin. Wat bedoel je met ding niet nadoen? Want dan gaat ie in de zo, de slechte elementen ook blijven. Zolang jij dat niet hebt gelabeld. Ja.

360
00:57:12.566 --> 00:57:23.186
Je kan het labelen op datum en zeggen: uh, only use code examples from recent times, hè. Ja, ja. Dan heb je al iets opgelost. Maar als jij een schrijver bent, ga je je middelbare schoolthesis erbij plakken?

361
00:57:23.306 --> 00:57:32.466
Ik zou zeggen bijna van niet. Of je moet uitleggen: joh, uh, ik heb, je hebt een soort recency bias. Ja, fair enough. Maar, uh, ik wil alleen maar zeggen. Dit is dan wat hij bedoelt met dat labelen. Ja.

362
00:57:32.546 --> 00:57:37.326
Dat is, dat is die kennisbank optimaliseren. Ja, die moet wel, uh, het taalkundig. Of waardig geschat worden.

363
00:57:37.526 --> 00:57:45.866
Ja, misschien zeg je zelfs: joh, uh, er zit hier wat, uh, uh, data in, die mag je wel gebruiken, maar alleen maar, uh, als een historisch iets en niet gaan proberen dat na te doen.

364
00:57:46.376 --> 00:57:51.036
Maar zoals wij de laatste drie briefs geschreven hebben voor een bedrijf, dat mag jij zeker nadoen. Mhmm.

365
00:57:51.246 --> 00:58:01.626
Hè, dus ik, daarin zit voor mij is nu de vraag een beetje aan het worden: hoe augmenten we die basismodellen, die generic models, met een context? Hè, hoe we dat technisch ook doen, doet er even niet toe.

366
00:58:01.666 --> 00:58:13.446
Een context die ervoor zorgt dat we die stap gaan maken. De belofte van AI namelijk, uh, dit ding is slim. Nou, het is zo slim als de context die jij kan meegeven. Ik zit ook te denken wat het betekent voor uitgevers.

367
00:58:13.486 --> 00:58:16.806
Want we, we, we, zeg maar, we hebben kleine, uhm,

368
00:58:17.986 --> 00:58:46.866
we, we hebben het een paar keer wel gehad over dat er van die juridische startups zijn waarbij dan de, het, het, het werk in een advocatenkantoor bijvoorbeeld gevat wordt in een taalmodel, zodat, uh, nou ja, weet ik veel, uh, de, de comments die een of ander, uh, juridisch medewerker in de kantlijn zet, dat dat onderdeel is van, uh, ja, dat dat ding daarvan leert en daar, en dan dat kan repliceren bij nieuwe documenten, om maar een voorbeeld te noemen.

369
00:58:46.946 --> 00:58:56.836
Ja. Of, uhm, we weten van, uh, dat, maar ik heb op een gegeven moment zo'n demonstratie gezien van Microsoft die dan zegt: je kan nu hier LexisNexis bij aanzetten. Ja.

370
00:58:56.856 --> 00:59:07.296
Dus dat je, dat dat ding op-opeens toegang krijgt tot, echt als The Matrix, toegang krijgt tot een data, een proprietary database die niet in de standaard language modeling staat.

371
00:59:07.346 --> 00:59:16.305
En voor de luisteraars beeld wat daar op de achtergrond gebeurt, want dat weet ik best wel goed. Hij zoekt gewoon in die database en die records voegt hij toe aan de context window en dan geeft hij pas antwoord.

372
00:59:16.346 --> 00:59:21.706
Ja, precies. Maar dat is prima. Ja. Je hoeft niet die hele dekse database ineens in die context. Die gooi je erbij wanneer nodig. Ja.

373
00:59:21.726 --> 00:59:32.006
En dat laatste trucje, net als die model context protocol wat we vorige week zeiden, dat lijntje naar buiten naar al die databases toe, dat is nu wat ervoor gaat zorgen dat het echt interessant gaat worden.

374
00:59:32.546 --> 00:59:43.946
Maar ik denk dan dus ook, want ik, uhm, voor, uh, ik had, ik had één. Ik heb dat Never split the difference, dat onderhandelingsboek, toegevoegd om te, om te onderhandelen over iets

375
00:59:44.946 --> 00:59:55.466
en dan gaat hij dus keurig die principes proberen toe te passen. Uhm, maar uiteindelijk wat ik hem zie doen is toch een soort van extractie uit, hij, hij maakt een soort extractie van het boek.

376
00:59:55.806 --> 01:00:05.446
Hij, hij gaat dan zeggen: nou, als je onderhandelt, dan doe je dit en dit en dit en dit. Uhm, en dan doet hij misschien één voorbeeld erbij of zo, maar het blijft best wel een beperkt prompt.

377
01:00:05.966 --> 01:00:15.616
Dus ik dacht al: ja, jezus, als ik dit ding nou moet gaan zitten optimaliseren voor onderhandelen. Er zijn, zeg maar, als ik het gewoon sec vraag: onderhandel voor me, dan is het gewoon echt bagger wat eruit komt. Ja.

378
01:00:15.626 --> 01:00:22.546
Als ik een boek toevoeg, dan maakt hij eigenlijk een veel te simpele samenvatting van dat boek, waardoor nog steeds die onderhandeling echt niet zo heel veel beter gaat.

379
01:00:23.306 --> 01:00:32.906
Maar hierdoor werd ik wel aan het denken gezet dat ik dacht: ja, dit is een soort van, alleen al dit, gewoon door de lens van onderhandelen kijken en dan waarschijnlijk binnen onderhandelen zijn er weer best duizend subcategorieën.

380
01:00:32.946 --> 01:00:36.426
Onderhandelen over keukens, onderhandelen over auto's, onderhandelen over bedrijven verkopen.

381
01:00:37.446 --> 01:00:46.586
Dat er een soort van de, de context window die je erin hebt, dat dat gaat bepalen hoe, uh, hoe goed dat ding gaat zijn en dat we zoveel toepassingen nog gaan krijgen.

382
01:00:46.746 --> 01:00:53.966
Ja, ik moet zeggen dat ik ook, want alles is nu nog toch een beetje cowboy wat we aan het doen zijn, hè, met, je moet een goede prompt hebben. Als je een slechte prompt hebt, komt er crap uit hetzelfde model.

383
01:00:54.086 --> 01:01:00.246
Bij een betere prompt komt er iets fantastisch uit. Ja. Is de grote leerles voor de meeste mensen die nu een cursus prompt engineer volgen.

384
01:01:00.786 --> 01:01:09.130
Uhm, ik vraag tegenwoordigIk vroeg laatst: hoe kan ik op een, uh, uh, prettige manier, uh, nou, ik moest een of andere boodschap overbrengen naar iemand, maar ik vond het best wel spannend.

385
01:01:09.830 --> 01:01:18.310
En toen kwam er zo'n laf gemiddeld antwoord, zelfs uit Claude, de nieuwste Claude, dat ik dacht: o ja, zo was het. Het voelde een beetje ChatGPT van twee jaar geleden. Ik denk: wat doe ik nou verkeerd?

386
01:01:18.370 --> 01:01:27.709
Dus ik zei: oké, je mag best wel bouwen op bestaande ideeën over hoe je communiceert met mensen. Geef mij nou eens de boeken die ik aan jou toe moet voegen. [lacht] Ja, kreeg ik een hele lijst.

387
01:01:27.910 --> 01:01:35.950
Ik zoek die boeken op, hè, netjes ePubje opengebroken, gekocht en opengebroken, uh, erin gegooid en toen zei ik: nou, hier is het boek, gaan we verder praten.

388
01:01:36.330 --> 01:01:45.649
Maar als je dat dus kan automatiseren, hè, en je in die gevallen, hè, want precies wat jij zegt, als, als je, misschien krijg je wel, uh, waarschijnlijk hoe OpenAI een stukje van zijn geld gaat verdienen.

389
01:01:46.290 --> 01:01:52.690
Ik wil graag het boek toevoegen. Ja. Klik hier ter instant order. Ja, precies. € 8,-, dan ligt ie erbij. Precies. Ik pak die ePub wel.

390
01:01:52.870 --> 01:02:03.250
Ja, maar voor uitgevers ook, hè, wat, uh, wat, uh, wat, wat kranten kunnen gaan verdienen aan, uh, en, en ook boekenuitgevers. Het feit dat je gewoon boeken erbij kan klikken in je kennis.

391
01:02:03.330 --> 01:02:11.110
Het wordt gewoon echt als The Matrix. Maar eigenlijk is het misschien, als we hem aansluiten op vorige week, die model control protocol, model context protocol.

392
01:02:11.170 --> 01:02:19.410
Stel dat het protocolletje, dat bruggetje wordt toegevoegd en dat er ook een payment feature in het protocol geschreven wordt. Geen probleem. Ja, ja. En die dan zegt- Micropayments.

393
01:02:19.450 --> 01:02:30.490
Ja, en dan zegt ie, uh, à la Blendle, à la Blendle. Sorry man, uh, gaat, zegt ie: joh, volgens mij wil jij een boek over non-violent communication erbij. Ja. Ik kan die wel een uur kost huren. Ja.

394
01:02:30.770 --> 01:02:40.210
Ja, dan mag hij een uurtje erbij in de context window. Ja. En hebben zij een uitgeversdealtje, hè, en dan kan je hem huren voor 10 cent. God, krijgen we toch weer context, of krijgen we toch weer micropayments.

395
01:02:41.990 --> 01:02:53.950
Mijn leven zal rond zijn. Ik hoop het. [lacht] zal rond zijn, jongen. Ik, uh, dank u voor het luisteren. Mijn, uh, hoofd is weer, uh, verrijkt, Wietse.

396
01:02:53.990 --> 01:03:01.310
Ik dank jou voor je mooie, uh, inbreng, want het is een interessant artikel. Ik ga hem ook nog eens lezen. Ja, doe dat zeker, het is de moeite waard. Wij danken Sam Hengeveld voor de edit.

397
01:03:01.430 --> 01:03:07.950
Als je een lezing wil over AI van Wietse of van mij, dan kan dat. Mail naar lezing@pokkie.show. Vergeet je niet te abonneren op de nieuwsbrief.

398
01:03:08.050 --> 01:03:14.850
Daarvoor ga je naar AIreport.email en als je deze show wil sponsoren dan ga je dus naar pokkie.show. Tot volgende week. Tot volgende week.

399
01:03:18.430 --> 01:03:32.200
[afsluitend muziek]