WEBVTT

1
00:00:01.020 --> 00:00:09.480
Oh. Zo klinken 165.000 scheerbewegingen per minuut die je helpen om fris voor de dag te komen.

2
00:00:10.420 --> 00:00:17.860
De flexibele scheerkop van de Philips S9000 Prestige volgt de contouren van je gezicht en scheert tot op nul millimeter van je huid.

3
00:00:18.660 --> 00:00:29.000
Ervaar een ultiem gladde en comfortabele scheerbeurt, ook wanneer je nog niet helemaal wakker bent. Want dankzij de slimme sensoren past het scheerapparaat zich helemaal aan jou aan.

4
00:00:29.760 --> 00:00:39.620
Zo kun jij nog extra genieten van je kopje koffie voor je de deur uit gaat. De Philips S9000 Prestige is het ideale scheerapparaat om jouw dag goed mee te beginnen.

5
00:00:40.300 --> 00:00:54.200
Koop de Philips S9000 Prestige bij jouw favoriete winkel. De Bright podcast brengt je elke week de nieuwste gadgets. Het is gewoon de allerbeste Apple Watch die er is. Tech nieuws.

6
00:00:54.460 --> 00:01:03.060
Instagram heeft weer eens een functie van de concurrentie afgekeken. Commentaar. Ik denk van nou dit was gewoon Volkswagen onwaardig die, die oplossing. En de beste tech tips.

7
00:01:03.340 --> 00:01:13.020
Mijn favoriete boek was Helgoland van Carlo Rovelli. Luister de Bright podcast elke woensdag in je podcast-app. Wat een geweld! Het is zo lekker om naar te luisteren.

8
00:01:31.200 --> 00:01:41.790
Welkom bij POKI, een podcast over kunstmatige intelligentie waarin wij, Wietse Hagen en Alexander Klöpping, je bijpraten over de wondere wereld van AI. Deze week spreken we een AI-expert, Stef van Grieken.

9
00:01:42.300 --> 00:01:54.800
Stef is CEO van Cradle, een bedrijf dat AI-taalmodellen gebruikt om proteïnen te maken waarbij nieuwe medicijnen uitgevonden kunnen worden of misschien zelfs nieuwe grondstoffen gemaakt kunnen worden om minder afhankelijk te worden van fossiele brandstoffen.

10
00:01:54.860 --> 00:02:03.000
Een fascinerend bedrijf, maar niet het onderwerp van deze podcast. Als je er meer over wil weten, dan raad ik je aan om de podcast Met nerds om tafel van deze week te luisteren.

11
00:02:03.040 --> 00:02:10.020
Wij gaan het met Stef namelijk hebben over iets anders, namelijk zijn insider perspectief over AI bij Google. Daar heeft hij namelijk jaren gezeten.

12
00:02:10.420 --> 00:02:21.820
Stef hielp onder andere mee om chips te ontwikkelen die Google gebruikt voor AI-toepassingen. Hij legt uit waarom Google haar eigen AI-chips maakt en hoe die chips werken. En hij schetst een aantal grappige momenten.

13
00:02:21.860 --> 00:02:32.360
Bijvoorbeeld de verbazing bij Google intern dat de wereld zo verbaasd reageerde op de introductie van ChatGPT. Immers, Google kon zelf ook al heel veel op dat vlak en dacht dat iedereen wel doorhad dat dat zo was.

14
00:02:32.600 --> 00:02:41.100
En hij belandt in een debat met Wietse over de gevaren van AI en wat journalisten, overheden en bedrijven meer zouden moeten doen om de maatschappelijke impact van AI in goede banen te leiden.

15
00:02:41.380 --> 00:02:51.940
En we eindigen met een voorspelling hoe ons leven er over vijf jaar uit zal zien. Stef voorspelt een drastisch andere wereld en hij kan het weten. Ik waarschuw je even, deze aflevering is geen lichte kost.

16
00:02:52.320 --> 00:03:00.280
Desalniettemin veel plezier. Google heeft bij het laatste Google Event praatten ze over hun Tensor chip T3.

17
00:03:00.880 --> 00:03:10.260
Dat is meer misschien een brand voor hun eigen chip of een stukje techniek wat weer in hun SoC zit, zeg maar hun system on a chip. Maar de, de, die Tensor cores.

18
00:03:10.620 --> 00:03:20.040
Ik, ik ken het meer een beetje als marketingterm en AI-specifieke hardware buiten grafische kaarten waar Alexander en ik het al een aantal weken over hebben.

19
00:03:20.320 --> 00:03:32.160
Voor de luisteraar die GPU's waar we het steeds over hebben, die dure 15.000 A100 kaart van Nvidia, die is heel goed in AI. Maar tussen een CPU en een GPU bestaat volgens mij ook nog een TPU. Zeg ik dat goed? Ja.

20
00:03:32.480 --> 00:03:43.760
Nee, dat is sterker nog een, dat is een derde variant. Kijk, het grote probleem van, uh, het, het trainen of het uitvoeren van een machine learning model is dat je eigenlijk extreem grote matrixen moet vermenigvuldigen.

21
00:03:44.480 --> 00:03:50.960
Dat is ook vrij intuïtief. Als je bijvoorbeeld een plaatje pakt, dan heb je een pixel en je hebt RGB, zeg maar drie kleuren om die pixel te representeren.

22
00:03:51.540 --> 00:04:02.060
En eigenlijk om door zo'n neuraal netwerk heen te gaan moet je, zeg maar, nou ja, voor een groot model misschien miljoenen of, of miljarden keren moet je een getal vermenigvuldigen. Ja. Nou, als je dat met een CPU doet.

23
00:04:02.080 --> 00:04:12.460
Hoor je mijn ja, als in: dit is een hele trage ja. Dit is allemaal aan het indalen, ja. Oké, dus als je een, als je een CPU gebruikt, dan ga je een voor een die vermenigvuldiging doen. Dus dat duurt een tijdje.

24
00:04:12.880 --> 00:04:21.560
Die kan dat na elkaar doen. Een gewone processor. Ook een multi-core processor? Die kan het dan acht keer naast elkaar doen of zes keer. Dit is recht doen. Ja, precies.

25
00:04:22.100 --> 00:04:30.180
Wat tof is aan een GPU is die kan het in twee dimensies dus één keer lezen en dan misschien, nou, een paar duizend keer doen.

26
00:04:30.200 --> 00:04:38.320
Dus je hebt, en dat had je voor beeldverwerking al nodig vroeger, want je moest heel veel pixels kunnen, kunnen laten zien, zeg maar. En dus voor een GPU is het relatief.

27
00:04:38.340 --> 00:04:46.880
Om een video, om een videogame te kunnen laten zien. Precies, want daar heb je tijd en je hebt pixels die je de hele tijd moet schrijven. Dus ze zijn vrij goed in grote matrixen, bewerkingen doen op grote maat.

28
00:04:46.940 --> 00:04:56.740
Zou ik dan die matrix wat ik me altijd voorstel als een Excelsheet. Ik zeg het maar even voor de. Precies een Excelsheet. Ja. En dan omdat in die computergames je eigenlijk frames aan het renderen bent.

29
00:04:56.780 --> 00:05:03.040
En een frame is uiteindelijk een hele grote verzameling pixels in een matrix. Ja. Dat je dan die shader units in een GPU.

30
00:05:03.240 --> 00:05:13.400
Ik gooi even deze termen erin dat ik nog iets kan laten horen, maar volgens mij zijn die GPU's zo gebouwd om snel parallel beelden op te bouwen. Een matrix van pixels. Exact.

31
00:05:13.520 --> 00:05:19.700
En het, het fijne daarvan is om dat energie-efficiënt te kunnen doen en heel snel te kunnen rekenen wil je zo min mogelijk naar je geheugen gaan.

32
00:05:19.720 --> 00:05:30.220
Want naar het geheugen gaan is ongeveer, nou ja, vijftig keer energie intensiever dan binnen je processor blijven. Ja. Dus GPU's zijn heel goed in heel veel parallel rekenen.

33
00:05:30.280 --> 00:05:37.200
En het geheugen is dan niet het intern geheugen van je computer, maar de visual RAM op die, op die kaart. Precies, dus je hebt, je hebt drie, zeg maar, niveaus van geheugen.

34
00:05:37.240 --> 00:05:45.060
Je hebt je harde schijf, dan heb je meestal DRAM. Dat is, zeg maar, je, wat je meestal in gigabytes uitdrukt. Ja. En dan heb je het geheugen wat op de chip zelf zit.

35
00:05:45.140 --> 00:05:56.116
Dat is relatief snel nog, maar je wil eigenlijk zo min mogelijk naar je, je grote geheugen gaan of naar, en je wil absoluut niet naar je harddisk hoeven, zeg maar.Luisteraar even als je net inschakelt, dit is het niveau.

36
00:05:56.756 --> 00:06:03.436
Blijf er gewoon bij, dat zou ik zeggen en doe je best. Laat die hersens even kraken in de auto op de A2. En vertrouw erop.

37
00:06:03.496 --> 00:06:16.716
Ik kom straks met een paar metafoors kan metaforen die kant nog wal gaan raken, maar je intuïtie gaan prikkelen. Goed, oké, dus we hebben het verschil nu tussen CPU's en GPU's, videokaarten en ouderwetse processoren.

38
00:06:16.916 --> 00:06:28.696
En dan ga je vroeger met pasta aan mijn Intel Pentium vastplakte aan een aan een koeling fan. Exact, ik ben er nog steeds. Dan ga je naar CPU's. En wat CPU's doen is nog een iets ander trucje. Waar staat dat voor?

39
00:06:28.856 --> 00:06:40.816
Tensor Processing Unit? Dus eigenlijk is het het, het. Het nadeel van een GPU is dat hij eigenlijk maar in drie dimensies denkt. RGB of CMYK. Dus hij heeft niet. Hij kan niet een soort van hele hoge dimensionale matrix.

40
00:06:40.876 --> 00:06:53.316
Hoe is RGB een333 dimensionaal iets? Drie kleuren. Omdat het drie kleuren is noem je het drie dimensionaal, want je hebt niet 3D plaatje. Xy schrijven zeg maar en ik wil een van drie. Ik wil deze drie kleuren hebben.

41
00:06:53.796 --> 00:07:05.796
Oké. Ja. En dus wat een TPU doet is die leest één keer van geheugen voor alle berekeningen die hij in één laag van een neuraal netwerk moet doen en, en doet hij alle, alle zeg maar weights.

42
00:07:05.876 --> 00:07:16.796
Dus alle, alle, alle zeg maar neuronen. Die hebben een gewicht en die je vermenigvuldigt met een waarde en die, die komen als één grote matrix worden die door elkaar heen vermenigvuldigd.

43
00:07:16.936 --> 00:07:26.556
Je handen doen een Tetris spelletje na. Precies, dus je hoeft maar één keer naar je geheugen in plaats van nog steeds iedere keer een read te doen voor alle neuronen die je moet vermenigvuldigen.

44
00:07:26.606 --> 00:07:32.446
En daardoor zijn ze dus een stuk efficiënter in het rekenen. Tensor Processing Unit denk ik.

45
00:07:32.496 --> 00:07:45.116
De TPU is die uitgevonden tijdens het parallel aan de theorie of op een gegeven moment was er een theorie rondom hoe je een synthetisch of een virtueel brein kan bouwen. Noem het maar even zo.

46
00:07:46.096 --> 00:07:51.476
En toen werd daar op een gegeven moment ook een processor voor gemaakt. Het was iets platter, dus ik denk de aanleiding bij Google was heel erg

47
00:07:52.416 --> 00:08:01.716
als je, als je bijvoorbeeld een zoek op zoekopdracht doet en je probeert een pagina te laden en je doet dat zonder machine learning. Of je zou er iets van een transformer achter hangen.

48
00:08:01.956 --> 00:08:05.116
En met machine learning, daar zit bijna honderd keer meer rekenkracht tussen.

49
00:08:05.846 --> 00:08:15.276
En op de schaal van Google is dat nogal belangrijk, want je doet heel veel zoekopdrachten en dus de, de wens van Google was we hebben hardware nodig die een stuk efficiënter is in dat werk doen.

50
00:08:15.376 --> 00:08:25.776
Want ze gebruikten daarvoor GPU's. Ja, of, of gewoon CPU's of, of. In sommige gevallen was het gewoon onmogelijk om bepaalde machine learning modellen überhaupt te gebruiken omdat die rekencapaciteit er niet was.

51
00:08:25.856 --> 00:08:37.226
En is het dan om resultaten te personaliseren? Of is dat gewoon om een query om, om gewoon je zoekt ergens op en dat resultaat te kunnen ophalen. En dat dat heeft niet eens met personalisatie te maken.

52
00:08:37.246 --> 00:08:47.556
Personalisatie is een onderdeel van, maar ook gewoon je kan. Je kan veel specifiekere en betere antwoorden. Dus je hebt bijvoorbeeld Google Web Answers. Dus waar ze direct een antwoord proberen te geven op de vraag.

53
00:08:48.096 --> 00:08:56.656
Dat is niet alleen maar proberen keywords te matchen, dan moet je echt begrijpen wat iemand vraagt. En dus daar zit een neuraal netwerk achter om dat te doen. Ja, en dus dat is een veel intensievere,

54
00:08:57.656 --> 00:09:05.516
intensievere query dan, dan als je dat normaal gewoon een, een lookup zou doen, alleen maar blauwe linkjes krijgt. En over wanneer praten we nu ongeveer? Want ik weet, ik heb ooit al een keer

55
00:09:06.516 --> 00:09:16.136
geroepen in de in de show dat er een beetje in het beeld is ontstaan. Wauw, kijk open AI en Google is helemaal taking the back en die hebben geen idee wat hier allemaal gebeurt.

56
00:09:16.176 --> 00:09:25.616
En het beeld klopt in mijn ogen gewoon niet met wat ik heb gezien dat er een research vanuit Google is en het merendeel van de fundamentele uitvindingen in de theorie van AI komen volgens mij bij Google vandaan.

57
00:09:25.656 --> 00:09:38.516
Of merendeels misschien, maar veel. Of DeepMind. Ja, of DeepMind, wat inmiddels onderdeel van Google is. Dus wanneer die, die, die noodzaak voor betere hardware die meer op maat is voor deze

58
00:09:39.616 --> 00:09:49.306
ja taal, nog niet taal modellen, laten we dat. Waren nog RNN's. Precies. En, en recurring neural networks. En dat helpt de luisteraar denk ik nog steeds niet. En mij ook niet, maar het komt.

59
00:09:49.306 --> 00:10:00.236
In ieder geval waar RNN voor staat. Ja, cool hè? Simpeler machine learning model. Oké, top. Precies. Een soort versie één in de evolutie van of iets, zeg maar. GPT 0,5. Ja nice!

60
00:10:00.596 --> 00:10:09.775
Nee, maar dat is wel lekker om een beetje een beeld te hebben, dus. En maar wanneer was dit ongeveer in de tijd, zeg maar geschiedenis? Dat is ongeveer 6,5, 6,5, zeven jaar geleden. Ja.

61
00:10:10.316 --> 00:10:20.476
En zij zei en het idee van we gaan met GPU's aan de gang, dat had, want dat had, had was ook een optie geweest, toch? Je kan ook zeggen van joh, we gooien er gewoon heel veel GPU power tegenaan en die TPU slaan we over.

62
00:10:20.516 --> 00:10:27.996
Jazeker. Maar er zijn natuurlijk twee dingen die je wil doen. Dus aan de ene kant wil je modellen trainen en dat kost natuurlijk heel veel computatie, maar dat doe je maar één keer, zeg maar.

63
00:10:28.016 --> 00:10:36.296
Dus als je bijvoorbeeld een nieuwe Google Translate versie wil maken, dan train je dat model op alle vertaling informatie die je hebt en dan krijg je een betere variant. En dat doe je op GPU's.

64
00:10:36.336 --> 00:10:39.816
Dat kun je op GPU's doen, maar dat doe je één keer als je gaat serven.

65
00:10:39.876 --> 00:10:48.996
Dus als je die, die, die vertaal resultaten aan mensen gaat laten zien, dat moet je natuurlijk een stuk vaker doen, want dat is iets wat een heleboel mensen gaan zien. En dan is een GPU weer heel duur.

66
00:10:49.036 --> 00:10:57.476
Ja, want dan komen we eigenlijk op een soort eerste principes dat je echt zegt oké, een query kost x cent in energie. Zoiets kan me zo voor een soort van

67
00:10:58.396 --> 00:11:09.816
watt per query of zo voorstellen, want je wil naar een soort grond maatstaf toe. En als dan iemand binnen Google zegt of een team waarschijnlijk joh, ik heb hier een, een TPU gemaakt en die gebruikt 10% minder stroom.

68
00:11:10.176 --> 00:11:18.496
Nou ja, dat scheelt ons per dag x en dan kan je het al gaan uitrollen misschien. En dat was niet zeg maar procenten. Dat is dat was meerdere malen goedkoper. Oh wauw.

69
00:11:18.676 --> 00:11:31.476
Oké, oké, dan is het wel helder wat daar de noodzaak van was. Oké, en toen zijn jullie die chips zelf gaan ontwikkelen. Ja klopt. En hoe ging dat? Dat is. Dat begon bij Google X, dus daar heb ik een tijdje gewerkt.

70
00:11:32.536 --> 00:11:39.056
Er waren een aantal teams overigens binnen Google die dat probeerden op verschillende manieren. Dus bijvoorbeeld de, de mensen die het voor de mobiele telefoon hebben gemaakt. Dat was een ander team.

71
00:11:40.156 --> 00:11:49.376
Ja, en dan ga je eigenlijk kijken naar hoe kun je als je opnieuw zou beginnen. En dat is natuurlijk iets wat Google X vaak doet, wat zou je dan doen? Nou ja, daar hebben we het net over gehad.

72
00:11:49.456 --> 00:11:57.675
Dus de oplossing was we moeten zo min mogelijk dingen uit het geheugen.Halen en dus zo veel mogelijk vermenigvuldigen. Een Google concept. De TPU is iets wat bij Google geboren is.

73
00:11:57.716 --> 00:12:06.596
Het is een, iets wat bij Google, uh, geëngineerd is. De, de, ik, ja, het risico is dat we nog nerdier gaan, maar de, de, de theorie daarachter is, heet een systolic array.

74
00:12:06.696 --> 00:12:16.256
Dat is een concept in de wiskunde die al een tijdje- Wat een goede naam voor een band. [lacht] Sorry. Maar, j-j-jullie mogen kiezen hoe diep we gaan.

75
00:12:16.476 --> 00:12:28.766
[lacht] Nou, we zijn 99% van de luisteraars kwijt en ik vind nu, die 1% die nu luistert, die kun je ook helemaal gek maken. [lacht] Dus laten we dit doen. Ja. Ja. Ehm, vertel over dit concept.

76
00:12:28.796 --> 00:12:36.216
En dus dit, dit concept is waar we het net over hadden. Dus dit is, zeg maar, je, je hebt een hele groot machine learning, uh, uh, model. Daar zitten heel veel neuronen in.

77
00:12:36.256 --> 00:12:41.816
En wat je daar eigenlijk doet, is, je vermenigvuldigt twee getallen en je kijkt of het boven een, boven een threshold uitkomt om te vuren of niet te vuren.

78
00:12:42.016 --> 00:12:46.476
Mag ik, mag ik mijn best doen om dit in normale taal sa-samen te vatten? En dan kijk ik of het klopt.

79
00:12:46.816 --> 00:12:54.096
Dus wat een machine learning model doet, is heel veel, uh, je geeft hem een opdracht van iets waar hij de kans voor moet berekenen. Dat kan van alles zijn.

80
00:12:54.126 --> 00:13:01.996
Het kan dus een, een zin zijn bijvoorbeeld, maar het kan van alles zijn. Het kan ook zijn: is het plaatje wat je ziet een trui of een schoen? Ik noem maar wat. Ja.

81
00:13:02.356 --> 00:13:13.396
Dan heb je heel veel sporen die, die tegelijkertijd gaat bewandelen met verschillende methodiekjes. Dus ieder spoor heeft zijn eigen methodiek om erachter te komen: is het een schoen of is het een trui?

82
00:13:13.456 --> 00:13:25.416
Iedere, ieder spoor geeft ie een score en dan gaat ie, van al die scores gaat ie als een Champions League wedstrijd, die begint met alle voetbalteams en die uiteindelijk dan met de finale, op de finale eindigt. Ja.

83
00:13:25.576 --> 00:13:37.236
Er vallen de hele tijd teams af, oftewel lagen af, waar hij tegen zich zegt: dat is hem niet. De, de prediction is dit, want dat is de enige laag die nog overblijft en die krijgt dan de beker. Zegt dit goed? Ja.

84
00:13:37.276 --> 00:13:46.856
En jij, en die lagen, dat zijn die neuronen waar jij het over hebt, toch? In iedere laag zitten, wat je net zei, zitten een aantal teams die tegen elkaar spelen. Ja. En dan moet je twee getallen met elkaar vergelijken.

85
00:13:46.876 --> 00:13:58.956
Precies. Ja. En, uh, het voordeel van zo'n TPU is dat hij al deze dingen tegelijkertijd kan berekenen in plaats van na elkaar. Precies. Dus dat, dat is één belangrijk voordeel.

86
00:13:59.256 --> 00:14:10.876
De, degene waar jij het net over had, de TPU3, die is gemaakt voor trainen en wat die kan is veel grotere modellen trainen. Maar is dat dezelfde TPU3 als waar ze over praten in die Pixel 8? Nee, toch?

87
00:14:11.036 --> 00:14:17.156
Nee, dat is een heel ander apparaat. Ja, precies. Nee, maar daar zitten ze ook een beetje- Je hebt het daar over kilowatt, zeg maar. Dan zou je telefoon echt heel snel leeg zijn. Nee, precies.

88
00:14:17.236 --> 00:14:28.816
Maar omdat ze een beetje dat Tensor woord, dat is een beetje doorgebrand binnen Google nu ook als de Tensor, Tensor, hun A1, A2, A3 à la Apple ding. Maar net als dat, dat een GPU ook geen graphic processor meer is.

89
00:14:28.936 --> 00:14:37.496
Check. Ja, oké, oké, dus we, wij, we hebben het nu eigenlijk vooral over wat er in de datacenters toegepast wordt. Precies. En misschien ook wel wat te koop is als USB-stickje, toch?

90
00:14:37.516 --> 00:14:46.436
Want je hebt een klein TPU'tje op USB van- Ja, dat is dezelfde variant als die in een telefoon zit. Ja. O, ja, dus het is nog steeds dat, in jouw ogen, ja, baby garnaaltje aan, uh.

91
00:14:46.576 --> 00:14:54.116
Nou ja, bijvoorbeeld, als je bijvoorbeeld machine learning zou willen doen op plaatjes, maar je wil die informatie niet naar de cloud sturen, dan zijn dat soort toepassingen natuurlijk supervet. Ja, ja, ja, ja, vet.

92
00:14:54.296 --> 00:15:04.536
Of het idee dat je een spraakassistent lokaal wil kunnen, kunnen draaien en, en dat soort functies. Jij, jij gooide net die naam, uh, voor een band, uh, erin. Ik wil toch weer even terug naar, uh. De array? Ja.

93
00:15:04.556 --> 00:15:16.056
De arrays. Systillic, sys- Systolic array. De systolic array. Schrijf mee. Ja. [schraapt keel] We gaan straks twee tattoo's laten zetten. Het wordt fantastisch. [lacht] Let's get systolic and be as array.

94
00:15:16.166 --> 00:15:23.396
[lacht] Systolic, systolic arrays. Ja, en toen was de aanname: dit is een wiskundig concept.

95
00:15:23.496 --> 00:15:33.316
Hier kunnen wij wat mee, want het is fucking duur om alles met, uh, GPU's te doen als mensen uiteindelijk zelf die zoekqueries gaan draaien. En wij moeten kunnen tonen: de Eiffeltoren is X meter hoog. Of vertalingen.

96
00:15:33.336 --> 00:15:39.736
Of vertalingen. Wat staat er in dit plaatje? Of dat soort dingen. Maar het gaat om het uitvoeren van de prompt en niet het trainen van het model nu. Ja.

97
00:15:39.796 --> 00:15:49.356
Oké, dat was de aanname dat daar, dat wiskundige concept daarmee zou kunnen helpen. Ja. Ja, en dus toen zijn we daar een team omheen gaan bouwen. Dus dan moet je, dan moet je een chip maken die dat goed kan.

98
00:15:50.036 --> 00:15:58.016
Je moet, uh, een, uh, hardware maken om het in het datacenter te kunnen plaatsen, dus een board. Ja. En je moet software maken om daadwerkelijk dat ding te kunnen aansturen.

99
00:15:58.056 --> 00:16:07.596
Dus compilers en, en drivers en dat soort dingen. Konden jullie dan itereren op die chip omdat het een, uh, field programmable array was? Of kon, kan je niet een FPGA gebruiken om een TPU na te doen?

100
00:16:07.636 --> 00:16:18.776
Je moet echt- Jezus, Wietse. Nou ja, de field programmable array. Doe een beetje je best. Ja, nee, ik zit nu gewoon. Dit is, i-, dit is- Help. [lacht] Dit is hoe je flext in de IT, weet je.

101
00:16:19.056 --> 00:16:26.935
Kijk, als het een band zou zijn, zou je zeggen: ik ken ook Jimmy, die producer. Doe dan een metafoor met Nick Barsum erbij. Een hele goeie solo aan het doen nu. [lacht] Oké.

102
00:16:27.046 --> 00:16:33.036
Nee, ik ga, ik ga, ik beloof nu dat iedere keer als ik er een term ingooi om te laten horen dat ik iets weet, dan ga ik ook uitleggen wat het is.

103
00:16:33.076 --> 00:16:41.796
Nou ja, F-FPGAs zijn een soort van programmeerbare chipjes waar je een klein stukje van je logica van een grotere processor op zou kunnen uitproberen en daar kun je mee experimenteren.

104
00:16:41.816 --> 00:16:51.716
Want ik zit me nu, zeg maar, hardop zorgen te maken over, als jij, uh, kijk, a-als, ik ben, iets meer softwareontwikkelaar en software is zacht. Daarom heet het ook software, dus kan je heel lekker itereren.

105
00:16:51.856 --> 00:16:54.356
Iedere keer een nieuwe versie, misschien wel tien op een dag. Ja.

106
00:16:54.376 --> 00:17:03.936
Maar als jij iedere keer moet wachten tot jouw fab, waar die chips met lithografie gemaakt worden, ASML, op ASML machines en dan zeggen: nou, hopelijk over een week en dan: nee, hij doet het niet en dan gaan we weer opnieuw.

107
00:17:04.096 --> 00:17:12.276
Aha. Ik, uh, hier heb ik geen geduld voor, dus ik ben heel benieuwd hoe je dat- Ja, hoe je dat doet. Ja. Dit is eigenlijk, dit is eigenlijk, het gaat over: hoe creëer je zo'n chip? Hoe maak je een processor?

108
00:17:12.316 --> 00:17:22.096
Ja, en hoe, hoe zorg je ervoor dat je kan experimenteren? Ja. Geluk-gelukkig zijn processoren uiteindelijk gemaakt van onderdelen die we, b-, ongeveer begrijpen. Die kun je kar-karakteriseren.

109
00:17:22.136 --> 00:17:28.096
Er zitten allemaal gates in, er zitten geheugentjes in en dat soort dingen. En dus je kan, op je computer kun je simuleren wat hij zou doen.

110
00:17:28.276 --> 00:17:32.416
Je kan hem alleen natuurlijk nooit op dezelfde snelheid runnen als de snelheid waar je hem op zou willen doen.

111
00:17:32.476 --> 00:17:41.186
Maar je kan als het ware, laten we zeggen op eenduizendste of misschien eenmiljoenste van de snelheid van het ding wat je daadwerkelijk gaat ontwerpen, kun je simuleren wat hij zou doen. Zo vet dit, zo vet!

112
00:17:41.216 --> 00:17:51.776
Het is als een soort van een, een landkaart op een-op-één grootte, zeg maar. Precies. Je hebt er geen fuck aan, maar het, het kan wel. Ja. En dan om, en dan, het echte werk zit hem er in de landkaart kleiner maken.

113
00:17:51.896 --> 00:17:57.556
Dan pas wordt het namelijk f-fijn voor een consument die in een auto zit en, weet je, kan navigeren daarmee.

114
00:17:58.056 --> 00:18:05.256
Maar zo zeg je: zo kun je een een-op-één landkaart maken op je computer, alleen je hebt er geen fuck aan, want het gaat heel traag. Maar je kan wel- Maar het is wel een goede manier om nog steeds te kunnen itereren.

115
00:18:05.316 --> 00:18:13.086
En dus relatief kleine programma's zou je kunnen draaien op die manier. Dus bijvoorbeeld één laag van een neuraal netwerk zou je kunnen proberen en dan moet je drie dagen wachten en dan, dan komt ie uit.

116
00:18:13.096 --> 00:18:18.016
Ja, want het is, het is een virtuele machine, alleen met een architectuur die- Die je zelf hebt ontworpen. Wow, wat gaaf zeg!

117
00:18:18.076 --> 00:18:25.716
Maar daar heb je dus ook al wel een compiler voor nodig en dat soort dingen om dat te kunnen doen. Ook allemaal ontwikkeld toen? Ja.Ja, ja. En wat was jouw rol? Rol daar dan?

118
00:18:26.056 --> 00:18:34.336
Ik zat aan de product kant, dus het was heel erg uitvogelen waar gaan die machine learning modellen naartoe? Want toen was het allemaal CNN, dus modellen waar je plaatjes heel goed mee kon doen.

119
00:18:34.926 --> 00:18:43.316
Het was voor een deel LSTM, dus dat waren eigenlijk een beetje de voorlopers op de op de transformer, zeg maar GPT. De T in GPT is transformer achtige modellen.

120
00:18:44.236 --> 00:18:51.976
En dus ik sprak toen al met mensen die bezig waren met de eerste transformers en die zeiden van ja, weet je, over drie jaar, als dat ding er eindelijk is, dan gaan we dit soort dingen ermee doen.

121
00:18:52.136 --> 00:19:04.096
Dus je zei we waren bezig, ik zat bij product en we waren bezig om om te bekijken waar het heen ging met die modellen. Aan de ene kant plaatjes maken en aan de andere kant transformers om taal modellen te kunnen maken.

122
00:19:04.136 --> 00:19:13.986
Dat we dadelijk op die transformers ingaan. En jij moest een soort van proberen te voorzien waar in de sector behoefte aan zou zijn of waar binnen Google behoefte aan zou zijn. Ja, eigenlijk in de sector.

123
00:19:13.996 --> 00:19:23.016
Dus waar wat voor modellen die. Deze chips kun je ook gewoon via Google Cloud huren, dus we moesten wel begrijpen wat er wat er aan zat te komen. Ja, plaatjes. Wat bedoel je met plaatjes?

124
00:19:23.236 --> 00:19:31.976
Generatieve AI om plaatjes te maken? Nou ja, in het begin was het vooral voorspelling. Dus bijvoorbeeld als je in de zoekmachine Alexander Klöpping in intypt, dat je dan jouw gezicht krijgt.

125
00:19:32.136 --> 00:19:42.016
Maar dat zijn nog steeds CNN die gewoon een, een voorspelling doen. Nog niet eens zozeer de de zeg maar genererende varianten daarvan. Dus CNN zijn modellen die plaatjes voorspellen.

126
00:19:43.696 --> 00:19:54.516
En, en voor de modaliteit tekst heb je inderdaad nu transformers. Maar wat daar net voor zat waren LSTM. En wat zijn plaatjes voorspellen. Want je zegt nu je zoekt op mijn naam en dan krijg je mijn gezicht.

127
00:19:54.556 --> 00:20:05.776
Ja, dus ik neem aan ik wil, ik wil zeg maar begrijpen welke pixels lijken op een Alexander Klöpping? Dat is uiteindelijk een, een voorspelling zeg maar. Dus als je zoekt. Wat je in Google Lens kan doen. Ja, of je zoekt.

128
00:20:05.856 --> 00:20:13.315
Je zoekt op appel in de. Dus als je. Als je zoekt op appel in de zoekmachine, krijg je plaatjes van appels. Ergens moeten we vaststellen of er een appel in dat plaatje staat.

129
00:20:13.356 --> 00:20:21.556
Ik dacht dat dat ding altijd gewoon naar de description keek bij die plaatjes. Dacht ik ook nee, die kijkt ook naar echt wat er in het plaatje staat. Ja. Ja, en en en.

130
00:20:21.596 --> 00:20:31.356
En inmiddels waarschijnlijk op transformer gebaseerde architectuur. Of zitten er nog heel veel legacy. Ik ben inmiddels drie jaar weg bij Google, dus ik weet niet meer wat ze exact nu gebruiken. Maar ik vermoed van wel.

131
00:20:31.476 --> 00:20:41.156
Wat ik, wat ik meteen nieuwsgierig was, is dan dus dat idee van die transformers die we nu kennen uit GPT. Leg even uit wat een transformer is, want dit is het moment daarvoor.

132
00:20:42.536 --> 00:20:50.876
Ja, een transformer is een machine learning model die heel goed is in problemen en taalproblemen voornamelijk oplossen waarin je een bepaalde input sequentie hebt.

133
00:20:50.896 --> 00:21:00.836
Dus bijvoorbeeld een vraag en een output sequentie, bijvoorbeeld een antwoord. Maar het kan ook iets anders zijn. Het kan een grote lap tekst in en een kleinere lap tekst uit, zeg maar een samenvatting.

134
00:21:01.056 --> 00:21:11.356
Of in het geval van jouw bedrijf een. DNA sequentie in een andere sequentie uit. Dat zijn allemaal de. De grote categorieën noemen de ML mensen sequence to sequence problems. Sequence to sequence problems.

135
00:21:11.376 --> 00:21:20.016
Dat is wat als ik chatGPT gebruik, dat is altijd hoe ik erover denk. Google. Google Translate is precies hetzelfde probleem, dus dit is ook waar ze voornamelijk vandaan kwamen. Dus die.

136
00:21:20.056 --> 00:21:25.016
De meeste innovatie kwam uit menselijke taal, want het is heel makkelijk om te vergelijken of de vertaling klopt of niet.

137
00:21:26.076 --> 00:21:31.616
En was het in die koffieautomaat gesprekken waarin werd gezegd over drie jaar hebben we dit nodig, dus misschien moet er alvast hardware voor komen.

138
00:21:31.956 --> 00:21:37.016
Ook al mensen in die gesprekken die zeiden wacht maar, die transformer modellen gaan nog veel meer kunnen en het wordt. Absoluut.

139
00:21:37.096 --> 00:21:45.376
Ik was ook een beetje verrast eerlijk gezegd, dat toen GPT uitkwam, dat iedereen ineens zo'n wauw moment had. Ik dacht maar wacht even, we hebben dit toch al jaren? Oh wat grappig.

140
00:21:45.436 --> 00:21:57.816
Ja, wij dachten dat wij in een kleine bubbel zitten. Alexander Dit is een bubbel in een bubbel man. Maar vertel. Hier eens over, want dit is een beetje het alfadeel van het gesprek. Maar hoe, hoe, hoe kwam, hoe, hoe?

141
00:21:57.836 --> 00:22:05.676
Hoe ging dit inderdaad bij de koffieautomaat? Nou ja, dus. Een van de problemen was dat bijvoorbeeld in Google Translate de vertalingen nog steeds niet heel goed waren.

142
00:22:06.056 --> 00:22:13.756
Dus bijvoorbeeld Engels naar Duits was vrij aardig en Spaans naar Engels en dat soort dingen. Maar voor heel veel talen. Ik bedoel, jullie zullen vijf jaar geleden Google Translate ook wel eens gebruikt hebben.

143
00:22:13.796 --> 00:22:22.736
Voor Nederlands was het gewoon niet heel goed. En dat kwam ook omdat eigenlijk bijna voor ieder taalpaar hadden ze wel weer een ander model en er was allemaal een soort van houtje-touwtje dingen inge, ingeklust.

144
00:22:23.156 --> 00:22:30.916
Op een gegeven moment was er de, de realisatie. Wacht even, er zijn. Er zijn twee dingen die we niet doen met die LSTM. Het eerste is we kijken eigenlijk alleen maar vooruit. Dus je kan die LSTM alleen maar.

145
00:22:31.416 --> 00:22:40.216
Dat is in is tijd variant. Dus je kijkt naar woord. Wat komt er na dat woord? Wat komt er na dat woord? Wat komt er na dat woord? Wel tekst predictie? Ja, er was al voorspelling, alleen je kon niet terugkijken.

146
00:22:40.416 --> 00:22:49.596
Dus je kon niet kijken. Oh, een woord wat ik later genereer. Relateert dat nog terug aan het woord wat daarvoor zat? Bijvoorbeeld bijvoorbeeld Alexander Klöpping is een slager.

147
00:22:49.736 --> 00:22:56.676
Je kon niet van slager teruggaan en dan corrigeren. Wacht even. Oh nee, wacht even. Dat klopt helemaal niet, want dat dat, dat die die relatie bestaat. Alzheimer.

148
00:22:56.736 --> 00:23:06.176
Ik bedoel even heel gek, maar misschien is het een zware term, maar er zat geen geheugen in. Dus dan gaat het weer. Nou ja, hij kon niet. Kon niet backcasten. Hij kon niet terug inderdaad.

149
00:23:06.276 --> 00:23:15.015
Dus dat is het eerste, het eerste innovatie. De tweede was dat noemen ze attention. En dus hij kon niet aandacht geven en snappen hoe bepaalde concepten met elkaar gerelateerd zijn.

150
00:23:15.076 --> 00:23:25.236
Dus de manier waarop je eigenlijk een transformer traint is je pakt een zin en net als op de basisschool ga je woorden weghalen en dan ga je kijken welk woord vult hij in.

151
00:23:25.396 --> 00:23:31.496
Dus als het is Alexander is een podcast host, dan krijgt hij punten. Als het is Alexander is een slager krijgt hij geen punten.

152
00:23:31.536 --> 00:23:39.836
Als je dat doet voor alle zinnen op het internet en je houdt steeds meer woorden weg, krijg je in principe GPT. Dat is een beetje. Te. Simpel gestart, maar daar komt het wel op neer. Want het is.

153
00:23:39.876 --> 00:23:45.216
Je kan steeds langere vragen en steeds langere antwoorden krijg je. En met vertaling werkt natuurlijk precies hetzelfde. Dus.

154
00:23:47.316 --> 00:23:55.976
Maar het tweede inzicht was, is dat woorden kunnen over hele lange afstand een relatie met elkaar hebben. Bijvoorbeeld in mijn geval Stefan Grieke heeft aan de Rijksuniversiteit Groningen gestudeerd.

155
00:23:56.376 --> 00:24:00.156
Er is een hele, hele sterke relatie tussen Rijksuniversiteit en Groningen.

156
00:24:00.416 --> 00:24:10.076
Zullen we gewoon afspreken dat jij je introductie alsnog doet door zelf constant in de voorbeelden jezelf in te weven met je backstory?Is dat een universiteit? Helemaal mooi. Nu weten we waar je gestudeerd hebt.

157
00:24:10.116 --> 00:24:18.796
Ja, precies. Maar dus die twee hebben een grote relatie. Maar een aantal andere woorden in de zin hebben een veel minder sterke relatie. En dus je kan. Je kan je voorstellen dat je een soort van aandacht kan hebben.

158
00:24:18.856 --> 00:24:26.356
Oké, deze aantal dingen, die horen vaak bij elkaar en dus die moet je ook bij elkaar groeperen. Ja, dat noemen we attention. En dat was de tweede grote innovatie die erin zat.

159
00:24:26.796 --> 00:24:33.756
En dat kan natuurlijk over hele lange afstanden. Je kan ergens later in, in een, een verhaal ook weer beginnen over iets waar je drie zinnen geleden over aan het spreken was.

160
00:24:33.776 --> 00:24:43.396
Maar is het dan een soort database die gewoon zegt: deze woorden horen bij elkaar met de factor X? Is dat wat attention dan is in feite? Of. Ja, ze, ze noemen het de, de embedding zeg maar.

161
00:24:43.416 --> 00:24:52.576
Maar inderdaad, je hebt dus een relatie. Er is een waarschijnlijkheid dat een aantal concepten aan elkaar gerelateerd zijn in een zin. Dit is embedding in de zin van dat je.

162
00:24:53.116 --> 00:24:57.796
Embedding is eigenlijk gewoon wat heeft het, wat heeft het model geleerd en hoe representeert het dat?

163
00:24:57.816 --> 00:25:06.756
Dus in het geval van, uh, van een plaatjes model is een embedding space: mensen, microfoons, lampen, zeg maar, dat soort dingen. Het is als het ware alsof je de, de, de,

164
00:25:07.876 --> 00:25:17.926
even denken, de, de, je, je bent de hele tijd labels op dingen aan het plakken en je zegt eigenlijk: hou het binnen de categorie kleren, dan is het makkelijker voor dingen om te voorspellen. En attention is eigenlijk.

165
00:25:17.926 --> 00:25:24.696
Dan hoef je niet na te denken over andere typen objecten. Precies en at-, attention is eigenlijk de relatie tussen bepaalde dingen.

166
00:25:24.836 --> 00:25:37.936
Dus, dus in die, in die embedding space, dus bijvoorbeeld kleren en klerenkasten zijn waarschijnlijke dingen die bij elkaar horen. Dicht bij elkaar. Ja, maar weet ik veel. Kleren en varkens niet. Ja.

167
00:25:38.196 --> 00:25:46.756
Om maar iets te noemen. Ja. En, en is het dan zo dat, uhm, als ik, wanneer ik een taalmodel download, ik spring even hoor, maar ik denk dat dat misschien wel interessant kan zijn.

168
00:25:46.836 --> 00:25:55.376
Ik download een taalmodel, vier gigabyte. Beetje een crappy taalmodel, een van de open source modellen, maar ik kan er een beetje tegen kletsen. Stel dat ik die zou uitpakken.

169
00:25:55.396 --> 00:26:04.816
Dat kan niet, want het is geen zip-file, maar bear with me, zeg maar. Dus ik ga, ik dubbelklik. Ik verander de extensie naar zip, ik dubbelklik en hij pakt uit. Ik heb allemaal mapjes. Wat zit er dan in?

170
00:26:05.296 --> 00:26:14.256
In, in, wat is het belangrijkste wat erin zit? Wat moet ik er echt niet uithalen dat hij het niet meer doet? Ja, dus je, je hebt een, uh, laten we zeggen een stukje programmatuur. Dat is de graaf, zeg maar.

171
00:26:14.276 --> 00:26:21.376
Dus dat is de definitie van de, de ontwikkelaar van het machine learning model over hoe het model zichzelf moet uitvoeren. En er is een soort van database.

172
00:26:21.776 --> 00:26:30.856
Uhm, en ja, daarin staan de relaties tussen, uhm, ja, verschillende concepten die het model geleerd heeft. Je kan bijvoorbeeld een model hebben wat je niet getraind hebt.

173
00:26:31.096 --> 00:26:40.396
Je kan een ChatGPT die niet getraind is hebben, maar er komt de hele tijd exact hetzelfde uit, zeg maar. En pas als je hem een heleboel data hebt laten zien, kan hij onderscheid maken tussen verschillende concepten.

174
00:26:40.436 --> 00:26:50.036
Ja, want dan heeft, en dat trainen is dan het woorden weghalen en dan laten gokken welk woord er stond en dan dat je achteraf hebt gezegd: dit was wel goed, dit was niet goed. Dus zo hebben we jou.

175
00:26:50.296 --> 00:26:58.796
Ja of, of, het voorbeeld bij plaatjes is: ik heb een, een miljoen plaatjes. Laten we zeggen: de helft zijn van Alexander, zeg maar, en de andere helft niet. Aha.

176
00:26:59.216 --> 00:27:02.956
Uhm, en dan, dan zit er een label op met: is Alexander, is geen Alexander.

177
00:27:03.356 --> 00:27:11.116
En wat je doet, is je gaat er steeds meer doorheen gooien en op een gegeven moment weet hij te differentiëren tussen de Alexanderachtige pixels en de niet Alexanderpixels. Maar dat moet wel gelabeld zijn dan.

178
00:27:11.156 --> 00:27:18.936
Maar dat moet gelabeld zijn. En wat je dan doet, is, daarna kun je kijken naar alle plaatjes die we nog niet gezien hebben in de training waar een Alexander in voorkomt. Ja. Die kunnen we dan ineens.

179
00:27:19.036 --> 00:27:26.756
Maar hoe hebben ze GPT kunnen trainen op al die boeken en publieke data en Wikipedia? Want dat was toch niet gelabeld? Veel van het, nou, het is gelabeld, dat is het leuke.

180
00:27:26.786 --> 00:27:34.036
Het is unsupervised, zeg maar, dus je kan gewoon zinnen erin gooien. Ja, je bedoelt: het is gelabeld doordat je de context van de red, van de Reddit thread weet.

181
00:27:34.106 --> 00:27:44.296
Ja, je weet gewoon de andere tekst in de Reddit thread en je weet de, de, het verhaal in het boek of je weet het artikel dat door de journalist is geschreven en die dingen, ja. Daar kan je gewoon op trainen. Precies.

182
00:27:44.356 --> 00:27:52.596
Ja, ja ja ja ja, ja. We zitten allebei even. Nu ben je naar mij aan te kijken. Ja, nu, nu kom ik, nu kom ik. Moet ik een verduidelijkende vraag stellen? [lacht] Ja, we zijn niet metafoor, Alexander.

183
00:27:52.616 --> 00:28:01.056
Maar als je, als je nu in één zin zou moeten zeggen wat een trans-, niet, dat is flauw, misschien in één zin, maar als je, als je, als je moet, zou moeten beschrijven: wat is een transformer? Dan is dat.

184
00:28:02.356 --> 00:28:15.256
Een machine learning model wat van een inputsequentie, dus een vraag of een, iets wat je wil vertalen naar een output kan, zoals een antwoord of een vertaling. Maar is GPT4 dan een transformer model?

185
00:28:15.436 --> 00:28:25.886
Ja, ja, letterlijk de laatste T staat voor transformer. Ja. Kijk aan. Want ja, precies, ja, want de, wat was het? Een general predictive transformer of ik weet het eigenlijk niet. Waar stond het ook alweer voor?

186
00:28:25.886 --> 00:28:29.216
Ik weet ook niet meer exact wat het was. Maakt ook niet uit. En er zitten nog een aantal dingen.

187
00:28:29.356 --> 00:28:44.376
Dus wat wel grappig is, is dat, het is een beetje vroeg voor mijn gevoel voor GPT nog steeds, omdat die modellen, dus de reden dat ze bijvoorbeeld ook vaak liegen is omdat ze dingen tegenkomen die redelijkerwijs bij elkaar horen, waarvan wij als mensen heel intuïtief kunnen zien dat dat bullshit is.

188
00:28:44.636 --> 00:28:53.736
Ja. Uhm, en het probleem is dat hij wel heel goed weet hoe je overtuigende tekst moet schrijven. Ja, het is een bluffer. Dus je krijgt heel veel bluf inderdaad.

189
00:28:53.776 --> 00:29:01.176
En, en er is geen manier voor het model om dat te weten, want het is heel redelijk dat die dingen bij elkaar voorkomen. Maar als ik dan nog even terug mag naar die koffieautomaat, hè.

190
00:29:01.476 --> 00:29:14.316
Wij, kijk, Alexander en ik testen op een dag ChatGPT. Trouwens, wij waren ook in OpenAI Labs al een beetje aan het pielen in GPT3 kan ik me herinneren, want toen spraken wij elkaar al en toen waren we al onder de indruk.

191
00:29:14.666 --> 00:29:26.676
Maar tegelijkertijd was het nog een beetje prematuur. Maar intuïtief hadden wij en met ons velen zoiets van: hé, hier gebeurt iets. Blijkt dat jij jaren daarvoor al bij de koffieautomaat stond en zei: hier gebeurt iets.

192
00:29:27.116 --> 00:29:33.696
Waarom ben je de straat niet opgegaan? [lacht] Hoe heb je nog kunnen slapen? Ik snap het gewoon even niet. Nee, want voor ons was het echt een soort van boem, toch?

193
00:29:33.816 --> 00:29:37.936
Het was voor mij ook een van de redenen om hieraan te willen werken. Dit is zeg maar een supervette technologie. Ja.

194
00:29:38.156 --> 00:29:44.376
Kijk, toentertijd, voor, voor ieder machine learning model geldt altijd: er is een manier waarop je vaststelt of het een goed machine learning model is of niet.

195
00:29:44.976 --> 00:29:50.616
En dus GPT 3.5, een van de manieren om dat te meten is: hoe truthful ben je bijvoorbeeld? Hoe vaak vertel je de waarheid of niet?

196
00:29:51.076 --> 00:30:00.516
Nou, je kan bijvoorbeeld één miljard feiten verzamelen als vragen en dan kun je kijken: wordt het beter of niet? Ja, een score. Veranderen, gewoon een score. Of je kan kijken naar freshness bijvoorbeeld.

197
00:30:00.556 --> 00:30:09.796
Is hij actueel of niet? Dat is natuurlijk bij GPT af en toe ook wel eens een probleem dat hij, dat hij. Ik heb geen idee wat er in de laatste drie maanden is gebeurd. Knowledge cut off. Problematisch, zeg maar. Ja.

198
00:30:09.816 --> 00:30:18.776
En zo zijn er, dus freshness noemen ze dat vaker. Dus er zijn veel van dit soort manieren waarop je kan vaststellen: is dit een goed model of niet? Ja, ja. Belangrijkste metric voor mij is truthfulness.

199
00:30:19.136 --> 00:30:29.102
En 3.5 was volgens mij iets van 60% truthful.Ehm, dat is niet heel hoog, zeg maar. Dus de kans dat hij iets zegt wat onwaar is, was, was zeg maar 40%.

200
00:30:29.912 --> 00:30:35.352
Ehm, dat is inmiddels beter geworden, maar nog steeds zijn er, zijn er best wel veel situaties waarin je dat heel lastig kan vaststellen.

201
00:30:35.392 --> 00:30:45.492
Dus bijvoorbeeld ikzelf gebruik het wel voor dingen als: maak een betere zin voor dit of dingen waarvan ik zelf kan beoordelen of het waar is of niet. Ja, ja. Ik gebruik het eigenlijk niet voor- Feiten.

202
00:30:45.532 --> 00:30:48.422
Retrieval, zeg maar. Dus vind informatie voor mij die ik, waar ik van belang vind.

203
00:30:48.432 --> 00:30:59.552
Misschien is dat ook nu niet, hè, als in, want dat, misschien is GPT-4 of welk model dan ook of in, het in Bing gebruiken is een beetje tricky van Microsoft dat ze het in Bing hebben gedaan, want daardoor krijgt het een beetje die context van zoeken.

204
00:30:59.562 --> 00:31:02.512
Je krijgt dat gevoel. Ja, precies. Maar het is geen encyclopedie.

205
00:31:03.432 --> 00:31:13.362
Nee, en, en, het, het tweede, dus, wat ik, als ik, uh, laten we zeggen productmanager bij OpenAI zou zijn geweest is, en dat is nog een open, open, uh, research op dit moment, uh, is introspectie, hè.

206
00:31:13.392 --> 00:31:24.772
Dus kun je, kun je aan hem vragen: waarom zeg je dit? M-hm. Zodat je referenties krijgt of feiten waarop je dat baseert, want dan kun je de bron, uh, valideren. En kan dat? Nee.

207
00:31:25.152 --> 00:31:34.712
Of in ieder geval, er is research waarin dat begint te komen nu, maar ik denk dat, dat de grote volgende stap gaat worden, dat ChatGPT zou zeggen: dit is het antwoord, want deze sources.

208
00:31:34.892 --> 00:31:40.152
Ja, en hoe zie, hoe, hoe ziet die research, die vroege research eruit? Zeg maar, hoe werkt, hoe werkt introspectie?

209
00:31:40.232 --> 00:31:46.772
Het probleem is een beetje dat, je hebt net als bij een mens, je hebt een soort van miljarden neuronen die in een bepaald patroon vuren en er komt een antwoord uit.

210
00:31:47.192 --> 00:31:54.752
En net als dat ze, zeg maar, niet, als je, als je iemand in de rechtbank zet, dan zeggen ze ook niet: goh, wat was de stand van je neuronen, zeg maar, toen je dit deed, zeg maar.

211
00:31:54.872 --> 00:32:05.852
Hè, dus uitvogelen wat de relatie is tussen dat antwoord en, en alle, nou ja, inputs op dat moment, dat is, dat is een lastig probleem. Ja. En dus, uh, ja. Wat maakt je dan hoopvol dat dit gaat gebeuren?

212
00:32:05.952 --> 00:32:12.012
Nou, er zijn een aantal demonstraties geweest van mensen waarin ze voor bepaalde typen problemen hebben laten zien dat je dat kan doen.

213
00:32:12.132 --> 00:32:19.362
Uh, en dus ik hoop dat er, dat er- En wat zag je dan gebeuren voor die typen problemen? Nou, bijvoorbeeld dat je, dat je in de wiskunde kan zeggen: hoe kom je tot dit antwoord, zeg maar. Ja, ja, ja.

214
00:32:19.362 --> 00:32:27.252
Dat ie kan zeggen: oké, dit is, dit is, dus de stappen die ik gezet heb om dat te doen. Als een leraar die- Als een leraar. Uitlegt hoe een rekensommetje gemaakt moet worden. Ja, exact.

215
00:32:27.312 --> 00:32:37.672
En de, de vraag die natuurlijk in de lucht hangt nu: waar gaat het dan nu over bij de koffieautomaat? Ja, er zijn, er zijn een paar dingen. Dus de, de eerste is, uh, multimodaliteit. Ik schrijf mee.

216
00:32:38.012 --> 00:32:45.292
Uh, multimodaliteit betekent eigenlijk, hè, we hadden het er net over dat we begonnen met, we hadden modellen voor plaatjes. We hadden modellen voor tekst. We hebben bijvoorbeeld ook modellen voor robots.

217
00:32:45.712 --> 00:32:53.872
En bijv-, één, één supercool ding wat op dit moment gebeurt in robotland is: ze kunnen dit soort technieken toepassen om als het ware die transformer een plaatje te laten pakken.

218
00:32:53.892 --> 00:33:02.632
En die ziet: oh, hier in beeld staat een microfoon, ik moet deze microfoon oppakken. Ondertussen kan die een andere routine aanroepen om, zeg maar, het aangrijpen te doen.

219
00:33:03.392 --> 00:33:08.692
En dus alle robotmensen zijn een soort van: whoe, weet je, kunnen eindelijk- Een stappenplan maken om door een kamer heen te kunnen.

220
00:33:08.912 --> 00:33:18.272
Kunnen we soort van zowel navigatie als, zeg maar, interactie met de omgeving zoals wij, soort van intuïtief begrijpen hoe je iets moet aangrijpen, waar je het naartoe moet brengen. In één model. In één model.

221
00:33:18.392 --> 00:33:26.682
Maar hoe, hoe, hoe kan dat? Hoe kan dat? Want, uh, met ChatGPT, dat begrijp ik ook niet aan, aan, aan al die laatste ontwikkelingen met ChatGPT. Ja, hoe kan die foto's herkennen?

222
00:33:26.682 --> 00:33:35.052
Het laatste model is multimodaal omdat hij foto's kan herkennen. Ja, hoe kan dat? Maar hoe, hoe kan een taalmodel foto's herkennen? Ja, dus, ze, er zijn twee oplossingen voor.

223
00:33:35.112 --> 00:33:43.672
Het eerste wat je kan doen is gewoon, e-, uh, je noemt het één model, maar eigenlijk zijn het een paar verschillende modellen die, uh, geleerd hebben om met elkaar samen te werken. Is dat dan anders dan multimodaal?

224
00:33:44.232 --> 00:33:51.892
Dat is nog steeds multimodaal, want jij, jij kan met plaatjes, als eindgebruiker kun jij gewoon met plaatjes en met andere dingen werken. Ja, oké, oké. Je hebt ook, uh, vision transformers.

225
00:33:51.952 --> 00:34:01.132
Dat is nu een nieuw gebied, uh, waar ze ook transformers gebruiken om beeld te doen en die zou je in theorie, soort van- Maar is GPT-4 Vision, zoals ze het marketing noemen, is dat al zo'n vision transformer?

226
00:34:01.192 --> 00:34:10.392
Ze zijn, ze zijn gestopt met uitleggen wat ze doen. [gniffelt] Dat is een beetje lastig. [lacht] Is niet heel open. Vroeger was het allemaal open AI en nu is het allemaal proprietary AI.

227
00:34:10.712 --> 00:34:13.732
Uhm, dus dat weet ik niet, maar dat zou goed kunnen. Ja.

228
00:34:13.772 --> 00:34:24.732
Maar als je zegt multimodaal, dan betekent dat voor de gebruiker, dus dat in, in dit, dat kan zijn voor de gebruiker in het geval van de gebruiker van ChatGPT kan het zijn, kan ook audio of video herkennen. Ja.

229
00:34:24.772 --> 00:34:34.272
Dan, dan is dat een uiting van een multimodiaal model, ondanks dat onder de motorkap er verschillende modellen naast elkaar draaien. Correct, ja. En wa-, wat is dan precies de innovatie daar?

230
00:34:34.412 --> 00:34:41.152
Dat, dat snap ik, dat snap ik dan niet. Dat je één manier hebt om het aan te roepen allemaal, dat je als gebruiker. Ja, dus dat is wat het nu is.

231
00:34:41.192 --> 00:34:50.672
Ik vermoed ook dat, dat er gedeelde kennis in die modellen op een gegeven moment opgeslagen gaat worden. Dus dat je bijvoorbeeld alles wat we weten van Alexander kun je uit wat hij schrijft halen. Ja.

232
00:34:50.752 --> 00:35:00.672
Maar je kan bijvoorbeeld ook naar alle video's kijken, zodat je zou kunnen zeggen: Alexander is in- Juist. Amsterdam geweest op deze plek of dat soort dingen. En dat dat ding slim wordt in die relaties. Exact, ja.

233
00:35:00.732 --> 00:35:08.052
Oké, en, en je zegt: dat vind ik hoopvol. Hier hebben we het over bij de koffieautomaat. Multimodale taalmodellen. Die is leuk. Ik denk- Waarom? Waarom is die leuk eigenlijk?

234
00:35:08.252 --> 00:35:15.232
Nou ja, omdat je, omdat, mensen zijn niet, m-, uh, eendimensionaal. Als in: er is niet één modaliteit waar je vaak- Bijvoorbeeld taal. In wil werken.

235
00:35:15.272 --> 00:35:21.652
Ja, dus een, een heel concreet voorbeeld: misschien doen jullie je boekhouding hier en dan scan je je facturen en die wil je graag ergens in terecht hebben.

236
00:35:21.792 --> 00:35:30.652
Op dit moment zou je niet de vraag kunnen zeggen: in dit mapje staan mijn facturen. Vul uit wat erin staat. Ga dan exact in, zeg maar, boek al die dingen en dan ben ik er klaar mee.

237
00:35:30.692 --> 00:35:41.752
Dus je kan, daar zit in: scannen, zeg maar, plaatjes herkennen. Daar zit in: interpretatie van jouw opdracht en daar zit in, uh, het controleren van, hè, dus het besturen van wat er in je, in je, in je computer gebeurt.

238
00:35:42.232 --> 00:35:51.112
Dat zijn drie modaliteiten die je nodig hebt om die taak te kunnen uitvoeren. Mhm, mhm. En dus ik denk dat we steeds meer dingen gaan zien waar verschillende modaliteiten geblend worden.

239
00:35:51.212 --> 00:36:01.372
Uh, hè, dus audio, spraak, uh, plaatjes, tekst. Laten we hier toch even induiken. Dus voor OpenAI bijvoorbeeld, die dit wil, want we zien dat ze, en Google ook.

240
00:36:01.492 --> 00:36:09.092
We, we praten de hele tijd over OpenAI, maar eigenlijk in feite is het- En Facebook. En Facebook is op, van, op allemaal toepasbaar. Maar om met OpenAI te blijven gewoon als voorbeeld.

241
00:36:10.192 --> 00:36:16.812
Uhm, dan heb je dus tekstinput, audioinput, vi-, uh, plaatjesinput, fotoinput op dit moment.

242
00:36:18.052 --> 00:36:27.792
W-wat, wat, waar verwacht je dan dat dit na-, a-als jij in het hoofd zou moeten proberen te kijken van, uh, van, uh, Sam Altman, wat hij wil op korte termijn met die multimodale modellen.

243
00:36:27.812 --> 00:36:34.788
Wa-wa- Ik denk dat we op een gegeven moment, uhmIk denk de beste beschrijving kwam bij Marc Andreessen volgens mij vandaan.

244
00:36:34.808 --> 00:36:39.128
Die zei: Het is een grote kans dat we binnen nu en een jaar een soort eiland vinden met honderden miljoenen

245
00:36:40.568 --> 00:36:48.768
mensen die gratis voor ons willen werken in de vorm van, van machine learning modellen die taken voor ons kunnen uitvoeren en die niet, niet echt betaald hoeven te worden.

246
00:36:49.488 --> 00:37:02.168
En dat kan dan bij de gratie van die verschillende functies combineren. Want om een, kijk, een taalmodel nu is inderdaad aan ChatGPT vragen: vat deze tekst voor me samen. Dat is in feite niemands werk.

247
00:37:02.648 --> 00:37:10.548
Er is denk ik niemand die nu denkt: o, nu is mijn baan overbodig. In, in de praktijk nog niet. We kunnen wel voelen dat het daar naartoe gaat of meer daar naartoe gaat.

248
00:37:11.048 --> 00:37:23.028
En dat komt dan bij de gratie van het combineren van verschillende, uhm, ja, funct-functies. Want een belastingaangifte doen is een optelsom van die functies. Oké, ik heb nu heel erg vertraagd, maar dit, ik, ik begrijp.

249
00:37:23.068 --> 00:37:32.088
Nee, helemaal. Ik vind het superinteressant. En dan zeg je dus: als dat kan, dan wordt het interessant om, uh, ja, voor een soort van virtuele arbeidskrachten aan het werk te stellen, want dan.

250
00:37:32.288 --> 00:37:40.048
Ja, voor steeds voor specifieke taken, dus bijvoorbeeld creativiteit is heel lastig. Ik denk ook dat mensen, die willen heel graag interacteren met een ander mens.

251
00:37:40.088 --> 00:37:49.228
Dus alles wat in de hospitality zit of alles wat creatief is, daarvan verwacht ik nog heel lang dat dat niet gebeurt. Juist. Maar ik denk dat heel veel taken waarvan we allemaal op dit moment denken: ugh,

252
00:37:50.288 --> 00:37:55.428
ja, die gaan we wel niet meer zelf doen. Oké, dus dat is punt één: multimodaal. Jij zei: er was nog een ding waar mensen over praten.

253
00:37:55.588 --> 00:38:02.888
Ik denk het tweede is het toepassen op andere domeinen dan, zeg maar, uh, ja, je, je dagelijkse taken en dat soort dingen.

254
00:38:03.048 --> 00:38:07.948
En daar is natuurlijk waar veel van de aandacht naartoe gaat, van: o, het kan nu mijn cv schrijven of ik kan een coole mail doen of weet ik veel.

255
00:38:08.388 --> 00:38:12.588
Maar het is voornamelijk in, in wetenschap en in, uh, het ontwerpen van dingen.

256
00:38:12.908 --> 00:38:30.228
Dus als je nu een beetje naar, naar, ja, verschillende start-ups die bezig zijn in bijvoorbeeld mechanical engineering, waar je gewoon kan zeggen: yo, ik wil graag een computer, die moet ongeveer zo'n chip hebben, die moet ongeveer dit kunnen doen en die, blblblb, zeg maar, ontwerpt dan in 3D hoe dat ding eruit zou moeten zien.

257
00:38:30.848 --> 00:38:39.087
Spuugt meteen uit wat je, zeg maar, naar de verschillende, uh, fabrikanten zou kunnen sturen. Ja, misschien heb je nog een paar parameter sliders waardoor je kan zeggen groter en kleiner.

258
00:38:39.128 --> 00:38:48.728
Ik heb letterlijk een demo gezien toen van die, van die, uhm, was het de, de Apple 10, zeg maar, die, die, die, die cilinder, zeg maar, die desktopcomputer. Die scan. Ja. Ja, precies. Ja. Ja.

259
00:38:48.828 --> 00:38:55.168
En dan, dan zeggen ze: o, er zit nu een grotere GPU in en dan, whoep, de fans worden groter, de outlets worden groter, zeg maar. O, wauw.

260
00:38:55.208 --> 00:39:06.668
Het is een parametrisch ontwerp, maar dan in combinatie met, uh, ja, iet-- want, en dat zijn dan, uh, ook nog wel transformers, maar niet meer taalmodellen waarschijnlijk. Maar. Nou ja, ook multimodaal inderdaad. O, ja.

261
00:39:06.688 --> 00:39:16.328
En dus dingen als, weet je, architectuur. Ik wil een gebouw. Juist. Weet je, of ik wil, uh. Een vliegtuig. Een vliegtuig. Ja, dus, uh, die categorie is leuk.

262
00:39:16.408 --> 00:39:25.528
Elektronica, dus wij hebben die processoren nog echt met de hand, zeg maar, nou ja, met tools ontworpen door mensen. Ja, met Paint. [lacht] Dat gebruiken jullie bij Google. Ja, gewoon lekker.

263
00:39:25.798 --> 00:39:36.508
[lacht] Lekker lijntjes trekken. Maar serieus, dat is gewoon een, een, een, een, een plattegrondje tekenen. Sterker nog, dus je hebt al, er is zelfs een paper van Google geweest en die is geschreven nadat ik weg was.

264
00:39:36.548 --> 00:39:47.068
Maar die ideeën waren er toen al wel van: kunnen we niet, zeg maar, chips ontwerpen, dus die logica ontwerpen met hulp van- Ja. Ja, tuurlijk. Met hulp van machine learning modellen. En werkt dit? Ja. Ja.

265
00:39:47.328 --> 00:39:53.668
Dan zit je een beetje op Ray Kurzweil-terrein, hè, die echt zegt van: ja, wat als het op zichzelf gaat invoeden, zeg maar. Dus je krijgt een soort loop.

266
00:39:54.368 --> 00:40:00.168
Al moet ik, al moet ik heel eerlijk zeggen dat, die kant, dat is ook een beetje wel, het is ook wel een beetje Europees, heel eerlijk gezegd.

267
00:40:00.208 --> 00:40:09.128
Maar het, wat ik altijd heel grappig vind, is, deze vraag krijg ik vaak gesteld als ML-persoon, van: goh, ben je niet bang dat die op zichzelf gaat voeden en dan ineens de wereld overneemt? Runaway scenario.

268
00:40:09.228 --> 00:40:17.768
Dus wat je daarmee zegt is: hé Stef, jij bent in staat om een superhuman intelligence te bouwen, maar je bent echt te dom om een uitknop te maken, zeg maar, weet je. En dat is natuurlijk een beetje raar.

269
00:40:17.948 --> 00:40:28.548
Nou, ik denk, misschien sluit deze vraag hier wel mooi op aan, is dat, ik ben ook wel benieuwd. Kijk, Alexander en ik, ik praat ook even over Alexander, hebben niet de fundamentele kennis om, om dit echt te begrijpen.

270
00:40:28.568 --> 00:40:33.768
Want wij, daarom stellen we zoveel vragen, toch, over AI en wat is een transformer en wat zijn, wat is de wiskunde?

271
00:40:34.428 --> 00:40:41.108
Daardoor is het voor ons ook moeilijk om goed in te schatten, ja, hoe, hoe legitiem is die hype, et cetera.

272
00:40:41.338 --> 00:40:48.597
Wat, volgens mij schatten we dat in door te kijken hoe we het zelf voelen als we ermee werken, wat we om ons heen zien gebeuren, hoe het waarde toevoegt in de samenleving.

273
00:40:48.628 --> 00:40:55.548
Maar dat is, maar dat is niet waar de discussie nu over gaat. De discussie gaat hierover. De discussie gaat niet over waar we het bijvoorbeeld over zouden kunnen hebben: bias.

274
00:40:56.168 --> 00:41:04.648
Die, die modellen kopiëren al onze: we zijn racistisch, we zijn vervelend naar elkaar en dat soort dingen. Mhmm. En wat doen we daaraan? Dat is, dat is present, zeg maar. Dat is een probleem wat we nu hebben.

275
00:41:05.508 --> 00:41:17.168
Nu, jij, jij bedoelt, uh, die, die soort van toekomstangst over een, uh, Skynet overschaduwt en neemt heel veel aandacht weg bij de daadwerkelijke problemen en uitdagingen die we nu hebben.

276
00:41:17.228 --> 00:41:19.318
Over wat vinden we wel en niet acceptabel met dit soort dingen.

277
00:41:19.328 --> 00:41:39.987
Ja, want ik denk dat, waar ik dan benieuwd naar ben in jouw geval, en ik denk dat het ook goed is om over een aantal van die punten te praten waar we dan wel over zouden moeten discussiëren, is, ik ben nog even benieuwd of, uh, kijk, jij zei net: ik was eigenlijk wel verbaasd om wat er allemaal gebeurde in, ik parafraseer even, maar in de samenleving of in de, in de scene van: ho, wauw, wat, wat is er nu?

278
00:41:40.048 --> 00:41:47.788
Terwijl jij denkt: nou, ik ben hier al een tijdje mee bezig. Zo, zo verbaasd ben ik niet. Is het dan ook, hoe legitiem is de hype?

279
00:41:48.548 --> 00:41:54.888
Misschien, ik we-, ik weet, ik kan hem niet mooier stellen, deze vraag, maar klopt het, klopt het met wat er, de aandacht, klopt het een beetje?

280
00:41:55.708 --> 00:42:02.528
Kijk, ik denk dat, uh, de, net als dat we op een gegeven moment spullen zijn gaan mechaniseren en, en ineens stoom hadden en daarna elektriciteit.

281
00:42:02.768 --> 00:42:11.948
Dat was heel nuttig voor ons als mensen, want daar konden we ineens heel veel andere dingen mee doen. Wat we nu aan het doen zijn, is dingen cognificeren. We zijn cognitieve taken aan het automatiseren met computers.

282
00:42:12.468 --> 00:42:17.608
Ik denk dat dat heel waardevol kan zijn en ik denk dat dat een enorme impact kan hebben. Maar ik denk ook dat we heel erg aan het begin daarvan staan nog.

283
00:42:18.508 --> 00:42:31.316
Uhm, en, uh, ja, de, deDat gezegd hebbende er is ook knetterveel hype dus. Dus er zijn heel veel mensen die die dingen roepen waarvan ik denk dat gaat wel heel ver en ik denk niet dat we daar nu al zijn.

284
00:42:31.476 --> 00:42:39.076
Dat is bijvoorbeeld general intelligence en dat soort zaken. Ja. Dus ik denk niet dat we nu heel dicht bij general intelligence zijn. En als we er dichter bij komen, dan gaan we dat zien.

285
00:42:39.176 --> 00:42:40.916
Het is niet alsof dat ineens soort van ontstaat.

286
00:42:40.996 --> 00:42:51.556
Er was een fantastisch XKCD stripje van een aantal jaar geleden waarin dan Google ineens sentient wordt, weet je wel in Mountain View en en, en zie je de soort van de skyline en dan is het the moment Google becomes sentient.

287
00:42:51.586 --> 00:43:01.416
So this is an interesting internet. There's so many things to do here. En dan, weet je, en dan the moment it discovers YouPorn of zoiets. En dan oké, I'm just gonna go to this corner, zeg maar.

288
00:43:01.766 --> 00:43:11.676
Maar dus die hele aanname dat er dat er machine learning modellen gaan ontstaan die zich dan ineens als een soort van terminators gaan gedragen, terwijl wij nog steeds. Die dingen zitten in datacenters ergens.

289
00:43:11.686 --> 00:43:21.456
Die zitten gewoon fysiek staan die ergens. Het is niet alsof die ineens embodied zijn en een soort van datacenter uitlopen. Weet je dus ja, er zijn risico's. Ja, je moet als.

290
00:43:21.536 --> 00:43:26.376
Als bouwer van dit soort dingen die risico's goed in kaart hebben. Je moet zorgen dat je controls hebt op dit soort dingen.

291
00:43:26.736 --> 00:43:36.756
Maar we zijn echt nog vrij ver verwijderd van dat punt waar waar ze ineens wakker worden en de wereld gaan overnemen. Ik denk dat dat dat vrij overdreven. Ben je gerustgesteld Wietse? Wietse is namelijk heel bang.

292
00:43:37.016 --> 00:43:48.595
Nou ja, ik. Ik maak. Ik heb wel zorgen, maar niet, niet per se zo op die. Op een maandagochtend klikt er ergens iets aan en dan is er iets sentient of zo. Want volgens mij is dat gewoon 11111. Ja, hoe noem je dat?

293
00:43:48.616 --> 00:43:56.016
Een gradient of een spectrum? En we moeten nog maar eens zien of we daar. We hebben nog niet eens definities voor mensen. Dus om om te zeggen of. Misschien ben ik niet eens sentient.

294
00:43:56.376 --> 00:44:07.736
Dus ik denk mijn zorg zit hem denk ik meer in dat het wel moeilijk is om dit soort systemen, dit soort processen te anticiperen om echt goede voorspellingen te kunnen doen. Ik denk dat.

295
00:44:08.716 --> 00:44:16.896
Kijk, bij mij zullen geen goede voorspellingen vandaan komen per se omdat ik dus niet op die drie, vier lagen dieper zit van de fundamentele technologie.

296
00:44:16.936 --> 00:44:29.716
Daarom vind ik het ook supergaaf dat je hier vandaag bent en dat Alexander en ik zoveel vragen aan je kunnen stellen in dit. Hoe noem je dat? Fires Fireside gesprek. Maar ik ben. Ik ben wel benieuwd.

297
00:44:29.736 --> 00:44:38.336
Wat jij net zei, vond ik wel mooi om om die, ja, laten we zeggen die angst een beetje te structureren of iets zinvoller te maken dan. Want die angst is intuïtief bij mij. Ik, ik.

298
00:44:38.396 --> 00:44:48.876
Ik denk het gaat snel, er gebeurt een hoop en het is. Het is destructief op de samenleving en ik denk dat mijn. Hoe zeg je dat? These is.

299
00:44:49.456 --> 00:45:01.696
Onder al mijn denken zit het idee dat er een redelijk menselijk tempo is en dat wij niet een onbeperkt wezen zijn. Dus we zitten op een bepaald tempo. En dat met dat tempo bedoel ik 11 tempo van onze gedachten.

300
00:45:01.716 --> 00:45:11.956
Een tempo van ons lichaam. En die kunnen we, die dat lichaam kunnen versnellen door in een vliegtuig te gaan zitten met 900 kilometer per uur. En die cognitie kunnen we versnellen door allemaal augmentation machines.

301
00:45:12.316 --> 00:45:24.096
De elektrische fiets voor de geest is dan nu de de, het cogni. Jij zei net voor mij de term zelfs cognificeren of fantastisch. Dus mijn zorg zit daar dat ik denk dat.

302
00:45:24.156 --> 00:45:37.256
Op een bepaalde manier is het oude wijn nieuwe zakken. De volgende revolutie. Wiel. Vuur. Of het vuurwiel. Waarschijnlijk elektriciteit. Ik zit gechargeerd. En daar is dan nu een volgende revolutie. En het is soort van.

303
00:45:37.656 --> 00:45:42.976
Er zit een soort van bang in, een soort release blank zo. Whoop. GPT4 jou niet, maar voor Alexander en mij wel.

304
00:45:43.556 --> 00:45:52.276
En dan op een gegeven moment gaat het landen embedden in die samenleving en dan vinden we het met elkaar wel weer uit. Ik zeg het bijna. En dat is ook hoe ik er wel over denk, hoor.

305
00:45:52.296 --> 00:45:59.036
Dus als je, als we teruggaan naar het internet en social bijvoorbeeld weet je, de de, de. Ik kan me nog gesprekken herinneren toen wij, toen ik nog studeerde en ik jou leerde kennen.

306
00:45:59.256 --> 00:46:07.216
Ja, dat we dat we zoiets hadden van oh vet, weet je al die dat Facebook, dan gaan we de Arabische revolutie en mensen gaan het allemaal gebruiken voor goed en dat soort dingen.

307
00:46:07.776 --> 00:46:17.656
En toen was het ineens een jaar later was het oh shit. We kunnen het ook gebruiken in verkiezingen in West-Europa en, en, en allerlei ontwrichtende gesprekken op gang brengen in samenlevingen. En oeps.

308
00:46:18.256 --> 00:46:25.716
Onvoorziene effecten. Ja, exact, maar die niemand zag die effecten toen ook. Het ging in het begin heel erg over wat zijn de. Wat zijn alle

309
00:46:26.676 --> 00:46:36.456
mogelijke soort van coole manieren waarop mensen over de hele wereld met elkaar verbonden gaan worden? Ik denk dat hier. Er zijn waarschijnlijk een aantal dingen die we nu correct hebben en risico's die we die we

310
00:46:37.716 --> 00:46:46.856
zien en waar we op moeten acteren. En er zijn waarschijnlijk dingen die we nu helemaal overschatten en die eigenlijk best prima zijn. Laten we het over die risico's hebben, want je noemde al bias.

311
00:46:47.396 --> 00:46:57.416
Je hebt de hallucinaties genoemd. Ja, dat is truthfulness. Dus is iets eerlijk en bias is de tweede, dus het kopieert omdat het uiteindelijk getraind is op alle dingen die wij zeggen. Houd het ons een spiegel voor.

312
00:46:57.516 --> 00:47:09.856
Ja, en het. Het laat ons precies zien hoe wij met elkaar omgaan en praten. En het punt alleen is dat heel veel mensen en ook commentatoren die vinden dat niet leuk om te zien en dus moeten we daar correctie.

313
00:47:10.136 --> 00:47:18.996
Hoe bedoel je? Vind het niet leuk om te zien. We vinden het niet leuk als een machine learning model tegen iemand scheldt of zo. Ja, precies. Of of evident onwenselijk. Ja, het is evident onwenselijk. Ja, exact.

314
00:47:19.056 --> 00:47:29.576
En ik denk dat die spiegel waar jij het over hebt en de wij waar je over spreekt ook wel te maken heeft met die hele bups aan data. Van Reddit tot en met Wikipedia tot en met publieke domein boeken.

315
00:47:30.576 --> 00:47:43.166
Ja, die hele bups aan data waarop getraind wordt. Die, die, die, die, die genoeg structuur bevat zodat je daar zinvol zinvolle netwerken uit kunt laten ontstaan. Dan is het ook weer zo ja, waar kwam die dataset vandaan?

316
00:47:43.216 --> 00:47:53.556
Want als het inderdaad het hele Engelstalig sprekende internet was, dan krijg je de bias mee van iedereen die Engels spreekt. Maar als je hem had getraind op alle tekst die in India aanwezig is. En dit zijn.

317
00:47:53.576 --> 00:47:57.716
En dit zijn hele fundamentele vragen die je uiteindelijk echt als samenleving moet oplossen.

318
00:47:57.776 --> 00:48:06.896
Dus als jij, als jij zegt als Nederlanders wij willen graag een lekkere kaas, GPT zeg maar, weet je die gewoon lekker verhollandiseerd is, dat vinden we belangrijk. Dat is een keuze. Dat kun je doen.

319
00:48:06.956 --> 00:48:16.936
En dat is dat bijvoorbeeld mensen. Dat is niet waar ik achter sta. Maar mensen in Saoedi-Arabië zeggen wij willen geen plaatjes op het internet van vrouwen. Ja. Maar wat zou een kaas? GPT Hoe zou dat zijn?

320
00:48:17.096 --> 00:48:27.276
Je zou prima tegen tegen open AI kunnen zeggen we willen gewoon dat je alleen maar finetunen op het Nederlandse corpus zeg maar. Dus dat je dat je Nederlandse taal prioritiseert boven, boven andere talen.

321
00:48:27.356 --> 00:48:36.956
Juist, dan krijgt. Het hele volk een spiegel voor.Nou ja, of je dat leuk vindt, daar kunnen we dan een gesprek over hebben. Maar inderdaad, ja. Maar, maar, maar uiteindelijk zijn dit systemen die je kan ontwerpen.

322
00:48:37.136 --> 00:48:45.636
Dus, dus bijvoorbeeld toen een aantal jaar geleden werd mij ook wel eens de vraag gesteld: oh, als een zelfrijdende auto mag kiezen tussen A en B, wat moet het dan doen bij het computer?

323
00:48:45.796 --> 00:48:54.916
En mijn antwoord daarop was: ik ben een programmeur. Vertel jij het maar. Je kan kiezen, zeg maar. We kunnen dit beide maken. Hij kan het oude vrouwtje overrijden. Hij kan ook.

324
00:48:54.956 --> 00:49:02.635
Jij zegt: dit is een democratieprobleem in plaats van. Dit is een democratisch probleem. Uiteindelijk gaat dit over wat willen wij en, en welke regels zetten we daaromheen?

325
00:49:02.976 --> 00:49:16.196
Maar om het over bias te hebben, wat, want wat zie, wat zie jij als voorbeelden die problematisch zijn met betrekking tot bias die anders zijn dan wat veel genoemd is, zoals racisme, zoals inderdaad,

326
00:49:17.316 --> 00:49:27.136
sommige, sommige teksten zijn duidelijk te west-, heel erg westers georiënteerd en daarmee negeert het een heel groot deel van de wereld. Wat vind jij bias dus om serieus te nemen?

327
00:49:27.476 --> 00:49:36.476
Ik denk zeker waar bijvoorbeeld dit soort technologie toegepast gaat worden om beslissingen te nemen. Dus stel je voor je bent een grote verzekeraar en, en je gaat besluiten: we hebben nu GPT.

328
00:49:36.676 --> 00:49:45.516
Mag jij een verzekering ja of nee? En die gaat lekker het internet af kijken naar alle dingen die je getweet hebt en zo. En op basis daarvan besluiten. Rijd je een beetje lekker en dat soort dingen. Ja.

329
00:49:45.736 --> 00:49:53.436
Het zou bijvoorbeeld heel fijn zijn om te weten of dat gebeurt of niet. Ja, daar is die introspectie voor nodig. Daar is introspectie, maar ook transparantie vanuit de leverancier.

330
00:49:53.476 --> 00:49:59.936
Dus ik kan me heel goed voorstellen dat zo'n model heel snel leert, oh, mensen die de hele tijd een bepaalde type auto's rijden, ja, die moet je gewoon een dikke rekening sturen.

331
00:49:59.946 --> 00:50:06.336
Want er zijn veel mensen die, die plaatjes hebben op het internet waar ze, waar ze heel hard rijden met die type auto's. Precies. Juist.

332
00:50:06.716 --> 00:50:13.276
En, en, en de ergere variant daarvan zou zijn: ik heb een machine learning model die bijvoorbeeld, ik heb een coole tandenborstel met wifi.

333
00:50:13.436 --> 00:50:23.336
Weet je wel, die tandenborstel die gaat iedere dag aan insert verzekeringsmaatschappij laten weten of ik netjes gepoetst heb of niet. Ja. En je krijgt je korting op je zorgverzekering.

334
00:50:23.376 --> 00:50:33.196
Dat is superleuk, maar dat gaat dus uiteindelijk ertoe zorgen dat mensen die, die korting nodig hebben allemaal onder controle van dit soort incentive schemes komen te staan.

335
00:50:33.336 --> 00:50:38.096
En uiteindelijk computers en rijke mensen zoiets hebben van: ja, weet je, het zal wel. Ik, ik poets lekker wanneer ik wil.

336
00:50:38.215 --> 00:50:46.366
Denk je dan niet dat, want volgens mij, jij zei net eerder: het gaat er uiteindelijk om wat we willen. Daar stel ik allemaal vraagtekens bij. Weten we dat eigenlijk wel als samenleving?

337
00:50:46.696 --> 00:50:57.856
Daar kunnen we misschien ook werk, aan werken om erachter te komen wat we eigenlijk willen. Maar, dus dat is even een vraagteken dat ik heb. En volgens mij is, mag jouw tandenborstel data verzamelen, punt één.

338
00:50:57.936 --> 00:51:06.436
Dan mag die data verkocht worden aan verzekeraars, punt twee. En dan mogen die verzekeraars het gebruiken om jou af te wijzen. Transparant of dan al niet ontransparant, punt drie.

339
00:51:06.876 --> 00:51:15.136
Dat ik denk daar is uiteindelijk, als je de technologie gaat ontwikkelen, heb je alleen nog wetgeving, want de technologie is er, dus dan moet je, dan moet je iets met wetgeving gaan doen.

340
00:51:15.616 --> 00:51:24.636
En wetgeving wordt dan gemaakt door, ja, een groep mensen die het volk representeert en door het volk aangespoord wordt om die wetgeving te maken. Of door een denktank of iets.

341
00:51:25.116 --> 00:51:34.476
Daarin zitten wel een, een hoop zorgen van mij dat ik me afvraag, omdat het zulke, ja, niet transparante technologie is, laat ik het dan zo noemen.

342
00:51:34.516 --> 00:51:39.036
In het geval van OpenAI is het, is het zelfs een soort grap geworden inmiddels. Het is het minst transparante wat er is.

343
00:51:39.276 --> 00:51:45.176
Dat, dat, en dat is datgene wat nu gewoon publiekelijk beschikbaar is en door, ook door mij dagelijks gebruikt wordt.

344
00:51:45.656 --> 00:52:08.976
Dus ik, ik ben dan wel benieuwd, als het inderdaad zo is dat de democratie, wij als mensen hier beslissingen over moeten gaan na-nemen en na moeten gaan denken: wat willen we eigenlijk dat mag, wat willen we eigenlijk dat kan, dat, dan, dan moet je daar ook wel een soort voorlichting gaan doen en uit gaan leggen en af gaan dwingen dat we met elkaar gaan begrijpen hoe dit werkt en wat het kan doen en hoe dit werkt.

345
00:52:09.016 --> 00:52:21.516
Niet eens fundamenteel, maar wel wat het kan doen. Want in mijn bubbel als ik praat over privacy en data niet delen is het vooral: joh, doe niet zo moeilijk. Door die stomme AVG moet ik overal formulieren invullen.

346
00:52:21.596 --> 00:52:30.416
Dat is een beetje het level. Maar dat is ook de implementatie die niet heel handig is geweest natuurlijk, dus daar heb je last van. Maar dat betekent niet dat de vragen die je stelt niet correct zijn. Ja.

347
00:52:30.456 --> 00:52:42.936
Kijk, ik denk er zijn, ja, overheden kunnen reguleren, journalisten kunnen vragen stellen. Dus je kan, je kan aan OpenAI vragen, de papers over: hoe beoordeel je of een, of een taalmodel zijn best doet of niet.

348
00:52:43.056 --> 00:52:53.796
Die bestaan, die kunnen jullie lezen en je kan vragen stellen aan OpenAI en zeggen: how truthful is GPT-4? Zou je dat willen publiceren, alsjeblieft? Hoe vaak liegt dit ding? Hoe vaak discrimineert hij?

349
00:52:54.216 --> 00:53:04.116
Hoe zit dat in Nederland? En ja, als het antwoord te lang no comment blijft, ja, dan moet je wellicht een breder gesprek gaan voeren. Maar er is een rol weggelegd voor journalistiek.

350
00:53:04.176 --> 00:53:08.256
Er is een rol weggelegd voor overheid en er is een rol weggelegd voor bedrijven zelf.

351
00:53:08.376 --> 00:53:17.356
Dus ik kan me heel goed voorstellen dat je als verzekeraars misschien op een gegeven moment zegt: joh, we hebben geen zin in een samenleving die zo geautomatiseerd is dat het, dat het gaat segregeren.

352
00:53:17.456 --> 00:53:26.216
Dus dat gaan we gewoon niet doen. Maar het is wel een grappige tegenstelling die jullie maken. Want aan de ene kant hebben jullie het over de technische bias. Hoe werkt bias?

353
00:53:26.516 --> 00:53:30.816
Wat kan je eraan doen om dat technisch te voorkomen? Dat zijn technische vragen.

354
00:53:30.856 --> 00:53:39.086
En aan de andere kant heb je dus het maatschappelijke kant, namelijk: wat vinden wij als maatschappij eigenlijk wat de regels zouden moeten zijn waar die, die AI-bedrijven zich aan moeten houden.

355
00:53:39.086 --> 00:53:48.236
Of kleinere groeperingen. Dus ik zit in de biotechnologie en we hebben hele duidelijke afspraken met elkaar gemaakt over welke dingen je wel en niet gaat doen in de biotechnologie. Zelfregulatie. Exact ja. Oké.

356
00:53:48.436 --> 00:53:58.556
En dat kun je doen. Dat geeft jou misschien ook wel je, in mijn ogen dan terechte, of in ieder geval, ik snap jouw intuïtie dat je zegt: dit kunnen wij. Of ik leg het even woorden in je mond, hoor. Maar dat je zegt: joh.

357
00:53:58.696 --> 00:54:03.976
Thanks. Ja, nee, dat wil ik er even bij zeggen, want dit zei je niet. Maar [lacht] dat ik het idee heb hoe je overkomt.

358
00:54:03.996 --> 00:54:15.916
Dat je zegt: nou, ik, ik zie wel mogelijkheden om dit met elkaar in, je noemde net de drie, de drie pijlers en er zijn nog wel meer. De, de, de politiek, de journalistiek en de bedrijven zelf of organisaties zelf.

359
00:54:16.416 --> 00:54:20.856
En die hebben allemaal verantwoordelijkheden en die moeten allemaal elkaar een beetje in balans houden.

360
00:54:20.896 --> 00:54:29.896
Ik zou iedere industrie, bijvoorbeeld in Nederland, die werkt met dit soort modellen oproepen: maak een, een, een set of guidelines of een code of ethics over: wat vind je belangrijk voor dit soort dingen?

361
00:54:30.356 --> 00:54:46.560
Maar ik denk dus dat in die biologie dat daar een, door de mensen die in die industrie werken of in dat werkveld, kan ook academisch zijn, intuïtief, dit is mijn aanname, hoor, en dat is wat ik zie, laat ik het dan zo zeggen, subjectiefEen soort van ja, natuurlijk moeten we onszelf reguleren.

362
00:54:46.720 --> 00:54:56.640
Natuurlijk moeten we hier niet zomaar iets mee doen, want voor het weet heb je iets van contamination of iets anders binnen. Binnen die, want die biologie is zo'n venijnig vloeibaar ding in mijn slechte metafoor.

363
00:54:57.200 --> 00:55:06.840
Ik vraag me af of dat of diezelfde intuïtie ook aanwezig is binnen die meer technologische wereld waarin toch dat idee bestaat. Die computer doet alleen maar wat ik wil,

364
00:55:08.340 --> 00:55:19.120
terwijl die biologie doet niet alleen maar wat jij wil, toch? Vraagteken. Het is absoluut waar dat dat software veel deterministisch is dan biologie? Absoluut.

365
00:55:19.520 --> 00:55:29.280
Ik denk ook dat het zo is dat dat biologie een goed voorbeeld is van een industrie die zichzelf reguleert en en safety heel erg serieus neemt. Ik denk ook dat cultureel.

366
00:55:29.840 --> 00:55:38.420
Software is natuurlijk veel groter en er zijn veel meer actoren die die daarin in actief zijn op dit moment. En sommigen nemen daarin hun verantwoordelijkheid wel, anderen niet.

367
00:55:39.160 --> 00:55:47.960
En ja, dat, dat kun je uit callen zeg maar. Maar om een voorbeeld te noemen dus Google, mijn voormalige werkgever, krijgt vaak de wind van voren.

368
00:55:48.380 --> 00:55:56.560
Maar als je kijkt naar, naar bijvoorbeeld privacywetgeving de meeste dingen bestonden al toen, toen GDPR geïntroduceerd werd in de meeste producten van Google toentertijd.

369
00:55:57.280 --> 00:56:05.880
Als je kijkt naar wat er nu met AI gebeurt Google had volgens mij vier jaar geleden al guidelines over hoe we dit wel en niet gebruiken. Niet in militaire dingen. En dus de, de.

370
00:56:06.220 --> 00:56:12.000
Ik denk, de kunst is ook heel erg vinden wie, wie zijn degene die niet dat gesprek aangaan en die,

371
00:56:12.940 --> 00:56:21.959
nou ja, misschien onbewust dingen doen die niet de bedoeling zijn of die we misschien onwenselijk zijn, daar het gesprek over aangaan en misschien een iets minder adversarial manier ook ik.

372
00:56:22.020 --> 00:56:29.420
Ik heb soms zelf als technoloog wel eens het gevoel gehad van het is altijd lekker een scoop, weet je wel, ik ga even lekker lekker prikken zeg maar. En het is minder prikken. Journalistiek.

373
00:56:29.620 --> 00:56:38.200
Het is veel minder een gesprek, zeg maar. En het stomme hiervan is het is uiteindelijk gewoon engineering. Dus we kunnen die dingen maken en we kunnen ze dingen laten doen en niet doen.

374
00:56:38.340 --> 00:56:43.020
Ja, en daar kun je gesprekken over hebben. We hebben het nu over bias. Ik ga proberen toch structuur aan te brengen.

375
00:56:43.040 --> 00:56:53.640
Wytse We hebben het over bias en dan hebben we het nu over de technische kant en de maatschappelijke kant. We zijn nu de maatschappelijke kant ingedoken en dan heb je het over bijvoorbeeld journalisten.

376
00:56:53.899 --> 00:57:04.660
Wat zou je journalisten adviseren of vragen? Wat zou jouw wens zijn voor. Ik zou veel meer de diepte ingaan. Dus eerst eens vaststellen wat zijn nou een beetje de thema's die belangrijk zijn? Dus binnen die bias.

377
00:57:04.700 --> 00:57:13.320
Er zijn heel veel verschillende papers geschreven over wat zijn de verschillende risico's die aan de huidige generatie machine learning modellen vastzit. Als je een beetje deskresearch doet, dan kom je daar echt.

378
00:57:13.980 --> 00:57:21.160
En dan gewoon eens kijken. Oké, waar zijn dan de plekken in Nederland waar je daar een groot risico mee loopt? En ga eens met die bedrijven in gesprek. Met betrekking tot bias.

379
00:57:21.420 --> 00:57:30.779
Met betrekking tot bias en of dat dan is discriminatie. Of dat het dan is voortrekken van bepaalde bevolkingsgroepen. Of dat is gender. Dat maakt in die zin allemaal niet zo heel veel uit.

380
00:57:30.940 --> 00:57:40.180
Dus kies de thema's die wij als samenleving belangrijk vinden en ga daar achteraan. En politiek. Nou ja, ik denk bij politiek en, en je hebt daar recentelijk ook iets over geschreven.

381
00:57:40.240 --> 00:57:42.960
Daar zit ook nog wel een expertise probleem dat.

382
00:57:43.000 --> 00:57:50.760
Ik denk dat heel veel mensen die wetgeving maken over dit soort mensen hebben nooit in het veld gewerkt en dus die hebben veel minder een gevoel voor wat kun je wel en niet ermee.

383
00:57:51.460 --> 00:57:58.140
En ook een veel minder groot gevoel voor. Dit is een hele makkelijke manier om problemen te veroorzaken, te, te, te verhelpen dan andere.

384
00:57:58.200 --> 00:58:12.020
Om een voorbeeld te geven de andere manier waarop we GDPR helder kunnen doen in plaats van overal vinkjes is aan alle mensen die browsers maken vijf of zo in de wereld zeggen zou je alsjeblieft hier een setting willen maken waar mensen kunnen aangeven dat ze dat niet willen.

385
00:58:12.060 --> 00:58:22.000
Dat je geen cookies wil. Dat had letterlijk honderden miljarden klikjes en RSI armen gescheeld. Dit is wat jij bedoelt met. Er zijn best goede vragen te stellen over cookies. Of dat wenselijk is.

386
00:58:22.040 --> 00:58:30.560
Allerlei allerlei derde partijen die meeleuren. Alleen nu is iedereen boos op cookie meldingen omdat iedere site irritant aan het doen is en dus zijn mensen tegen cookie meldingen.

387
00:58:30.600 --> 00:58:39.480
Maar er kan nog steeds het idee erachter wel goed zijn. En als, als overheid raak je credibility kwijt op die manier, want je maakt het. Je maakt gewoon het internet kut. Maar het is wel.

388
00:58:39.520 --> 00:58:52.320
Dan is het natuurlijk wel interessant dat we zeggen aan de ene kant technologie, de makers, de journalisten en de politiek zijn met elkaar in een ensemble. En die moet. We moeten dit met elkaar uitzoeken.

389
00:58:53.160 --> 00:58:59.640
Dan hebben we het over bias in algoritmen en dat is best wel een krachtige technologie waar we tot nu toe over praten.

390
00:59:00.480 --> 00:59:08.340
Tegelijk vertellen we nu dat het ons niet eens gelukt is in dat ensemble om ervoor te zorgen dat er een setting is voor een cookie wal tot de dag van vandaag.

391
00:59:08.800 --> 00:59:20.940
Dat geeft me dan wat minder vertrouwen in wat we met elkaar kunnen. En dan kan je zeggen de browsermakers in hun W3C in hun consortium willen al heel lang dat vinkje toevoegen. Het is de politiek die het tegenhoudt.

392
00:59:21.220 --> 00:59:31.800
Ik, ik twijfel, ik ben. Ik weet het niet. Ik ben benieuwd wat daar misgegaan is tussen de communicatie, tussen de, de wetgever en de makers en de makers van de van de browsers.

393
00:59:32.180 --> 00:59:42.720
Dus ik vind dat juist een voorbeeld van hoe het nog niet gelukt is juist om die samenwerking goed te doen. Wat betreft die cookie wal. Ik wil ook nog even toevoegen dat en dat is, want dat is wel nieuwer denk ik,

394
00:59:43.700 --> 00:59:55.200
is ja, dat net Alexander over Wietse is bang of er is angst. Ik heb er een angst bij gekregen en dat klinkt misschien negatief, maar dat is eigenlijk niet per se negatief. Is dat, weet je wat ik.

395
00:59:56.100 --> 01:00:03.899
Ik had het net over dat menselijke tempo dat we een bepaald inherent tempo hebben. En mijn zorg daarbij is dus dat dat dit op zo'n tempo gaat, die technologie buiten ons.

396
01:00:03.920 --> 01:00:13.580
En als wij dan niet meer in die loop zitten, human in the loop of minder, dat we dat ook niet meer kunnen controleren. Ja, want nu is het zo dat software op een bepaalde manier wel voor ons werkt.

397
01:00:13.600 --> 01:00:22.440
En systemen werken wel voor ons, want als wij de interface niet meer begrijpen, kunnen we er niet mee werken. Dus wij, wij bepalen toch altijd wel het inherente tempo van technologie.

398
01:00:22.470 --> 01:00:32.280
Hier is de vraag is dat nog zo als je iets meer zelfdenkende technologie hebt? Nou, dat punt is gemaakt. Ik zit nu met een nieuwe. Ik had dus een of. Er is dus een angst. Joh, gaat het wel goed?

399
01:00:32.520 --> 01:00:39.200
Want als het tempo op een gegeven moment te hoog ligt, dan begrijpen we het met elkaar niet meer. En dan gaan we. Gaan we mogelijk in paniek raken en dan krijg je allemaal gedoe.

400
01:00:39.900 --> 01:00:49.080
Maar daarnaast is er ook een angst dat ik denk. Maar wacht even, ik werk hier dagelijks mee.Het voegt best wel heel veel toe aan mijn leven. Ik lees heel veel verhalen van mensen die.

401
01:00:49.280 --> 01:00:59.120
Nou ja, of Alexander en ik kunnen niet goed schrijven en dankzij deze taalmodellen kunnen we ineens schrijven. Ik zie superveel upside. Echt waar, ik zie echt mooi. Maar dat is natuurlijk iedere technologie, hè.

402
01:00:59.540 --> 01:01:06.460
Dus dus de leukste. Je bent ook filosoof, zeg maar. Maar deze discussie is ooit over het schrift ook gevoerd in het oude Egypte van moeten we dat wel hebben?

403
01:01:06.480 --> 01:01:14.800
Want alle, alle normale mensen kunnen ineens hun mening uiten en dat delen met elkaar en zo. En dus iedere technologie komt in golven. Daar is niet zo heel veel aan te doen.

404
01:01:15.340 --> 01:01:25.740
En het is voornamelijk hoe, hoe, hoe organiseer je het proces van de landing? Dus net als toen het internet ontstond. Ik weet nog wel dat ik mijn eerste dial-up modem van mijn pa kreeg en, en, en het internet op kon.

405
01:01:25.780 --> 01:01:33.700
En dat was echt bizar. Je kon ineens contact hebben met mensen in Amerika. Nou weet je nu, maar mijn kinderen zouden lachen om dat als opmerking zeg maar.

406
01:01:34.920 --> 01:01:41.680
En dat was een enorme disruptie van, van hoe we, hoe we met informatie en met communicatie omgingen met elkaar. But we've managed.

407
01:01:42.000 --> 01:01:55.280
En ja, ik denk dus mijn nieuwe angst is dat we, dat we deze technologie op een bepaalde manier, uh, de adoptie minder goed gaat en dat er heel veel tegenstand komt waardoor iets wat in potentie ook heel mooi is juist tegengehouden wordt.

408
01:01:55.580 --> 01:02:01.800
Zeg maar dat. Snap je? Mijn, mijn andere angst is ik kan zeggen: ik ben er bang voor, want het is een inherent slecht ding. Nou, daar geloof ik sowieso niet in.

409
01:02:01.820 --> 01:02:10.300
En dat is een beetje 111 slap idee, want alles heeft een duale natuur en alles is goed en slecht tegelijk. Dat is gewoon moeilijk aan dit soort fenomenen. Aan alle fenomenen trouwens.

410
01:02:10.720 --> 01:02:27.280
En, uh, ik zit nu met een nieuwe angst dat ik denk jeetje, het zou toch jammer zijn als doordat die landing niet goed gemanaged is, er zo'n backlash komt naar deze technologie dat iets wat zo mooi is vertraging oploopt of op een bepaalde manier niet goed niet geïmplementeerd wordt.

411
01:02:27.580 --> 01:02:37.440
Mijn gevoel is dat dit, dit zit veel meer op het niveau van implementatie en mensen zijn vaak heel goed in-- dus, dus laten we zeggen dat let's say Facebook zou echt evil worden morgen.

412
01:02:38.300 --> 01:02:45.000
Dan stopt iedereen ineens met het gebruiken van Facebook en hun, hun incentive is nog steeds wel gewoon blijven bestaan.

413
01:02:45.280 --> 01:02:53.140
Dus survival is voor zo'n bedrijf van belang en dus ze zullen altijd itereren naar iets wat misschien niet ideaal is, maar nog steeds heel acceptabel is voor een hele grote groep mensen.

414
01:02:53.819 --> 01:03:04.840
Dus ik ben daar meestal niet heel erg bang voor. Want zodra dat echt gebeurt, dus stel je voor dat er een, een serieus probleem zou ontstaan met een machine learning model die iets geks doet. En dan?

415
01:03:04.880 --> 01:03:10.380
Het eerste wat er gebeurt, is dat een heleboel staatshoofden, als dat echt op grote schaal is, zullen roepen: stop ermee, klaar.

416
01:03:11.080 --> 01:03:17.420
Of als er een bedrijf is die ineens iets heel geks gaat doen, dan komt dat naar buiten en op een gegeven moment stoppen mensen gewoon met het gebruiken van dat product.

417
01:03:17.440 --> 01:03:23.600
Net als dat ik gestopt ben met het gebruik van Facebook. Niet genoeg mensen, want het zijn alleen maar types zoals jij en ik, zeg maar. Maar op een gegeven moment gebeurt dat.

418
01:03:23.640 --> 01:03:35.680
Ik vermoed, hè, jij hebt het hier eerder over gehad. Ik denk dat TikTok, die krijgen hem nog, zeg maar in de komende paar jaar. Dus er zijn een soort van zelfopruimende mechanismen in, in onze samenleving die dat doen.

419
01:03:35.700 --> 01:03:43.820
Misschien niet direct ideaal, maar ik ben niet heel bang voor de technologie als soort van abstract ding dat dit ineens overneemt.

420
01:03:43.860 --> 01:03:49.920
Ik denk dat we gaan uitvogelen welke, welke, zeg maar, uh, toepassingen acceptabel zijn en welke toepassingen niet.

421
01:03:50.260 --> 01:04:04.980
Misschien over een andere boeg: wat is iets wat jij over AI gelooft wat weinig andere mensen geloven of waar het te weinig over gaat? Ik denk, uhm, dat veel van de aandacht zit op de risico's,

422
01:04:06.140 --> 01:04:15.620
maar niet op de mogelijkheden. Om een hele concrete te noemen in Nederland. Heel veel huisartsen, die hebben twee functies. Het eerste is uitvogelen of je echt ziek bent of niet.

423
01:04:16.280 --> 01:04:26.680
En de tweede functie is, uh, uitvogelen of je direct kan, uh, kan genezen of dat je moet doorverwijzen naar iemand anders. Dat eerste gedeelte, dat kan een computer waarschijnlijk ook doen.

424
01:04:27.940 --> 01:04:38.740
En als die twijfelt, kan die misschien zeggen: nou, ik ga je toch even naar een, naar een huisarts sturen. En als je probeert voor te stellen hoeveel minder of hoeveel meer mensen je zou kunnen helpen

425
01:04:39.680 --> 01:04:50.460
met dat soort type implementaties, dat soort type toepassingen, dat is echt fucking vet. Uhm, en, en veel van de, uh, veel van de discussie gaat over alle mogelijke risico's.

426
01:04:51.400 --> 01:04:59.100
En weinig gaat over: wat zijn een aantal van de grote problemen die we op dit moment hebben en hoe kunnen we die ermee oplossen? Noem nog eens wat dingen die je vet vindt, want we gaan huisartsen helpen.

427
01:04:59.640 --> 01:05:10.760
Nou ja, dus de zorg is denk ik een hele grote belangrijke. Ja. Ik denk dat er heel veel, uhm, uh, bijvoorbeeld wetenschap vind ik een persoonlijk een hele leuke categorie.

428
01:05:10.800 --> 01:05:20.940
We, we, we laten nu bijvoorbeeld mensen, uh, zeg maar een jaar lang review papers schrijven als ze een PhD gaan doen om laten we zeggen uit te vogelen op het internet waar alle kennis die bestond over hun topic is en dat lekker samen te vatten.

429
01:05:21.820 --> 01:05:29.060
Nou, stel je eens voor dat we dat niet meer hoeven te doen en dat wordt al voor je samengevat en je kan daarna echt tijd besteden aan dingen die je echt leuk vindt.

430
01:05:29.100 --> 01:05:37.380
En, en wat er voor mij veel mist in de discussie is dat, weet je, accountants waren in eerste instantie tegen spreadsheets, want ja, hun werk was lekker dingen optellen.

431
01:05:38.400 --> 01:05:43.800
Uhm, en toen die spreadsheet er in één keer was was het: holy shit, ik kan echt heel veel andere coole dingen doen en mijn baan wordt een stuk leuker. Ja.

432
01:05:44.260 --> 01:05:52.450
En, en ik merk, die kant mis ik wel een beetje in de, in de discussie van waar liggen de kansen voor dit soort technologie? Uh, en, en hoe gaan we dat ook echt regelen?

433
01:05:53.320 --> 01:06:06.100
En wat zou je zeggen is het meest cutting edge waar jouw vakgenoten op dit moment bij de waterkoeler over praten? Ja, het meeste zit hem in die multimodaliteit en in nieuwe, nieuwe modaliteiten.

434
01:06:06.220 --> 01:06:17.860
Dus hoe kun je chips ontwerpen? Hoe kun je mechanische systemen ontwerpen? Hoe kun je natuurkunde oplossen, zeg maar? Hoe kun je science doen met dit soort dingen? Wat is science doen met dit soort dingen?

435
01:06:19.180 --> 01:06:28.220
Stel je nou eens voor dat ergens, uh, die modellen die hebben iets geleerd over de wereld, maar we kunnen het eigenlijk alleen maar vergelijken met dingen waar wij al van weten dat ze bestaan.

436
01:06:28.420 --> 01:06:37.060
Om een voorbeeld te noemen in, in ons eigen bedrijf werken we in de biologie en we hebben gezien dat die modellen een soort van doorhebben dat bepaalde dingen op een bepaalde manier werken in de biologie. Ja.

437
01:06:37.360 --> 01:06:44.220
Waarschijnlijk weten ze ook andere dingen die wij niet weten. Juist. Hij heeft allemaal correlaties gelegd die helemaal nog niet door wetenschappers zijn ontdekt. Precies.

438
01:06:44.260 --> 01:06:54.664
En hoe krijg je die eruit?Dus, dus je zou je kunnen voorstellen dat op een gegeven, laten we zeggen je hebt een theoretisch machine learning model, die heeft alle YouTube video's gekeken en die zegt op een gegeven moment: god, wat lijkt het er toch op dat alles van boven naar beneden valt.

439
01:06:54.694 --> 01:07:02.844
Dat is grappig en het gebeurt ongeveer met deze snelheid. Er is een gravity constant op aarde, zeg maar. Ja, hoe denk je dat jouw kinderen, want je hebt kinderen,

440
01:07:03.804 --> 01:07:15.204
hoe denk je, in wat voor wereld leven die als die jouw leeftijd hebben? Ik denk dat die twee tot drie dagen per week werken, veel plezier hebben, uh, en voornamelijk meer creatief werk doen. Meer complex werk doen.

441
01:07:15.264 --> 01:07:20.204
Het is grappig, je bent, je kijkt hier heel serieus bij opeens. Ja, ik denk dat zij echt een leuker leven hebben dan wij.

442
01:07:20.284 --> 01:07:26.984
Ja, als we de aarde, uh, zeg maar kunnen unfucken, als in die staat wel in de fik en dat moeten we wel oplossen.

443
01:07:27.024 --> 01:07:40.124
Ik denk dat dat een veel groter probleem is dan, dan, dan technologie die, uh, ja, die zeg maar bepaalde taken van je overneemt. Maar, maar je zegt twee dagen, drie dagen werken in de week. Dat, dat komt omdat?

444
01:07:40.644 --> 01:07:46.944
Omdat we een enorme productiviteitsboost gaan zien in de komende vijf jaar. In de komende vijf jaar. Ja. Wat verwacht je dan?

445
01:07:47.684 --> 01:07:54.824
Ja, want als jij, als jij ineens en je ziet het nu al, hè, je hebt de eerste papers zeg maar waar mensen bedrijven gewoon direct vergelijken op bepaalde administratieve taken bijvoorbeeld.

446
01:07:54.884 --> 01:08:03.544
Dan zie je gewoon dat mensen met dit soort shit gewoon twee keer zo snel gaan als mensen die dat niet doen. Ja. Nou, dat betekent voor ons als samenleving dat er ineens veel meer productiviteit is.

447
01:08:03.784 --> 01:08:14.084
En productiviteitsgroei is uiteindelijk goed voor onze welvaart. Oké, dus ze hoeven minder werk te doen. En het werk dat ze dan doen, dat is onderscheidender. Ja, dat is leuker. Ja. Waarom leuker?

448
01:08:14.744 --> 01:08:24.644
Ja, omdat, dat mensen, uh, eigenlijk in, in onze hele geschiedenis hebben altijd het werk wat het meest vervelend is als eerste weggehaald. Ja. En ik vermoed dat dat hier ook weer zo gaat gebeuren.

449
01:08:24.804 --> 01:08:29.544
Dus mechanisch werk was niet lachen in een of andere donkere fabriek. Een beetje, beetje ergens aan trekken, dat was niet leuk.

450
01:08:29.664 --> 01:08:34.914
Nou, dat zijn we gaan mechaniseren en, uh, rondrennen was niet leuk, dus op een gegeven moment zijn we dat gaan mechaniseren.

451
01:08:35.424 --> 01:08:44.344
En ik denk dat er heel veel cognitieve taken zijn die niet leuk zijn, dus die gaan we als eerste automatiseren. En je zegt creatiever omdat dat gewoon het moeilijkst te automatiseren valt. Of?

452
01:08:45.264 --> 01:08:53.864
Ja, maar ook omdat dat, dat, dat is leuk, zeg maar. Ik bedoel, dat zie je ook als je kijkt naar de afgelopen paar decades. We zijn gewoon steeds meer vrije tijd gaan hebben en steeds meer leuke dingen gaan doen.

453
01:08:53.884 --> 01:09:02.864
Mijn overgrootvader die had zeg maar, die werkte zes dagen per week en op zondag ging hij naar de kerk en dat was het, zeg maar. Ja, die trend gaat zich doorzetten. Ik denk dat die zich gaat doorzetten, ja.

454
01:09:02.924 --> 01:09:10.804
Ik kan niet anders dan toch even zeggen dat alle productiviteit die we tot nu toe erbij hebben gewonnen niet heel erg gerele-, gerele-- hoe zeg je dat?

455
01:09:12.124 --> 01:09:21.784
Die trend die jij nu beschrijft als je zegt: we gaan van zestig naar veertig uur, als dat de trend is à la, maar sinds de spreadsheet werkt merendeel van de wereld veertig uur en meer.

456
01:09:22.164 --> 01:09:28.364
Dus daar zit, daar zit, ik bedoel, ik zie dat dan nog niet. Dus dat is dan toch weer even mijn, uh. Maar dat ligt wel een beetje aan je tijdschaal.

457
01:09:28.424 --> 01:09:34.754
Dus ik denk wel dat het waar is dat de, er is een klein bumpje in de laatste aantal jaar, omdat er veel meer administratieve taken bij zijn gekomen.

458
01:09:34.784 --> 01:09:40.244
Omdat we veel meer met elkaar communiceren en veel meer informatie uitwisselen. Enter. [lacht] Ja, nee, precies.

459
01:09:40.264 --> 01:09:56.884
Dus, nee, maar, dus, d-dan is het de belofte van de automatisering die in mijn ogen niet echt uitgekomen is, gaat nu toch uitkomen omdat het een cognitieve automatisering is en de cognitieve overhead die is ontstaan door de vorige automatisering deze keer mee geautomatiseerd wordt.

460
01:09:57.224 --> 01:10:08.224
Zeg ik dat goed? Ja, alleen, en nogmaals, de premisse is in de laatste jaren, en niet decades, dus. Ja, ja, ja. Maar vijf jaar Stef, dat, ik, w-, ik, daar, daar rammelt mijn, uh, hoofd nog een beetje van.

461
01:10:08.784 --> 01:10:16.204
Dit is echt zo korte termijn. Ja, dat denk ik wel, ja. En alle systemen binnen de samenleving zijn gebouwd op de aanname, of niet op die aanname.

462
01:10:16.244 --> 01:10:33.544
Dus, de, want even voor de luisteraar en ook voor jullie beiden, ik krijg het niet goed onder woorden, maar mijn, mijn enige nuance op het hele verhaal is, want ik kan jou echt goed volgen en er zit een enorme optimist in mij die amper zichtbaar is voor de luisteraar, is, ik, ik denk dat ik het heel, een heel groot deel met je eens ben.

463
01:10:33.584 --> 01:10:48.264
Ik denk alleen dat simpelweg de enige factor snelheid en momentum in dit fenomeen, mogelijk voor, in mijn ogen zeker, gaat zorgen voor bijeffecten voor ons grote samenlevingssamenwerkingsproject.

464
01:10:48.804 --> 01:10:57.644
Waar ik, daar heb ik mijn zorgen bij. En ook dat al die mooie dingen die ik echt geloof. Want hoe meer ik met deze technologie werk, hoe enthousiaster ik erover word.

465
01:10:57.694 --> 01:11:04.404
De optimist in mij word-wordt echt wakker, is dat ik denk: oh, laten we alsjeblieft zorgen dat we het niet verpesten met elkaar.

466
01:11:04.804 --> 01:11:08.514
Dat we deze mooie technologie op een bepaalde manier niet kunnen gebruiken omdat het zo'n slechte naam krijgt.

467
01:11:08.544 --> 01:11:16.784
Ik denk misschien het, v-, het, uh, laten we zeggen, uh, het verschil tussen, tussen ons, denk ik, is dat, ik ga ervan uit dat we een paar dingen gaan verpesten.

468
01:11:17.384 --> 01:11:26.824
Niet op een schaal die desastreus is, maar op een schaal die vervelend is. Uh, en we gaan dat corrigeren. En dat is eigenlijk hoe technologie altijd heeft gewerkt. Het is waarom we nu

469
01:11:27.804 --> 01:11:37.404
riemen in auto's hebben, weet je wel. Dus. Ja. Ja. Wat denk je dat we gaan verpesten? Wat ligt voor de hand? Nou ja, waar we het net over hebben gehad, die, die bias gaat echt een probleem zijn.

470
01:11:37.464 --> 01:11:47.264
We gaan steeds meer voorbeelden zien van mensen die met hele grote overtuiging gaan zeggen: cool, ik denk dat we ontzettend moeten oppassen dat onze scholen niet verworden tot mensen die dingen copy pasten in ChatGPT, zeg maar.

471
01:11:47.724 --> 01:12:00.184
Uh, hè, dus dat, dat zijn absoluut thema's waar we wat mee moeten doen. Ja, maar we komen er wel weer uit. Ja, en misschien is dat de optimist in mij. Ja. Dank. Dat siert je. En dank je wel. Dank jullie wel.

472
01:12:01.044 --> 01:12:08.794
Oh trouwens, volgende week is er geen aflevering door de herfstvakantie en de week daarna zijn we er weer wel. Dag! [muziek]