Een raceweekend omvat tegenwoordig ongeveer 4 miljard gesimuleerde races voordat er een wiel is gedraaid, en nog eens 4 miljard terwijl er wordt gereden. Elke simulatie omvat een complete race met andere variabelen. Regen vanaf ronde 30. Een safety car op 16, of op 46. Banden die sneller slijten dan het model dacht.
In het teamhome van Oracle Red Bull Racing spreek ik tijdens de laatste Nederlandse Grand Prix die Zandvoort ooit organiseert met Martin Galpin, hoofd Technology & Analysis Tools.
Hoe de data van elf jaar er vanbinnen uitziet
Hoe ziet het werk er nu anders uit dan elf jaar geleden?
„Formule 1 was altijd al vroeg met de filosofie van marginal gains en het gebruiken van data om beslissingen te nemen, omdat het altijd prestatiegericht is geweest. Toen ik tien jaar geleden binnenkwam, was het team al behoorlijk ver in zijn modellerings- en simulatiecapaciteiten. We zijn een van de weinige teams dat zijn eigen simulators bouwt, de hele stack.”
Het voorsprongverhaal wordt concreet zodra hij bij een jaartal komt. De eerste machinelearninggroep werd eind 2016 opgericht, in een tijd dat de meeste concurrenten daar nog niet over nadachten. „Het voordeel dat we hebben, is vijftien jaar ervaring in het bouwen van datagedreven systemen, terwijl een hoop andere teams later aan die reis zijn begonnen.”
„Eerlijk gezegd is een van de grootste veranderingen dat veel van de technologie die we nu gebruiken, dezelfde is als in andere industrieën. Vanuit datastreaming sluit je aan op Kafka of wat ook de industriestandaard is. Vijftien jaar geleden was dat heel anders. Alles was maatwerk en kwam uit een automotive-achtergrond.”
De explosie van de laatste generatie AI-toepassingen verschilt volgens hem van klassieke machine learning, en ook een team dat hier vijftien jaar ervaring mee heeft, is nog steeds ‘aan het uitzoeken wat de juiste plek is om het toe te passen voor het maximale effect’.
Waarom acht miljard en niet twee
Het getal dat rondzingt bij Oracle Red Bull Racing is 8 miljard Monte Carlo-simulaties per raceweekend: ongeveer 4 miljard vooraf en 4 miljard tijdens de race, uitgevoerd op de naamgevende Oracle Cloud Infrastructure. Ik wilde weten waar dat getal vandaan komt. Waarom acht miljard en niet twee, of zestig?
„Wat het aantal echt bepaalt bij zo’n grote Monte Carlo-simulatie, is het punt waarop simulaties te veel op elkaar gaan lijken. Het is enerzijds een vermenigvuldiging van het aantal variabelen en anderzijds het punt waarop simulaties zijn geconvergeerd en de resultaten stabiel zijn.”
Acht miljard is dus niet uit de lucht gegrepen. Het is het punt waarop je kunt vertrouwen op wat eruit komt. Hannah Schmitz en het strategieteam op de pitmuur krijgen daar een A-, B- en C-plan uit, waarna een mens de knoop doorhakt.
Wat LLM’s toevoegen aan vijftien jaar machine learning
Als je het voorspellende werk al vijftien jaar met klassieke methodes doet, wat voegen LLM’s en transformermodellen daar dan aan toe?
„Het doel van elke organisatie zoals de onze is dat je voorspellend wilt zijn in plaats van retrospectief. Veel van wat we vanuit analyse doen, is dat je een probleem hebt en terugwerkt naar de oorzaak. Het doel is natuurlijk dat je die problemen vindt voordat ze optreden.”
„Waar LLM’s, of misschien eerder reasoning-modellen, meer kansen hebben, is juist die vooruitkijkende, voorspellende analyse: redeneren over data op een manier die je met klassieke systemen niet automatisch voor elkaar krijgt. Ze zullen andere methodologieën voor data-analyse niet vervangen, maar ze kunnen wel het begrip aandrijven dat je via die methodologieën krijgt. Daar gaat de hele industrie naartoe.”
Wat hem daarbij het meest bezighoudt, is uitlegbaarheid. Neurale netwerken zijn heel goed in het voorspellen van een output, zegt hij, en ‘een stuk lastiger te begrijpen als het gaat om waarom ze die output voorspelden’.
Die gevoeligheden begrijpen en kunnen uitleggen hoe je tot een resultaat bent gekomen ‘is echt belangrijk, zeker in de hitte van het moment’. Op een pitmuur met een safety car op de baan is een antwoord zonder onderbouwing weinig waard.
Open weights versus frontier
Hoe kijkt het team aan tegen de commerciële frontier-modellen uit de VS en de open-weightsmodellen uit China die op verschillende publieke benchmarks zeer goed presteren?
„Op dit moment is het volgens onze analyses en benchmarks nog steeds goedkoper om de frontier-modellen te gebruiken dan de open-weightsmodellen. Als je kijkt naar capaciteit versus kosten: neem Qwen of een van de andere open-weightsmodellen. Het model is gratis, maar de hardware om het te draaien is duurder. Het komt niet goedkoper uit. En bij de laatste generatie frontier-modellen wordt het capaciteitsverschil juist groter.”
Een recente trend in de cybersecuritycapaciteiten van de nieuwste frontier-modellen is dat ze steeds langer aan een specifieke taak kunnen werken voordat ze vergeten waar ze aan begonnen waren. Deze nieuwe capaciteit, waarbij een model soms 17 uur aan een taak kan werken, biedt Oracle Red Bull Racing op dit moment echter geen doorslaggevend voordeel, aldus Galpin.
„Wat wel waar is, is dat je een veel groter vermogen ziet om instructies op te volgen, en ik denk dat dat meer verschil maakt. Achttien maanden geleden was het heel normaal dat het opvolgen van instructies de beperking was. Je wilt dat het model een taak uitvoert en het doet het gewoon niet, of het doet iets wat net niet hetzelfde is.”
„Die problemen ben ik al heel lang niet meer tegengekomen. En ik zie veel minder hallucinaties dan achttien maanden geleden. Hallucinaties zijn normaal gesproken het resultaat van een blinde vlek in de context. Het model probeert te redeneren over iets waar het geen toegang toe heeft, dus hallucineert het wat het mist.”
De oorzaak ligt volgens hem dus zelden bij het model en bijna altijd bij wat je het model wel of niet hebt meegegeven. Het probeert te redeneren over iets waar het niet bij kan en vult het gat zelf. Dat verklaart ook waarom hij een deel van de verbetering van de afgelopen anderhalf jaar niet aan de modellen toeschrijft, maar aan de mensen eromheen, die simpelweg beter zijn geworden in contextengineering.
De budgetcap is het echte IT-probleem
Welke IT-uitdagingen komen jullie op dit moment het meest tegen?
„Het grootste probleem dat we nu altijd hebben, is kostenbeheersing. Wat je ook doet, je wilt meer rekenkracht en tegenwoordig ook meer tokens. Dus wat we ook doen, simulatie, modellering, toepassing van AI, de belangrijkste beperking in F1 is tegenwoordig altijd kosten. Dat maakt het nog belangrijker dan vroeger dat je dingen toepast op het meest impactvolle probleem.”
„Oracle is daar heel goed voor geweest bij de racestrategie. In Oracle Cloud Infrastructure (OCI) zetten we een uur voor de race een enorm cluster aan, laten we het tijdens de race draaien en zetten we het daarna uit. Het kost ons een fractie van wat het zou kosten om al die rekenkracht te kopen. En er zijn nu andere problemen in het team waarbij het kopen van een cluster voor ons eigen datacenter onder de budgetcap gewoon geen optie meer is. In de cloud kunnen we die dingen nog wel doen.”
Oracle stapte in maart 2021 in als officiële cloudinfrastructuurpartner, werd in 2022 titelpartner en verlengde dat partnerschap in februari van dit jaar met een meerjarige deal. Precies in het seizoen waarin de nieuwe hybride krachtbron van Red Bull Ford Powertrains debuteerde, werd die ontworpen en getest op OCI.
„De bottleneck was vroeger onze rekenkracht, maar die hebben we met de toegenomen verwerkingscapaciteit van Oracle kunnen omzeilen. De bottleneck is ook zeker niet de mensen, we hebben een aantal van de beste mensen die er zijn. En we hebben immens veel data, dus daar zit het ook niet.”
„De bottleneck komt neer op het stellen van de juiste vragen. Bij deze processen gaat het erom of je de juiste vraag stelt om de uitkomst te krijgen die je nodig hebt. We willen geen wegen inslaan die een antwoord opleveren dat niet bruikbaar is voor de beslissing die we willen nemen. Het gaat erom dat we efficiënter worden in de vragen die we aan de systemen stellen.”
Ontvang elke week het beste van BusinessWise in je mailbox. Schrijf je hier nu gratis in:
