Het regende dollars en zettaflops tijdens de Oracle AI World in Las Vegas. Oracle greep het event aan voor de lancering van zijn nieuwe AI Data Platform, waar alle onderdelen die je nodig hebt voor de meest geavanceerde AI-toepassingen vooraf zijn ingebakken. Kroonjuweel van het platform is de Zettascale10, oftewel 's wereld krachtigste AI-supercomputer in de cloud
(zie ook het kader: De duizelingwekkende rekenkracht van de AI native stack).
„Wij spelen hiermee in op de snel groeiende behoefte aan nieuwe, specifiek op AI gerichte IT-infrastructuur", vertelt Neil Sholay, VP AI Business Value van Oracle, tijdens een exclusief interview met BusinessWise. „Die moet beter kunnen omgaan met de hoge eisen die AI-technologie stelt aan zaken als rekenkracht, dataverwerking, energieverbruik, bandbreedte en koeltechnologie."
Opkomst van de AI-native stack
Om dat mogelijk te maken is het zaak om ontwerp en productie van AI-modellen, chips en datacentra vanaf dag 1 zoveel mogelijk op elkaar af te stemmen binnen een zogenaamde AI-native stack. Dat is tevens een belangrijke drijfveer achter de steeds nauwere samenwerking van Oracle met OpenAI en chipproducent Nvidia, en de miljardeninvesteringen die deze bedrijven recent aankondigden.
„Een AI-native stack verwijst naar een technologie-architectuur die specifiek vanaf de basis voor AI-gebruik is ontworpen", aldus Sholay, „dus niet als toevoeging of plug-in bovenop bestaande IT-systemen. In deze benadering zijn alle lagen van de 'stapel', van infrastructuur tot applicatie, geoptimaliseerd om AI-modellen te trainen, in te zetten en continu te verbeteren."
Sholay leidt een team van senior data scientists, consultants en andere experts. Samen helpen zij Oracle's strategische klanten in Europa, het Midden-Oosten en Afrika om optimaal gebruik te maken van de laatste mogelijkheden van AI-technologie. Een van zijn belangrijkste focuspunten is de vereiste ontwikkeling van horizontale naar verticale AI-integratie.
De duizelingwekkende rekenkracht van de AI native stack
De Zettascale10 supercomputer is het kroonjuweel in Oracle's AI native stack. Zoals elke AI-toepassing is rekenkracht is een cruciale factor in deze specifiek voor AI-toepassingen ontwikkelde infrastructuur. "Bij traditionele cloudoplossingen draait software via verschillende lagen", legt Sholay uit. "Elke tussenlaag zorgt voor een kleine vertraging. Dat tikt al snel aan als je miljoenen berekeningen per seconde uitvoert. In de AI native stack draaien de AI-toepassingen letterlijk in de nieuwste chips van Nvidia."
Hiernaast is er ook nieuwe technologie ('Remote Direct Memory Access', RDMA) waarmee computers over een netwerk direct elkaars geheugen kunnen benaderen, zonder dat de processors of besturingssystemen van beide computers daarbij betrokken zijn. Mede daardoor kan de Zettascale10 supercomputer honderdduizenden NVIDIA GPU's combineren tot een piekprestatie van 16 zettaFLOPS. Het woord 'zetta' staat voor duizend triljard. Eén zettaflop betekent dat een supercomputer 1.000.000.000.000.000.000.000 rekensommen per seconde kan uitvoeren.
Van general purpose naar vertical AI
„Verreweg de meeste AI-toepassingen die we nu tegenkomen liggen als een laagje over bestaande IT-toepassingen heen", vertelt Sholay. „Dat zijn vooral general purpose AI-technologieën, zoals digital assistants en chatbots, die breed worden ingezet voor productiviteit en betere user experience. Niets mis mee, en het is een makkelijke manier om te experimenteren met AI. Maar als je de investering naast de return on investment legt, levert dat regelmatig te weinig op om je CFO te overtuigen."
De gesprekken die Sholay met zijn cliënten voert gaan daarom meestal over Vertical AI. „Daarbij breng je alle belangrijke workflows en bedrijfsprocessen in kaart die door de gehele organisaties lopen", legt hij uit. „Elke organisatie heeft waarschijnlijk 30 tot 80 kernprocessen die de identiteit en output definiëren. Die ga je 'van onder naar boven' volledig opnieuw inrichten, met de nieuwe mogelijkheden van AI-technologie als uitgangspunt. Dat vereist een fundamenteel andere mindset."
Lees ook - Oracle investeert 1 miljard dollar in AI en cloudinfrastructuur in Nederland
Sholay's team helpt met het verkrijgen van die mindset, en het verkennen van de nieuwste mogelijkheden van de nieuwste AI native. Goed voorbeeld is het recente AI-project voor een grote Britse bank. „De CFO van die bank heeft een team van 80 researchanalisten", vertelt Sholay. „Zij analyseren grote aantallen rapporten om bijvoorbeeld over zakelijke risico's te kunnen adviseren. Een LLM verwerkt die data veel sneller, maar komt nog niet tot hetzelfde hoogwaardige advies."
Pasklare reasoning agents en digital twins
De nieuwste Nvidia chips zijn voorzien honderden sectorspecifieke AI-oplossingen. Solay: "Zo konden we veel sneller dan voorheen een zogenaamde reasoning agent inzetten. Die observeert en leert nu hoe de menselijke analisten tot hun beslissingen komen en kan dat proces gaan repliceren. Natuurlijk hebben de analisten zelf het laatste woord, maar de snelheid waarmee de bank zo de allerlaatste AI-toepassingen kan toepassen neemt hierdoor enorm toe."
Andere spannende toepassing van deze zogenaamde NIM's (NVIDIA Inference Microservices) is de snelle uitrol van zogenaamde digital twins. „Die verwerken data uit een groot aantal sensoren, bijvoorbeeld uit een machine of gehele fabriek, om daar een gedetailleerd realtime spiegelbeeld van te produceren", legt Sholay uit. „Die kan het model gebruiken om bijvoorbeeld te voorspellen wanneer er iets kapot kan gaan, of uit te rekenen hoe het beter of efficiënter kan functioneren."
Digital twins op licentie
Sholay geeft het voorbeeld van een groot telecombedrijf, dat zo realtime in beeld brengt waar zijn netwerk over- of onderbelast wordt. Die kennis helpt om het netwerk doorlopend efficiënter te maken. „Tot nu toe zijn digital twins vaak duur maatwerk, en blijft gebruik door de vereiste miljoeneninvestering nog beperkt. Nu de basis voor deze mogelijkheden gewoon al is 'ingebakken' in je IT-infrastructuur, kunnen bedrijven hier massaal mee gaan experimenteren, tegen véél lagere licentiekosten."
Wat betekent dit volgens Sholay voor de verdere evolutie van AI-technologie in de komende jaren? „Op dit moment is de markt voor AI-training groot", antwoordt hij. „Gezien de genoemde ontwikkelingen lijkt het echter logisch dat de markt voor enterprise AI inferencing, oftewel de ontwikkeling van AI-toepassingen voor concrete enterprise use cases, de komende periode veel sneller gaat groeien. Bedrijven kunnen daardoor massaal op zoek gaan naar oplossingen voor hun eigen unieke uitdagingen. Ik verwacht daardoor een explosie aan spannende nieuwe toepassingen."
PROFIEL
Neil Sholay is VP AI Business Value bij Oracle, waar hij een team leidt van senior data scientists, AI value consultants en AI-experts. Zij ondersteunen strategische klanten in Europa, het Midden-Oosten en Afrika bij het oplossen van complexe businessproblemen met data, cloud en AI-technologie, met een sterke focus op het kwantificeren van AI-waarde.
In zijn 17 jaar bij Oracle heeft Sholay diverse leidinggevende rollen vervuld, waaronder Global VP Business Value voor de Strategic Clients Group en GVP voor de Oracle Strategic Initiatives Group. Eerder in zijn carrière werkte hij voor Sun Microsystems. Sholay studeerde aan IESE Business School en is gevestigd in Reading, Verenigd Koninkrijk.
Ontvang elke week het beste van BusinessWise in je mailbox, ook over AI, ook over technologie. Schrijf je hier nu gratis in: