Op 2 juni 2015 opende Facebook zijn AI-research lab in Frankrijk, een première voor Frankrijk, dat gepusht werd door Yann Lecun, Chief AI Scientist bij Facebook, die in Frankrijk een groot potentieel aan AI-talent zag. Het vakblad L’Usine Nouvelle interviewde vijf jaar later Antoine Bordes, Co-Managing Director van Facebook AI Research (FAIR), voor een terugblik op de afgelopen vijf jaar en een vooruitblik over de aankomende ontwikkelingen in het AI-onderzoek.

Succes
Antoine Bordes meent dat het FAIR-lab Parijs na vijf jaar een enorm succes is. Bij de start zat er een team van 5 personen. Nu zitten er 80 mensen in Parijs, een enorme groei voor een sterk concurrerend terrein als de AI. ‘Bovendien zijn onze wervingscriteria zeer streng. FAIR Parijs is zeker een van de beste AI-researchlabs ter wereld.’

Bordes zegt dat het vandaag de dag niemand meer verbaast als Frankrijk wordt geciteerd als topland op het gebied van AI. Facebook zelf was ook een stuk kleiner 5 jaar geleden. Nu is Parijs Facebook’s meest geavanceerde onderzoekscentrum met dat van Californië, aldus Bordes. Andere bedrijven zoals Google hebben in de stroom van President Macron dezelfde stap in Frankrijk gemaakt, maar Facebook was pionier. Een heel aantal Franse researchers is ervoor teruggekomen, maar er zijn ook Amerikanen werkzaam, in totaal 12 nationaliteiten.
Facebook heeft in vijf jaar samenwerkingen getekend met alle Franse AI-onderzoeksinstituten: INRIA, CNRS, PRAIRIE …. Het Amerikaanse bedrijf heeft niet minder dan 30 PhD’s in dienst via een zogenaamde CIFRE-overeenkomst, die als doel heeft doctorandi in het bedrijfsleven onderzoek te laten doen. Facebook doet mee aan bilaterale programma’s en co-financiert onderzoek. Zo heeft het de superrekencomputer Jean Zay, tijdens de crisis nog volop ingezet voor de strijd tegen het Covid-19 virus, voor 3 miljoen euro meegefinancierd. De bij Facebook opgeleide studenten blijven vaak bij het bedrijf maar sommigen zijn naar Google overgestapt of gaan hun eigen startup oprichten.

Wat zijn de belangrijkste projecten van FAIR Paris?
Inmiddels werden al meer dan 50 onderzoeksprojecten uitgevoerd. Ter illustratie drie ervan:
1. Vertaling zonder toezicht, zonder woordenboek, een project uit 2017. Facebook functioneert met 200 talen. Om deze live te vertalen, heb je 40.000 taalcombinaties nodig. Onmogelijk qua hoeveelheid data. Voor de zeldzame talen wordt nu dus dit geautomatiseerde systeem gebruikt.

2. Het Densepose-project uit 2018 met betrekking tot computervisie. Het systeem herkent lichaamsdelen door 5000 punten op het lichaam te volgen. Daardoor worden 2D- en 3D-beelden verkregen. Daar kunnen vervolgens wijzigingen in worden aangebracht, bijvoorbeeld om kleding van een persoon te verwisselen of te testen. Dit kan ook met dieren. Facebook gaat dit wetenschappelijk onderzoek dit jaar nog presenteren.
3. Het derde project is de BlenderBot en betreft conversaties via een chatbot. Het werd dit jaar in april gepubliceerd. Facebook heeft computerlearning gedaan met autonoom toezicht door de computer zelf via gebruikmaking van de data van Reddit. Daarmee is een model gemaakt met 9,4 miljard parameters, oftewel drie keer zoveel als voorheen. Dit model is veel beter gebleken dan alle bestaande chatbots, dankzij natuurlijkere en interessantere uitwisselingen.

Virtual reality
Facebook werkt ook veel samen met zijn VR-labs, de zogenaamde Facebook Reality Labs. Zoals bij het project DensePose waar veel met het VR-lab in Londen is samengewerkt. En zoals het projet Habitat, dat tussen robot en 3D-beelden in zit, om medewerkers te trainen om zich in virtuele omgevingen te bewegen. Dat gebeurt in Californië. Facebook Parijs werkt veel samen met Californië waar de technologie voor het maken van virtuele omgevingen ontwikkeld wordt, terwijl FAIR Parijs het AI-deel op zich neemt.

3D-perceptie, zelflerende systemen, vertalingen, detectie van haatdragende taal, het onderzoek gaat snel
We gaan naar een mix toe van VR en video, zegt Antoine Bordes. De uitdaging is om 3D makkelijk toegankelijk te maken, zonder speciale camera of gigantische rekencapaciteitsbehoefte. Met die technologie kun je op een gegeven moment een 3D-avatar maken door jezelf te scannen en jezelf vervolgens in een andere omgeving te plaatsen.
De zelflerende chatbot ‘Blenderbot’ (zie eerder) komt er ook over een paar jaar aan. Hierbij wordt zowel computervisie, als verwerking van natuurlijk taalgebruik als stemtechnologie toegepast. Qua beeld is Facebook bezig met autonome voor-trainingen die leiden tot resultaten die net zo goed zijn als de modellen die geleerd zijn met ImageNet (een database met beelden die gebruikt wordt voor AI-onderzoek voor computervisie). Voor de taal is Facebook al meer dan een jaar bezig met RoBERTa. Hiermee kunnen bijvoorbeeld haatdragende termen opgespoord worden. Het is gebaseerd op het XLM-project, dat Facebook in 2019 publiceerde. Dit is een verbeterde versie van het BERT-model van Google. Het systeem kan zichzelf trainen voor teksten in meerdere talen. Vervolgens pakt het een tekst in een twintigtal talen en kan daar de haatdragende termen uithalen. Voor de stem- en spraakherkenning heeft het wat langer geduurd. Yann Lecun is hier al 4 à 5 jaar mee bezig.

Aan de grenzen van AI
Een machine kan haatdragende termen opsporen en herkennen. Zal dit probleem daarmee opgelost kunnen worden dankzij AI?
Nee, aldus Antoine Bordes, want iemand kan iets op ironische toon zeggen, zonder het werkelijk te denken, of juist iets insinueren terwijl de bedoeling duidelijk veel verder gaat dan de letterlijke betekenis van de woorden. Dat wordt op dat moment bepaald door een culturele, actuele of historische context.
AI kan dus de mens ondersteunen maar nooit helemaal vervangen. Bordes ziet in de toekomst menselijke toezichthouders op het net, beter uitgerust dankzij AI.

Superrekencomputers
We zien een ontwikkeling naar steeds meer data en steeds sterkere computers met enorme rekencapaciteit, zoals bij de samenwerking tussen OpenAI en Microsoft. Ook Facebook doet hieraan mee met het zelflerende model: geen etiketten maar enorme hoeveelheden data. Daarom is er zeer sterke rekeninfrastructuur nodig waarmee op grote schaal geleerd wordt. Dat is belangrijk, maar Facebook werkt ook juist met kleine modellen die veel minder energie en geheugen verbruiken en in een telefoon ingebouwd kunnen worden. Modelcompressie noemt Facebook dat.

FAIR Parijs werkt ook op andere AI-gebieden. Robotica bijvoorbeeld, Facebook werkt aan onderwerpen die dicht tegen de wiskunde aanzitten, toegepast op de theorie van het leren. Facebook onderzoekt hoe een machine leert, hoe bepaalde zaken niet goed gaan, hoe dat voorkomen kan worden, hoe je kunt garanderen dat een systeem ethisch is.
Ook werkt Facebook op het gebied van cognische wetenschappen: hoe leert een mens, hoe herkent een kind een bepaald dier met slechts twee plaatjes? Facebook werkt hiervoor onder andere samen met Paris Sciences et Lettres en het Laboratoire de l’Ecole Normale Supérieure in Parijs.

AI maakt ongelofelijke vooruitgang. Vertalen bijvoorbeeld leek aanvankelijk een onmogelijk probleem om op te lossen, maar momenteel worden op dat gebied enorme sprongen vooruitgang geboekt. Ook op het gebied van 3D kunnen we veel vooruitgang verwachten.

Zelfs op het terrein van zeer ingewikkelde zaken als de redenering, wordt vooruitgang geboekt. Dat is zeker nog niet ver momenteel maar Facebook werkt aan projecten waar verschillende technieken worden gecombineerd met AI waardoor de systemen onderling bewijs aan elkaar leveren. Maar dit is vooralsnog in wiskundetermen.

Dan komt het bewustzijn, het goed gevoel, het gevoel voor de wereld…., gevoelszaken waarvan we het recept niet kennen. De wetenschap weet zelfs niet hoe deze vragen aan het pakken. Nadoen wat een baby doet? Alles aanleren, vele disciplines combineren? Moeten we een database bouwen met alle kennis die in de wereld aanwezig is ?
Antoine Bordes denkt dat er hiervoor nog een belangrijk wetenschappelijk ingrediënt ontbreekt, dat we misschien gaan ontdekken, maar misschien ook wel nooit.

Bron:
L’Usine Nouvelle