Belangrijkste afhaalrestaurants
- Onderzoekers hebben technieken ontwikkeld waarmee gebruikers de resultaten van het gedrag van een machine learning-model kunnen rangschikken.
- Experts zeggen dat de methode aantoont dat machines het denkvermogen van mensen inhalen.
- Vooruitgang in AI kan de ontwikkeling van het vermogen van computers om taal te begrijpen versnellen en een revolutie teweegbrengen in de manier waarop AI en mensen met elkaar omgaan.
Een nieuwe techniek die het redeneervermogen van kunstmatige intelligentie (AI) meet, laat zien dat machines mensen inhalen in hun denkvermogen, zeggen experts.
Onderzoekers van MIT en IBM Research hebben een methode ontwikkeld waarmee een gebruiker de resultaten van het gedrag van een machine learning-model kan rangschikken. Hun techniek, Shared Interest genaamd, bevat statistieken die vergelijken hoe goed het denken van een model overeenkomt met dat van mensen.
"Tegenwoordig is AI in staat om menselijke prestaties te bereiken (en in sommige gevallen zelfs te overtreffen) in specifieke taken, waaronder beeldherkenning en taalbegrip", Pieter Buteneers, technisch directeur machine learning en AI bij de communicatie bedrijf Sinch, vertelde Lifewire in een e-mailinterview. "Met natuurlijke taalverwerking (NLP) kunnen AI-systemen zowel talen als mensen interpreteren, schrijven en spreken, en de AI kan zelfs zijn dialect en toon aanpassen aan zijn menselijke leeftijdsgenoten."
Kunstmatige Smarts
AI levert vaak resultaten op zonder uit te leggen waarom die beslissingen juist zijn. En tools die experts helpen de redenering van een model te begrijpen, bieden vaak alleen inzichten, slechts één voorbeeld tegelijk. AI wordt meestal getraind met behulp van miljoenen gegevensinvoer, waardoor het moeilijk is voor een mens om voldoende beslissingen te evalueren om patronen te identificeren.
In een recent artikel zeiden de onderzoekers dat Shared Interest een gebruiker kan helpen trends in de besluitvorming van een model te ontdekken. En met deze inzichten kan de gebruiker beslissen of een model klaar is om te worden geïmplementeerd.
“Bij het ontwikkelen van Shared Interest is ons doel om dit analyseproces op te schalen, zodat u op een meer globaal niveau kunt begrijpen wat het gedrag van uw model is,” Angie Boggust, een co-auteur van het artikel, zei in het persbericht.
Shared Interest maakt gebruik van een techniek die laat zien hoe een machine learning-model een bepaalde beslissing nam, ook wel saliency-methoden genoemd. Als het model afbeeldingen classificeert, markeren saliency-methoden delen van een afbeelding die belangrijk zijn voor het model wanneer het zijn beslissing neemt. Shared Interest werkt door saliency-methoden te vergelijken met door mensen gegenereerde annotaties.
Onderzoekers gebruikten Shared Interest om een dermatoloog te helpen bepalen of hij een machine learning-model moest vertrouwen dat is ontworpen om kanker te diagnosticeren op basis van foto's van huidlaesies. Gedeelde interesse stelde de dermatoloog in staat om snel voorbeelden te zien van de juiste en onjuiste voorspellingen van het model. De dermatoloog besloot dat hij het model niet kon vertrouwen omdat het te veel voorspellingen deed op basis van beeldartefacten in plaats van werkelijke laesies.
“De waarde hier is dat we met gedeelde interesse deze patronen kunnen zien opduiken in het gedrag van ons model. In ongeveer een half uur was de dermatoloog in staat om te beslissen of hij het model al dan niet vertrouwde en of hij het al dan niet zou inzetten, zei Boggust.
De redenering achter de beslissing van een model is belangrijk voor zowel de machine learning-onderzoeker als de beslisser.
Voortgang meten
Het werk van MIT-onderzoekers kan een belangrijke stap voorwaarts zijn voor de vooruitgang van AI in de richting van intelligentie op menselijk niveau, zei Ben Hagag, hoofd onderzoek bij Darrow, een bedrijf dat algoritmen voor machine learning gebruikt, in een e-mailinterview aan Lifewire..
“De redenering achter de beslissing van een model is belangrijk voor zowel de machine learning-onderzoeker als de beslisser,” zei Hagag. "De eerste wil begrijpen hoe goed het model is en hoe het kan worden verbeterd, terwijl de laatste een gevoel van vertrouwen in het model wil ontwikkelen, dus ze moeten begrijpen waarom die output werd voorspeld."
Maar Hagag waarschuwde dat het MIT-onderzoek is gebaseerd op de veronderstelling dat we menselijk begrip of menselijk redeneren begrijpen of kunnen annoteren.
“Er is echter een mogelijkheid dat dit niet juist is, dus er is meer werk nodig om de menselijke besluitvorming te begrijpen,” voegde Hagag eraan toe.
Vooruitgang in AI zou de ontwikkeling van het vermogen van computers om taal te begrijpen kunnen versnellen en een revolutie teweeg kunnen brengen in de manier waarop AI en mensen met elkaar omgaan, zei Buteneers. Chatbots kunnen honderden talen tegelijk begrijpen, en AI-assistenten kunnen teksten scannen op antwoorden op vragen of onregelmatigheden.
“Sommige algoritmen kunnen zelfs identificeren wanneer berichten frauduleus zijn, wat zowel bedrijven als consumenten kan helpen om spamberichten te verwijderen”, voegde Buteneers toe.
Maar, zei Buteneers, AI maakt nog steeds fouten die mensen nooit zouden maken. "Hoewel sommigen zich zorgen maken dat AI menselijke banen zal vervangen, is de realiteit dat we altijd mensen nodig zullen hebben die samen met AI-bots werken om ze onder controle te houden en deze fouten op afstand te houden, terwijl we een menselijke maat in het bedrijfsleven behouden", voegde hij eraan toe.
