Belangrijkste afhaalrestaurants
- Het AI-systeem genaamd DALL-E2 lijkt zijn eigen systeem voor schriftelijke communicatie te hebben gecreëerd.
- Sommige experts zeggen dat de schijnbare taal gewoon wartaal is.
- Het is een voorbeeld van hoe moeilijk het is om de resultaten van geavanceerde AI-systemen te interpreteren.
Het lijkt erop dat kunstmatige intelligentie (AI) zijn eigen taal heeft ontwikkeld, maar sommige experts staan sceptisch tegenover de bewering.
OpenAI's tekst-naar-beeld AI-systeem genaamd DALL-E2 lijkt zijn eigen systeem van schriftelijke communicatie te hebben gecreëerd. Het is een voorbeeld van hoe moeilijk het is om de resultaten van geavanceerde AI-systemen te interpreteren.
"Vanwege de omvang en diepte van grote modellen is het erg moeilijk om modelgedrag te verklaren", vertelde Teresa O'Neill, de directeur van oplossingsarchitectuur voor het begrijpen van natuurlijke taal bij iMerit, aan Lifewire in een e-mailinterview. "Dit is een van de belangrijkste uitdagingen, en in sommige gevallen ethische kwesties met steeds krachtigere modellen. Als we niet kunnen verklaren waarom ze zich gedragen zoals ze doen, kunnen we hun gedrag dan voorspellen of in overeenstemming houden met onze normen en verwachtingen?"
AI Chats
Informaticastudent Giannis Daras merkte onlangs op dat het DALLE-2-systeem, dat afbeeldingen maakt op basis van tekstinvoer, onder bepaalde omstandigheden onzinwoorden als tekst zou retourneren.
"Een bekende beperking van DALLE-2 is dat het worstelt met tekst", schreef hij in een paper gepubliceerd op preprint-server Arxiv. "Bijvoorbeeld, tekstprompts zoals: 'Een afbeelding van het woord vliegtuig' leiden vaak tot gegenereerde afbeeldingen die warta altekst weergeven."
Maar, schreef Daras, er zit misschien een methode achter het schijnbare gebrabbel. "We ontdekken dat deze geproduceerde tekst niet willekeurig is, maar eerder een verborgen vocabulaire onthult dat het model intern lijkt te hebben ontwikkeld", vervolgde hij. "Als het model bijvoorbeeld wordt gevoed met deze wartaal, produceert het vaak vliegtuigen."
In zijn tweet wees Daras erop dat toen DALLE-2 werd gevraagd om een gesprek tussen twee boeren te ondertitelen, het hen liet zien praten, maar de tekstballonnen waren gevuld met wat leek op onzinnige woorden. Maar Daras ontdekte dat de woorden voor de AI hun eigen betekenis leken te hebben: de boeren hadden het over groenten en vogels.
Nicola Davolio, de CEO van technologiebedrijf Hupry, dat met AI werkt, legde in een e-mailinterview aan Lifewire uit dat de taal is gebaseerd op symbolen die het DALL-E2-systeem heeft leren associëren met bepaalde concepten. Het symbool voor "hond" kan bijvoorbeeld gerelateerd zijn aan de afbeelding van een hond, terwijl het symbool voor "kat" kan worden geassocieerd met een afbeelding van een kat. DALL-E2 heeft zijn taal gecreëerd omdat het hierdoor effectiever kan communiceren met andere AI-systemen.
Puzzels zoals het schijnbaar verborgen vocabulaire van DALL-E2 zijn leuk om mee te worstelen, maar ze brengen ook zwaardere vragen naar voren…
"De taal is samengesteld uit symbolen die op Egyptische hiërogliefen lijken en geen specifieke betekenis lijken te hebben", voegde hij eraan toe. "De symbolen zijn waarschijnlijk betekenisloos voor mensen, maar ze zijn volkomen logisch voor het AI-systeem omdat het is getraind op miljoenen afbeeldingen."
Onderzoekers geloven dat het AI-systeem de taal heeft gecreëerd om de relaties tussen afbeeldingen en woorden beter te begrijpen, zei Davolio.
"Ze weten niet zeker waarom het AI-systeem zijn taal heeft ontwikkeld, maar ze vermoeden dat het iets te maken heeft met hoe het leerde om afbeeldingen te maken", voegde Davolio eraan toe. "Het is mogelijk dat het AI-systeem zijn taal heeft ontwikkeld om de communicatie tussen verschillende netwerkonderdelen efficiënter te maken."
AI Mysteries
DALL-E2 is niet het enige AI-systeem dat zijn interne taal heeft ontwikkeld, benadrukt Davolio. In 2017 creëerde het AutoML-systeem van Google een nieuwe vorm van neurale architectuur, een 'kindernetwerk' genaamd, nadat het was overgelaten om te beslissen hoe een bepaalde taak het beste kon worden uitgevoerd. Dit kindernetwerk kon niet worden geïnterpreteerd door zijn menselijke makers.
"Deze voorbeelden zijn slechts enkele voorbeelden waarin AI-systemen manieren hebben ontwikkeld om dingen te doen die we niet kunnen verklaren", zei Davolio. "Het is een opkomend fenomeen dat in gelijke mate fascinerend en alarmerend is. Naarmate AI-systemen complexer en autonomer worden, kunnen we ons steeds meer in de positie bevinden dat we niet begrijpen hoe ze werken."
O'Neill zei dat ze niet denkt dat DALL-E2 zijn eigen taal creëert. In plaats daarvan zei ze dat de reden voor de schijnbare taalkundige uitvinding waarschijnlijk wat prozaïscher is.
"Een plausibele verklaring is een willekeurige kans - in een zo groot model kan een beetje van de wet van Murphy van toepassing zijn: als er iets raars kan gebeuren, zal het waarschijnlijk gebeuren", voegde O'Neill eraan toe. Een andere mogelijkheid die door onderzoeksanalist Benjamin Hilton wordt gesuggereerd in een Twitter-thread waarin de bevindingen van Daras worden besproken, is dat de vorm van de uitdrukking "apoploe vesrreaitais" de vorm van een Latijnse naam voor een dier nabootst. Dus het systeem heeft een nieuwe bestelling van Aves voortgebracht, voegde O'Neill eraan toe.
"Puzzels zoals het schijnbaar verborgen vocabulaire van DALL-E2 zijn leuk om mee te worstelen, maar ze belichten ook zwaardere vragen rond het risico, de vooringenomenheid en ethiek in het vaak ondoorgrondelijke gedrag van grote modellen," zei O'Neill.
