Wat zijn Deepfake-video's en ontdek ze in een oogwenk

Wat zijn Deepfake-video's en ze detecteren Knipperen van een oog

Een nieuwe vorm van verkeerde informatie is klaar om zich via online communities te verspreiden, terwijl de 2018-verkiezingscampagnes voor de middellange termijn worden opgestart. Genaamd "deepfakes" na de pseudoniem online account dat de techniek populair maakte - die mogelijk zijn naam heeft gekozen omdat het proces een technische methode gebruikt die 'diep leren' wordt genoemd - deze nep-video's zien er erg realistisch uit.

Tot nu toe hebben mensen deepfake-video's gebruikt pornografie en satire om te laten zien dat beroemde mensen dingen doen die ze normaal niet zouden doen.

Maar het is bijna zeker deepfakes verschijnen tijdens het campagneseizoen, bewerend om kandidaten af ​​te schilderen dingen zeggen of naar plaatsen gaan waar de echte kandidaat dat niet zou doen.

Het is Barack Obama - of toch?

Omdat deze technieken zo nieuw zijn, hebben mensen problemen om het verschil te zien tussen echte video's en de deepfake-video's. Mijn werk, met mijn collega Ming-Ching Chang en onze Ph.D. student Yuezun Li, heeft een manier gevonden om betrouwbare vertel echte video's van deepfake video's. Het is geen permanente oplossing, omdat de technologie zal verbeteren. Maar het is een begin en biedt hoop dat computers mensen kunnen helpen om de waarheid te vertellen vanuit fictie.

Wat is een 'deepfake' eigenlijk?

Het maken van een deepfake-video lijkt veel op vertalen tussen talen. Diensten zoals Google Vertalen gebruik machine learning - computeranalyse van tienduizenden teksten in meerdere talen - naar detecteer patronen voor woordgebruik die ze gebruiken om de vertaling te maken.

Deepfake-algoritmen werken op dezelfde manier: ze gebruiken een soort machine-leersysteem genaamd a diep neuraal netwerk om de gezichtsbewegingen van één persoon te onderzoeken. Vervolgens synthetiseren ze beelden van het gezicht van een andere persoon en maken ze analoge bewegingen. Als je dit effectief doet, wordt een video gemaakt van de doelpersoon die de dingen doet of zegt die de bronpersoon deed.

Hoe deepfake-video's zijn gemaakt.

Voordat ze goed kunnen werken, hebben diepe neurale netwerken veel broninformatie nodig, zoals foto's van personen die de bron of het doelwit zijn van imitatie. Hoe meer beelden worden gebruikt om een ​​deepfake-algoritme te trainen, hoe realistischer de digitale imitatie zal zijn.

Knipperen detecteren

Er zijn nog steeds gebreken in dit nieuwe type algoritme. Een van hen heeft te maken met hoe de gesimuleerde gezichten knipperen - of niet. Gezonde volwassen mensen knipperen ergens tussen elke 2 en 10 secondenen één keer knipperen duurt tussen een tiende en vier tienden van een seconde. Dat is wat normaal is om te zien in een video van een persoon die praat. Maar het is niet wat er gebeurt in veel deepfake-video's.

Een echte persoon knippert tijdens het praten.

Een gesimuleerd gezicht knippert niet zoals een echt persoon.

Wanneer een deepfake-algoritme wordt getraind in gezichtsbeelden van een persoon, is dit afhankelijk van de foto's die op internet beschikbaar zijn en die als trainingsgegevens kunnen worden gebruikt. Zelfs voor mensen die vaak gefotografeerd worden, zijn er maar weinig afbeeldingen beschikbaar die hun ogen gesloten tonen. Niet alleen zijn foto's zo zeldzaam - omdat de ogen van mensen meestal open zijn - maar fotografen publiceren meestal geen beelden waarbij de ogen van de hoofdpersonen gesloten zijn.

Zonder trainingsfoto's van knipperende mensen, zullen diepgaande algoritmen minder snel gezichten creëren die normaal knipperen. Toen we de totale knipperfrequentie berekenden en die vergeleken met het natuurlijke bereik, ontdekten we dat personages in deepfake-video's een stuk minder vaak knipperen in vergelijking met echte mensen. Ons onderzoek gebruikt machine learning om onderzoek oog openen en sluiten in video's.

Dit geeft ons een inspiratie om deepfake-video's te detecteren. Vervolgens ontwikkelen we een methode om te detecteren wanneer de persoon in de video knippert. Om specifieker te zijn scant het elk frame van een video in kwestie, detecteert het de gezichten erin en lokaliseert vervolgens automatisch de ogen. Vervolgens maakt het gebruik van een ander diep neuraal netwerk om te bepalen of het gedetecteerde oog open of dicht is, met behulp van het uiterlijk van het oog, geometrische kenmerken en beweging.

We weten dat ons werk misbruik maakt van een tekortkoming in het soort gegevens dat beschikbaar is om deepfake-algoritmen te trainen. Om te voorkomen dat we ten prooi vallen aan een soortgelijke fout, hebben we ons systeem getraind in een grote bibliotheek met afbeeldingen van zowel open als gesloten ogen. Deze methode lijkt goed te werken en als gevolg daarvan hebben we een detectiepercentage van meer dan 95 procent behaald.

Dit is natuurlijk niet het laatste woord over het detecteren van deepfakes. De technologie is snel verbeterenen de concurrentie tussen het genereren en detecteren van valse video's is analoog aan een schaakspel. In het bijzonder kan knipperen worden toegevoegd aan deepfake-video's door gezichtsbeelden met gesloten ogen op te nemen of videofragmenten te gebruiken voor training. Mensen die het publiek in verwarring willen brengen, zullen beter worden in het maken van valse video's - en wij en anderen in de technologiegemeenschap zullen manieren moeten blijven vinden om ze te detecteren.The Conversation

Over de auteur

Siwei Lyu, universitair hoofddocent computerwetenschappen; Directeur, Computer Vision en Machine Learning Lab, University at Albany, State University of New York

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees de originele artikel.

Verwante Boeken

{amazonWS: searchindex = Books; keywords = Deepfake Videos; maxresults = 3}

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

volg InnerSelf op

facebook-icontwitter-iconrss-icoon

Ontvang de nieuwste via e-mail

{Emailcloak = off}