Op zoek naar de identiteit van vermiste migranten met behulp van kunstmatige intelligentie

Elk jaar verlaten honderdduizenden mensen hun huizen en landen op zoek naar een beter leven of om te ontsnappen aan geweld. Veel gewonden of doden zijn onderweg. Veel andere mensen verdwijnen zonder dat hun dierbaren weten of ze nog leven of dood zijn, of wat er met hen is gebeurd.

Volgens de International Organization for Migration (IOM) Missing Migrants Project zijn we sinds 2014 wereldwijd 45.000 migranten uit het oog verloren, waaronder 24.000 in de Middellandse Zee.

In 2020 werd de INSA-groep (Nationaal Instituut voor Toegepaste Wetenschappen) benaderd door het Transregionaal Forensisch Team van het Internationale Comité van het Rode Kruis (ICRC), dat tot doel heeft de identificatie van overleden migranten in de Euro-mediterrane regio te verbeteren. Er zijn hier veel verdrinkingen geweest – 16.000 sinds 2014. Voor zover we weten, is deze inspanning onder leiding van antropoloog José Pablo Paraíbar van het Internationale Comité van het Rode Kruis de enige die dit probleem in de hele regio aanpakt.

Zo kwamen de INSA-teams tussenbeide om oplossingen voor te stellen voor dit essentiële identificatiewerk van het Internationale Comité van het Rode Kruis, dat een groot aantal gevallen en verspreide of slechte informatie over vermiste personen moet behandelen.

Na een proefproject onder leiding van INSA Lyon, dat het ICRC van tools voorzag om informatie over geborgen lichamen te beheren, kreeg het partnerschap vorm. Doe mee aan het INSA Alliance-programma.

Dit programma mobiliseert studenten en docenten die onderzoeker zijn in specifieke gevallen waarin NGO’s, zoals Handicap International of het Internationaal Comité van het Rode Kruis, wetenschappelijke en technische expertise nodig hebben. In totaal zijn er 37 studenten die als onderdeel van hun studie zeven projecten hebben ontwikkeld die de methoden en instrumenten van technische scholen combineren met de veldkennis van het ICRC.

Kunstmatige intelligentie ten dienste van de mensheid

In theorie zou het proces van identificatie van de schipbreukelingen gemakkelijk kunnen worden gestart door de overledene te identificeren door hun familieleden met behulp van foto’s. Deze documenten zijn echter niet altijd ‘zichtbaar’: ofwel zijn deze foto’s van slechte kwaliteit, ofwel zijn de lichamen zo beschadigd en zijn de foto’s zo pijnlijk dat ze elke officiële erkenning onmogelijk maken.

Deze situatie bracht ons op het idee om foto’s van overleden personen te vergelijken met foto’s van mensen die door hun familieleden worden gezocht met behulp van gezichtsherkenningstechnologieën.

Deze benadering werd met name onderzocht als onderdeel van Zachary Helweens einde-studie-training in 2020. Zijn project bestaat uit het gebruiken en evalueren van de bijdrage van gezichtsherkenningsalgoritmen en -modellen aan het identificeren van de overblijfselen van verdronken mensen.

Concreet gaat het om de aanpassing en het gebruik van modellen machine learning, een kunstmatige-intelligentietechnologie waarmee een programma zelfstandig kan leren om overeenkomsten en verschillen in datasets te herkennen. Door het te confronteren met herhaalde ervaringen, zoals het leren over iemands identiteit, traint en verbetert het programma de resultaten. Dit werk maakte het mogelijk om het voordeel van deze techniek bij de identificatie van vermiste personen te valideren.

Om het te implementeren, vergeleken we foto’s van levende immigranten met foto’s van overleden immigranten in de hoop positieve matches te krijgen. Hiervoor hebben we een gelijkenis-index opgesteld op basis van een matching-algoritme dat het mogelijk maakt om mogelijke identiteitsscores voor een persoon in de vorm van percentages te verkrijgen.

Alles is geïntegreerd in een webapplicatie bedoeld voor klanten van het Internationale Comité van het Rode Kruis die wettelijk verantwoordelijk zijn voor de identificatie van stoffelijke overschotten, zoals forensische instituten. Deze app is in ontwikkeling en elk project heeft tot doel deze te verbeteren.

De behaalde resultaten zijn bemoedigend. Dankzij deze software hebben we een compleet prototype kunnen ontwikkelen van gezichtsherkenning die wordt toegepast op vermiste immigranten. Om echter echt betrouwbare indicaties te kunnen geven van overeenstemming tussen afbeeldingen van levende en dode mensen, moeten duizenden en duizenden afbeeldingen worden verkregen.

Illustratieve video van het programma voor gezichtsvernieuwing, ontwikkeld door het Insa-netwerk van het Internationale Comité van het Rode Kruis (INSA/CICR).

Nadat deze limieten zijn vastgesteld, biedt de tool die vandaag is ontwikkeld ICRC-klanten de mogelijkheid om zoekopdrachten te sturen door een lijst met potentiële overeenkomsten te verstrekken, wat het zoeken zeker vervelend, maar menselijk haalbaar maakt.

Software voortdurend verbeteren

Bij aanvang van dit project, in 2020, moesten de specificaties worden uitgewerkt. Dus vertaalden INSA-studenten en hun mentor Charles Dossal de automatische of niet-geautomatiseerde verwerking die op deze afbeeldingen moest worden uitgevoerd in technische termen: haal het gezicht uit het decor (tas, bootbodem, tafel, enz.), centreer en lijn de afbeelding uit , snijwonden verminderen of verwijderen, schuim uit de mond verwijderen en de ogen laten sprankelen.

Taliban in 4e In het jaar dat Adam Hamidullah en Dean Trim Van de algoritmen programmeerden die volgens ons het meest relevant waren voor het oplossen van deze verschillende problemen. Soms kan het nodig zijn om delen van een gezonde huid te kopiëren om wonden “digitaal te genezen” of om ogen van een ander gezicht in te brengen wanneer ze ernstig beschadigd zijn. De resultaten waren bemoedigend, maar we konden ook meten dat kunstmatige intelligentie (AI) meer succesvolle antwoorden zou kunnen bieden.

In de zomer van 2021 bekeken Zoé Philippon en Jeong Hwan Ko deze gruwelijke beelden met als doel nauwkeuriger te zien wat kunstmatige intelligentie voor deze missie zou kunnen betekenen.

Het doel van Zoé Philippon was om de grenzen te testen van gezichtsherkenningsalgoritmen op basis van kunstmatige neurale netwerken wanneer toegepast op afbeeldingen van overleden gezichten, vooral van Afrikaanse afkomst. Deze algoritmen zijn effectief op afbeeldingen die vergelijkbaar zijn met de afbeeldingen die worden gebruikt om ze te kalibreren, en hier zijn de gezichten van levende mensen, meestal blank en mannelijk, met een klein percentage vrouwelijke of Afrikaanse gezichten.

Dus het voerde verschillende tests uit en trainde de AI om effectiever te zijn in het maken van foto’s van vermiste personen. De resultaten lijken erop te wijzen dat deze algoritmen baat zouden hebben bij meer specifieke training op de gezichten van de meer representatieve populatie vermiste personen en dat deze herkenning aanzienlijk verslechtert wanneer de te identificeren persoon dood is. Toegang tot een grotere hoeveelheid gegevens kan deze zeer bemoedigende eerste resultaten bevestigen.

digitale make-up

Jeong Hwan Ko probeerde de resultaten van “digitale make-up” te verbeteren door kunstmatige neurale netwerken te gebruiken, die ook eerder waren getest, om de gaten in de afbeeldingen op te vullen. Deze methoden bleken zeer effectief bij het wissen van verwondingen, maar om de mond of de ogen te herstellen, was het noodzakelijk om andere neurale netwerken te gebruiken die een deel van het ene beeld in het andere konden invoegen.

Op dit moment kiest de programmeur de afbeelding om in te voegen, maar in de toekomst zal het efficiënter zijn om het algoritme naar zichzelf te laten zoeken in een grote database, ogen, mond of oren in goede staat die erg lijkt op die van het gezicht herkend worden. Er is nog werk aan de winkel, en ook hier zal een bredere toegang tot de gegevens ongetwijfeld de kwaliteit van gezichtsreconstructies verbeteren.

Vandaag gaan de projecten door. We zijn altijd op zoek naar data om machine learning software verder te trainen. We zijn ook op zoek naar bedrijfssponsors die technologie, tijd en ondersteuning met ons willen delen.

Ten slotte is het vermeldenswaard dat dezelfde apps, die zijn ontwikkeld als reactie op de vermiste migrantencrisis, ook kunnen worden gebruikt in andere contexten zoals rampen, conflicten of elke situatie die kan leiden tot de anonimiteit van overleden personen.


Dit artikel is geschreven door Samuel Kenny, ICRC-INSA coalitiecoördinator.


Dit artikel maakt deel uit van de serie “Great Stories of Science in Open Access”, gepubliceerd met steun van het ministerie van Hoger Onderwijs, Onderzoek en Innovatie. Ga voor meer informatie naar de pagina Openscience.fr.

Leave a Comment