Transformation in die Cloud - welche Cloud darf es sein?
Sécurité Industrielle

Lumière dans la boîte noire de l’IA

14 nov. 2018

L’IA dite « explicable » examine le « cerveau » de l’intelligence artificielle et peut expliquer comment les logarithmes prennent leurs décisions. Une avancée importante, car le nouveau Règlement général sur la protection des données exige la traçabilité.
The Explainable AI research field has a new driver: the European General Data Protection Regulation.
Le domaine de recherche de l’IA explicable dispose d’un nouveau moteur : le Règlement européen sur la protection des données.  Parce que les systèmes d’IA exigent la transparence,  une exigence encore difficile à satisfaire aujourd’hui. Pourquoi ? Pour répondre à cette question, jetez un œil à la conférence des développeurs Google I/O qui s’est tenue cette année au début du mois de mai. Son événement le plus marquant : Google Duplex – une IA qui peut prendre toute seule un rendez-vous chez le coiffeur au téléphone. Des pauses spontanées dans la conversation, quelques « hmm » bien placés, et la voix de l’ordinateur ne peut être distinguée de celle d’un être humain. La réaction ? Acclamations des experts Google dans le public. Sinon ? Une réaction plutôt mitigée. La raison : Google Duplex semble bien trop réel. 
En effet, est-il vraiment acceptable qu’un logiciel m’appelle et que je le prenne pour un être humain ? « Certainement pas », affirme le Règlement général sur la protection des données (RGPD), qui oblige les entreprises à la transparence en matière d’intelligence artificielle. Dès lors que des décisions automatisées affectent les personnes, elles doivent être compréhensibles et explicables. Les entreprises sont tenues de divulguer les aspects IA de leurs services, produits, analyses et processus.  

Les décisions de l’IA doivent être traçables

Toutefois, la demande de transparence est généralement plus difficile à satisfaire. Ce qui se passe exactement au cours de l’apprentissage automatique est souvent caché dans une boîte noire. Les programmeurs eux-mêmes sont incapables d’expliquer comment l’IA prend ses décisions. C’est pourquoi, par exemple, Kate Crawford de Microsoft Research appelle les principales institutions publiques dans les domaines de la justice pénale, de la santé, de l’aide sociale et de l’éducation à cesser d’utiliser les algorithmes. Trop de programmes d’IA, selon l’expert, ont des tendances discriminatoires ou se fondent sur des hypothèses erronées.  La prise de décision des machines présente une forte cohérence, y compris lorsqu’elle est inappropriée en raison d’une programmation inadéquate.
Light into the Blackbox AI
"Explainable AI" looks into the "brain of artificial intelligence" (AI) and can explain how logarithms make their decisions. This is an important step because the new General Data Protection Regulation (GDPR) requires traceability. In an interview, Sven Krüger, Chief Marketing Officer at T-Systems, discusses the link between AI and GDPR. 
L’IA joue un rôle dans des domaines de la vie de plus en plus nombreux, et son importance ne va cesser de grandir. Elle peut faire beaucoup de choses : des diagnostics médicaux, vendre ou acheter des actions à notre place, consulter notre historique bancaire, analyser des rapports commerciaux dans leur intégralité ou choisir des candidats à un poste. Le logiciel nous évalue en fonction de certains critères mathématiques en employant des méthodes dites de « scoring ». C’est pourquoi le RGPD prescrit le « droit à l’explication » pour la protection de tous. Cela signifie que si une personne impactée soumet une demande, les institutions ou entreprises doivent être en mesure de raisonnablement expliquer une prise de décision ou une évaluation des risques de l’IA.

L’apprentissage automatique révèle des cas de fraude

C’est là que le bât blesse. « La légalité des décisions ne peut être examinée que par ceux qui connaissent et comprennent les données sous-jacentes, le déroulement des actions et la pondération des critères de décision », écrit le juriste Mario Martini dans JuristenZeitung (JZ). Des scientifiques du monde entier travaillent à cette explication. Leur domaine de recherche : l’intelligence artificielle explicable. Ou, en plus sexy : XAI. L’intelligence artificielle explicable ou l’apprentissage automatique explicable veulent observer le cerveau électronique. Par exemple, la société de conseil PricewaterhouseCoopers (PwC) place la XAI dans la liste des dix plus importantes tendances technologiques en matière d’intelligence artificielle.    
Cependant, cette observation littéralement illuminatrice de la boîte noire est difficile, en raison de la nature très complexe des réseaux neuronaux. Les décisions sont le résultat de l’interaction de milliers de neurones artificiels. Ils sont assemblés en dizaines ou centaines de niveaux interconnectés, et leurs nombreuses interconnexions modélisent les réseaux neuronaux du cerveau humain. Des scientifiques utilisent aussi actuellement le scalpel virtuel à Berlin : le groupe de recherche Machine Learning de l’Institut Fraunhofer Heinrich Hertz (HHI) a créé une méthode appelée Layer-wise Relevance Propagation (LRP). Le Directeur de recherche Wojciech Samek et son équipe ont publié leur première méthode d’IA explicable en 2015 et ont déjà présenté leur méthode XAI au CeBIT.  
La LRP retrace le processus décisionnel d’un réseau neuronal : les chercheurs notent quels groupes de neurones artificiels sont activés, à quel niveau, ainsi que les décisions qu’ils prennent. Ils déterminent ensuite à quel point une décision individuelle a pu influencer le résultat.

L’intelligence artificielle explicable : le chemin qui mène à la solution est important

"We should provide the algorithms with a sort of AI governance and prevent artificial intelligence from breaking out of ethical and moral guidelines."
DR. CLAUS-DIETER ULMER,
Group Representative for Data Protection at Deutsche Telekom AG
Ce type de cheminement transparent et documenté joue en faveur du RGPD, car, comme par le passé, les solutions comptent autant que le résultat dans les cours de mathématiques. Le développement de techniques d’apprentissage automatique générant des modèles plus prévisibles devrait renforcer la confiance dans la technologie de l’IA à long terme. PwC a compris que de nombreuses entreprises utilisent l’intelligence artificielle explicable avant de se lancer dans des applications algorithmiques de plus grande envergure. Le RGPD pourrait même rendre l’IA explicable obligatoire pour les autorités gouvernementales.    
Et d’ici là ? Des entreprises comme Telekom examinent les décisions de l’IA dans le cadre d’un processus de vérification. Les employés vérifient en permanence si l’IA a pris ou non une décision à la demande de l’entreprise et de la personne concernée. Si ce n’est pas le cas, ils peuvent à tout moment prendre des mesures correctives. « Nous devrions doter les algorithmes d’une sorte de gouvernance de l’IA et empêcher l’intelligence artificielle d’enfreindre les lignes de conduite éthiques et morales », recommande Claus-Dieter Ulmer, représentant du Groupe pour la protection des données chez Deutsche Telekom AG. Dans ces conditions, le potentiel de l’IA est énorme. Comme le montre leur document de stratégie “Künstliche Intelligenz als Innovationsbeschleuniger im Unternehmen” (« L’intelligence artificielle comme accélérateur d’innovation dans l’entreprise »), les experts de PwC sont convaincus que l’IA représentera dans le futur un avantage concurrentiel décisif qui déterminera la réussite ou l’échec de toute entreprise.