Transformation in die Cloud - welche Cloud darf es sein?
Perspective Security

Luz en la caja negra

14-nov-2018

La inteligencia artificial explicable mira en el “cerebro” de la inteligencia artificial y puede explicar cómo los logaritmos toman sus decisiones. Un paso importante, porque el nuevo Reglamento General de Protección de Datos (GDPR) exige rastreabilidad.
The Explainable AI research field has a new driver: the European General Data Protection Regulation.
El campo de investigación de la inteligencia artificial explicable tiene un motor nuevo: el Reglamento General de Protección de Datos. Ya que los sistemas de inteligencia artificial exigen transparencia. Una exigencia a la que todavía no puede dar respuesta hoy en día. ¿Por qué? Para responder a esto, échele un vistazo a la conferencia de desarrolladores de innovación libre (I/O) de Google de principios de mayo de este año. El plato fuerte: Google Duplex; una inteligencia artificial que, de manera independiente, es capaz de pedir cita por teléfono en la peluquería. Pausas espontáneas al hablar, algunos “hmm” intercalados y ni tan solo se puede distinguir la voz del ordenador de la de un ser humano. ¿La reacción? Ovaciones por parte de los expertos de Google. ¿De otra forma? La reacción fue más bien mixta. La razón: Google Duplex suena demasiado real. 
¿Es correcto si un software me llama por teléfono y yo pienso que se trata de un ser humano? “Claramente no”, dice el Reglamento General de Protección de Datos (GDPR), que obliga a las empresas a ser transparentes en cuanto a la inteligencia artificial. Tan pronto como las decisiones automáticas afecten a las personas, se tienen que poder explicar y entender. Las empresas están obligadas a revelar los aspectos de inteligencia artificial de sus servicios, productos, análisis y procesos. 

Las decisiones de la inteligencia artificial tienen que ser rastreables 

Sin embargo, la exigencia de transparencia suele ser más difícil de cumplir. Lo que ocurre, exactamente, durante el aprendizaje automático queda oculto en una caja negra. Hasta los programadores van a tientas a la hora de responder a las preguntas de cómo la inteligencia artificial toma las decisiones. Por eso, por ejemplo, Kate Crawford, investigadora de Microsoft, hace un llamamiento a las instituciones públicas clave en las áreas de justicia penal, sanidad, bienestar y educación para que dejen de utilizar algoritmos. Según la experta, se ha descubierto que demasiados programas de inteligencia artificial tienen tendencias discriminatorias o presunciones erróneas. Las máquinas deciden con mucha consistencia pero si no están bien programadas cometerán los mismos errores repetidamente. 
Light into the Blackbox AI
"Explainable AI" looks into the "brain of artificial intelligence" (AI) and can explain how logarithms make their decisions. This is an important step because the new General Data Protection Regulation (GDPR) requires traceability. In an interview, Sven Krüger, Chief Marketing Officer at T-Systems, discusses the link between AI and GDPR. 
La inteligencia artificial es relevante en cada vez más áreas de nuestra vida. Y su importancia seguirá aumentando. Puede hacer muchas cosas: realizar diagnósticos médicos, comprar o vender acciones para nosotros, comprobar nuestro historial de créditos, analizar informes empresariales en su totalidad o realizar la selección de solicitantes de empleo. El software nos evalúa según ciertos criterios matemáticos mediante los llamados “modelos de puntuación”. Por lo tanto, el GDPR prescribe el “derecho de explicación” para la protección de cada persona. Esto significa que si una persona afectada presenta una solicitud, las instituciones o empresas tienen que ser capaces de explicar, de manera razonable, una decisión o evaluación del riesgo por parte de la inteligencia artificial.

El aprendizaje automático descubre casos de fraude

En este punto se complica. “La legalidad de decisiones solo puede ser examinada por aquellos que conocen y entienden los datos subyacentes, la secuencia de la acción y el peso de los criterios de decisión”, escribe el experto legal Mario Martini en JuristenZeitung (JZ). Científicos de todo el mundo están trabajando en esta explicación. Su ámbito de investigación: la inteligencia artificial explicable. O dicho de una forma más sexy: XAI. La inteligencia artificial explicable, o el aprendizaje automático explicable, quiere mirar dentro del cerebro electrónico. Por ejemplo, la consultora PricewaterhouseCoopers (PwC) coloca XAI en la lista de las diez tendencias tecnológicas más importantes en el ámbito de la inteligencia artificial.  
Sin embargo, ver con claridad dentro de la caja negra es difícil porque las redes neuronales tienen una estructura muy compleja. Las decisiones son el resultado de la interacción de miles de neuronas artificiales. Estas se disponen en decenas de cientos de niveles interconectados; con las diferentes interconexiones, se da forma a las redes neuronales del cerebro humano. Los científicos también están utilizando el bisturí de disección virtual en Berlín: el grupo de investigación Aprendizaje Automático del Instituto Fraunhofer Heinrich Hertz (HHI) ha desarrollado un método denominado Layer-wise Relevance Propagation (LRP). El director de investigación, Wojciech Samek, y su equipo publicaron, por primera vez, su método de inteligencia artificial explicable en 2015 y ya han presentado su método XAI en CeBIT.  
LRP rastrea los procesos de decisión de una red neuronal: los investigadores registran qué grupos de neuronas artificiales están activos y dónde, así como qué decisiones toman. Entonces, determinan en qué medida una decisión individual ha influido en el resultado. 

Inteligencia artificial explicable: el camino hacia la solución es importante

"We should provide the algorithms with a sort of AI governance and prevent artificial intelligence from breaking out of ethical and moral guidelines."
DR. CLAUS-DIETER ULMER,
Group Representative for Data Protection at Deutsche Telekom AG
La inteligencia artificial explicable juega a favor del Reglamento General de Protección de Datos, porque, al igual que en el pasado, la solución, y no solo los resultados, cuenta en las clases de matemáticas. Crear técnicas de aprendizaje automático que produzcan modelos más predecibles debería reforzar la confianza en la tecnología de la inteligencia artificial a largo plazo. PwC entiende que muchas empresas utilicen la inteligencia artificial explicable antes de embarcarse en aplicaciones algorítmicas de manera más general. El GDPR incluso podría hacer que la inteligencia artificial explicable fuera obligatoria para las autoridades estatales.  
¿Y hasta cuándo? Empresas como Telekom están sometiendo las decisiones sobre la inteligencia artificial a un proceso de revisión. Los empleados comprueban constantemente si la inteligencia artificial ha decidido a instancias de la empresa y la persona afectada. Si no es el caso, pueden tomar medidas correctoras en cualquier momento. “Deberíamos suministrar a los algoritmos una especie de gobernanza de la inteligencia artificial y evitar que la inteligencia artificial infrinja nuestras pautas éticas y morales”, recomienda Claus-Dieter Ulmer, representante del grupo para la Protección de Datos en Deutsche Telekom AG. Bajo esta condición, la inteligencia artificial tiene mucho potencial. En su documento estratégico “Künstliche Intelligenz als Innovationsbeschleuniger im Unternehmen” (“La inteligencia Artificial como acelerador de la innovación en la empresa”), los expertos de PwC están convencidos de que la inteligencia artificial se desarrollará hasta convertirse en una ventaja competitiva en el futuro, que decidirá el éxito y el fracaso de cada empresa.