La ética del chatbot en la empresa, los ingenieros y los hackers.

Hace unos años atrás, uno de los motivos de argumentación sobre por qué el software comercial de código no abierto debía ser abierto era la "Ética". Algunos decían  que "no es ético hacer programas que no te den las libertades del software libre". Ese punto de vista, a mí personalmente, siempre me resulto un tanto desproporcionado. Utilizar palabras como "Libertad" o "Ética" para un programa de contabilidad de una empresa o un gestor de logs de un TPV con el que una empresa hace negocio, me parecía demasiado exagerado. Libertad o Ética son palabras muy grandes que en la historia de la humanidad han sido motivo de grandes decisiones y dramas, como para tachar a un ingeniero que hace un programa de contabilidad para una empresa de No Ético por no haber publicado el código fuente o entregado el software con una licencia concreta.

Figura 1: La ética del chatbot en la empresa, los Ingenieros y los hackers.

Ahora, con la llegada de la Inteligencia Artificial, aparecen nuevos debates sobe la Ética y de nuevo veo a mucha gente apropiándose de capacidades sobre palabras que son muy grandes, como si fueran a poder articular la forma correcta de aplicar la Ética en la AI de una forma mágica. Veo gente que habla de este tema con ligereza y simplismo, sin haber hecho tecnología nunca, y encasillando los roles de los profesionales de una empresa con ideas preconcebidas. Momentos que traen a mi memoria la frase que dijo Linus Torvarlds a un periodista durante un entrevista y de la que siempre hablo: "El tiempo de soluciones sencillos a problemas sencillos hace tiempo que pasó". Y dejadme que os explique esto de la forma en que yo lo veo, que en cierta manera me incomodan algunas posturas. 

Ética y Moral

Normalmente se confunden los términos sobre lo que es ético o no, con lo que la moral considera qué es correcto o qué es incorrecto. Es decir, desde cosas tan sencillas como dar los buenos días, felicitar los cumpleaños, usar lenguaje formal, coloquial, insultar, usar lenguaje inclusivo, hasta cosas más complejas como ayudar a localizar a un prófugo de la justicia, gestionar un arsenal de bombas nucleares o saltarse la ley para defender tus ideales. Preguntas a veces muy difíciles de contestar como "¿Debe una empresa saltarse la ley para defender algún ideal?", "¿Debe crear un software espía una empresa de seguridad para luchar en la Guerra contra el Terror?"."¿Debe hacer una empresa un software o un negocio que atente contra el bienestar de las personas maximizando el beneficio de los accionistas?"

Sí, preguntas muy complicadas que yo suelo contar con casos muy específicos y concretos como el de la publicidad dirigida en base a datos que vemos en Internet, donde las empresas pueden explotar tus debilidades para hacer su negocio. ¿Se deben poner anuncios de bebidas a personas con adición al alcohol? ¿Es ético poner anuncios de apuestas o gambling en frente a personas con ludopatía? ¿O por el contrario debemos utilizar la tecnología para justo lo contrario? Se deben o no, explotar, en definitiva, las debilidades humanas tal y como decía Sean Parker, uno de los que co-creadores de la red social, que hacían conscientemente cuando estaban construyendo el gigante que es hoy Facebook.

Como veis, el debate puede ser arduo, y va mucho más allá de que un ingeniero decida el texto de contestación de un chatbot, que como sabéis todos los que habéis hecho tecnología son como los textos de la web, o los menús de las aplicaciones. Es decir, que pasan por los equipos de User eXperience, después de haber pasado por los de User Research, y que van alienados con los mensajes y valores de comunicación de los equipos de marca.

No, el debate no es tan sencillo como si un bot debe decir los buenos días o usar lenguaje inclusivo, que por supuesto se decide en esas áreas que acabo de citar. El debate puede plantear grandes discusiones que entroncar los valores de la empresa con el negocio, y con la visión de que una empresa debe ser de ayudar a las sociedades en las que opera.

Y por supuesto las respuestas no son tan evidentes, ni al alcance de un debate de opiniones de gente de todo tipo. No basta con tener buenos valores como persona para entender todas las implicaciones. Ni ser una experta en Ética para saber si esa tecnología va a derivar en otra cosa. Los debates no son tan sencillos y se tienen, cada uno en un lugar diferente. Yo usé, para explicar la complejidad de la zona gris, un par de posibles proyectos empresariales para ayudar a decidir dónde invertir o qué empleados se deben despedir. Como he dicho, yo uso HIRE e INVIERTE, mis A.I. inventadas, para explicar lo difícil de aplicar la Ética en proyectos de empresas. 

HIRE e INVIERTE

En el debate que yo proponía HIRE como un sistema se dedica a seleccionar qué empleados van a entrar en una fase de low-performance usando datos públicos en algoritmos de Analítica Predictiva. Esto, que puede parecer algo raro, no es ni mucho menos descabellado y dentro del mundo de la Ciberseguridad, la disciplina de Human Behaviour Analytics es una de las desarrollada para detectar empleados maliciosos, empleados que van a irse de la compañía y entrar en una fase mayor probabilidad de robo de secretos industriales o, simplemente, que van a bajar su rendimiento laboral.

El segundo de los servicios, INVIERTE, decide en qué empresas quiere invertir en función del performance de la compañía. Y por lo tanto en el performance de sus empleados. En este caso, analizar este rendimiento se puede hacer de muchas maneras. Desde analizar qué medidas de seguridad tiene, hasta saber qué mecanismos de control a los empleados aplica, o qué datos de absentismo laboral está alcanzando.

La aplicación de los dos sistemas a la vez, siguiendo una teoría evolutiva de esas que tan bien explica El Gen Egoísta, lleva a que la aplicación de HIRE en empresas pueda llevar a despedir a personas en situaciones de enfermedad no detectada - como una depresión por estrés a punto de diagnosticarse o por hechos acaecidos en su vida personal -, o simplemente una mujer que esté embarazada y no lo sepa. Y HIRE estaría haciendo bien el trabajo para el que lo han programado, tendría empleados con alto performance y haría, con alta probabilidad, que los resultados económicos de la empresa fueran mejores.

¿Podría llegar un sistema informático - y fijaos que explícitamente no utilizo AI - llegar a detectar un embarazo antes incluso de que lo sepa la persona embarazada? Pues conscientemente no, pero inconscientemente sí. Al final las técnicas Human Behaviour Analytics utilizando los sistemas de Analítica Predictiva, pueden detectar quién está a punto de entrar en low-performance. Y como un porcentaje de esos casos son personas que pueden entrar en low-performance por su situación personal - sea conocida conscientemente o no por el propio individuo - el sistema lo podría detectar.

Quizá a alguien que no entienda bien cómo funcionan las técnicas de Machine Learning hoy en día, pero hace tiempo que dejamos de explicarle a un sistema informático de visión artificial cómo es una vaca. Las primeras técnicas de reconocimiento de vacas - que es el ejemplo que utilizo ya para explicarlo - intentaban programar las reglas de conocimiento, explicando que una vaca tiene cuatro patas - normalmente - que tiene dos cuernos pero no muy grandes, que las hay de manchas pero también de pelo, etcétera. Fijaos qué complicado es explicarle a un sistema informático es una vaca.

Hoy en día, con las técnicas de Machine Learning, y sobre todo con los algoritmos de Deep Learning basados en Redes Neuronales, lo que se le hace es exactamente lo que hicieron con nosotros. Nos llevan a granjas a ver vacas y cuando salían en la tele nuestros padres nos decían "Mira una vaca". Es decir, le enseñamos todas las fotos y vídeos de vacas que podemos para que el modelo aprenda qué es una vaca. Si tu buscas en las fotos de tu iPhone por "perro", te sacará las fotos que hayas hecho en las que haya un perro no porque las has etiquetado, no porque haya reconocido un animal de cuatro patas moviendo una cola. Lo hará porque hay un modelo entrenado que ha visto millones de perros y "sabe" lo que es un perro "casi" como tú lo sabes.

Es decir, que un sistema como HIRE sería capaz de detectar de todos los datos que hay en un sistema de Human Behaviour Analytics si un empleado va a entrar en low-performance sin necesidad de saber los motivos de por qué va a entrar en low-performance. Es decir, fríamente, analizando los datos, es capaz de predecirlo. ¿Habéis visto Minority Report? Pues de esto iba.

Y ahora lo contrario, ¿Podría un sistema informático como INVIERTE llegar a detectar la aplicación de un sistema como HIRE en una empresa? Por supuesto que sí. Teniendo datos de gestión de los recursos humanos, datos de bajas, etcétera, podría llegar a detectarlo. Pero realmente sería como con el caso del perro. No me importa si lo tienes o no, lo que sucede es que los datos que se muestran reflejan que una empresa se gestiona como sí lo tuviera o porque lo tiene. Los Side-Channels se han utilizado durante años para inferir datos que parecen ocultos. Pero es más básico aún. ¿Qué más le da a INVIERTE si una empresa tiene HIRE o una persona responsable de Recursos Humanos con la misma intuición que HIRE?

En esos casos, aplicar un sistema como HIRE en una empresa podría maximizar el rendimiento de la organización y generar más beneficios al tener empleados en mejor rendimiento, e INVIERTE lo podría detectar y premiar con la inversión de capital en las compañías que lo hacen.

Y ahora llega el momento ¿Sería "Ético" usar INVIERTE? ¿Sería Ético usar un sistema que pueda incentivar el uso de HIRE? ¿Pero yo como inversor no debo premiar a las empresas de inversión que generan más retorno de inversión de mi capital? Probablemente muchos, llegados por este punto de la narración muchos pensaréis que la aplicación de los dos sistemas sin ningún control es peligroso para la sociedad.

Ahora veamos otro punto de vista. Desacoplemos los dos sistemas. ¿Sería ético para una empresa que hace inversiones con los ahorros de trabajadores que buscan tener dinero para su retiro NO utilizar tecnología para analizar de la manera más acertada posible cuál va a ser el rendimiento futuro de las compañías donde va a poner su dinero? Probablemente algunos penséis que no, y de hecho si un administrador no da los mejores beneficios puede ser despedido hasta de su propia empresa, como le pasó a Steve Jobs en Apple cuando LISA no funcionó como debía.

Pero entonces, si unas empresas deciden ser "Éticas" siguiendo los  principios morales que algunos pensáis a esta altura de la explicación que hay que defender, y no crean HIRE en su compañía, sucedería que los grupos de inversión que usen INVIERTE  dejen de invertir dinero en ellas. Y les iría mal, con lo que la teoría evolutiva les llevaría a desaparecer o a cambiar al equipo directivo. Una situación similar a la que sucede con todas las empresas y directivos que se han extinguido atrapados por el Tsunami de la disrupción tecnológica.

Ahora quitemos la tecnología del medio. Al final, el trabajo de HIRE y de INVIERTE son trabajos muy comunes de personas en las organizaciones. Personas de unidades de Recursos Humanos o de Análisis de Inversión que utilizan herramientas más artesanas, como conversaciones, análisis personal de emociones, resultados en hojas Excel con KPIs, funciones de progresión y estadística para decidir las mismas cosas. Quién no es bueno para la empresa y dónde debe invertir una empresa.

Si una persona de RRHH despide a una mujer que está embarazada pero no lo sabe ninguna de las dos, o si un analista de inversiones pone el dinero en una empresa analizando datos en su Excel y le da que una empresa va a tener mal futuro porque tiene muchas bajas y ha bajado la carga de productividad porque ha habido muchas bajas por enfermedad o maternidad... ¿Sería Ético o no? 

Probablemente muchos penséis que sí. Que es Ético porque en el caso de los RRHH nadie sabía nada. Y en el segundo porque el analista hace un análisis frío del futuro de la empresa con una hoja de Excel. Hacen su trabajo. Y así funcionan muchas empresas en su día a día. Basándose en las complejas decisiones que toman cerebros de personas a las que admiramos si llevan su empresa a buen término. Pero... ¿no es lo mismo el caso de HIRE e INVIERTE y la vaca? Al final, HIRE e INVIERTE no saber por qué va a entrar en low-performance o por qué a una empresa le va a ir bien o mal. Simplemente lo saben.

Los datos hablan... y a lo mejor no lo sabes

Lo cierto es que en uno de los casos estamos usando un frío sistema informático que usa datos y algoritmos - que pueden ser sencillos, no necesitan ser AI - y en el otro el potentísimo cerebro humano. Y los datos.... en ambos casos pueden resultar difícil de catalogar. Difícil de saber si realmente pueden llevar a ser cruciales en la  toma de decisiones "Éticas" o no.  Los datos son. Son los que son y dicen lo que dicen. A veces solos y de forma discreta no dicen nada. Pero correlados y cruzados pueden decir más de lo que deben. Y a veces, es imposible poner el límite justo.

Una visión simplista puede llevar a pensar que con eliminar ciertos tipos de datos vamos a hacer que el sistema informático tome la decisión de igual manera que lo hace la persona de HHRR y la de Análisis Financiero. Y aquí volvemos a meternos en otro jardín que me encanta, personalmente. Y que es una reflexión que incluso he planteado a personas a cargo de sacar la nueva LOPD en España. Dejadme que os lo explique.

Estamos acostumbrados a hablar de datos de diferentes tipos. De carácter personal. Datos médicos. Datos que parecen representar una sola cosa. Pero todos sabemos que no es así. Y es un debate que yo he explicado muchas veces. Por ejemplo, un dato como la ubicación GPS ¿dice solo dónde estás? Ya sabéis que no. Y la conferencia que di sobre You are where you are es un alegato completo a esa respuesta.

Figura 2: You are where you are

Al final, un dato como la ubicación GPS puede decir si tienes dinero, tu ideología política, tu ideología religiosa, tus hábitos alimenticios, deportivos, tu vida sexual, tu familia, tu vida personal. Siempre con un porcentaje de acierto y un margen de error. Si una persona tiene una ubicación periódica en el lugar en el que hay un centro médico puede ser que esté enfermo, que visite a amigos, que trabaje allí, o mera casualidad. Pero con el mundo del Big Data y la capacidad de analizar grandes cantidades de datos en tiempo útil, eso puede afinarse hasta grados increibles. 

Y la ubicación es lo más sencillo. Pero la forma en la que coges el teléfono, la forma en la que tocas la pantalla, la resolución con la que ves las aplicaciones, el tiempo que pasas leyendo determinados artículos, las películas que ves, las horas a las que trabajas, tu manera de escribir, la forma en la que cambias de aplicaciones, la manera en la que mueves el ratón o las webs por las que navegas pueden decir cosas de ti que no imaginas

Puede detectarse que una persona tiene una ludopatía, que está nervioso, que es republicano o demócrata, que tiene parkinson, o un problema visual, que tiene una disfuncionalidad cardiaca, etc... ¿Son los datos de monitorización de las pulsaciones de un teclado, o las resoluciones de pantalla que usan las personas en sus puestos de trabajo datos médicos? La respuesta no es muy sencilla.

De hecho, la respuesta que llegó para solucionar este problema desde la regulación fue el GDPR en Europa. Dile al usuario para qué vas a utilizar cada dato y que él decida. Una forma compleja para el ciudadano de tener que saber si lo que le están solicitando es la información que quiere dar. Por ejemplo, queremos "Utilizar los datos GPS de tu móvil y la navegación para ponerte anuncios más adecuados a tu perfil". Eso puede significar muchas cosas.

Y si analizamos la información de las empresas que quieren ser compliance pero no dar claridad total, nos encontramos con casos como el de UBER que yo comentaba en el artículo que le dediqué al escándalo de Cambridge Analytica.

El algoritmo

Y vayamos ahora a los algoritmos. Y dejadme que no hable de AI todavía, solo de un algoritmo normal. El problema del sesgo se puede producir de muchas formas. Imaginemos que los primeros resultados que salen en un buscador son de un determinado periódico con una determinada ideología. Probablemente influya positivamente en alguna ideología concreta y negativamente en otro.

El proyecto ganador del #LUCAChallenge consistió en detectar los sesgos de los resultados de búsqueda de Google y analizar cómo este hecho afecta a la opinión pública 📺 pic.twitter.com/ue42Sv1baU

— LUCA (@LUCA_D3) 7 de febrero de 2019

Solo por eso. La teoría evolutiva hará que además se retroalimente y crezca.  Pero... ¿ha hecho algo malo el algoritmo? Ha usado datos fríos para marcar la relevancia del resultado, pero como he explicado antes, los datos fríos pueden estar dando información que está oculta al ojo menos acostumbrado.

Detectar un sesgo en un algoritmo sencillo puede ser fácil de entender. Por ejemplo imaginad que vamos a premiar con unos regalos a los empleados que se mantengan saludables. Una idea que puede parecer buena al principio porque si los trabajadores cuidan su salud habrá menos bajas, serán más productivos y le irá mejor a toda la compañía.

Imaginad que se calcula una formula de peso saludable en base a la edad, altura, peso que da un rango entre 0..1 donde 0 es no ganas puntos porque estás lejos de tu peso saludable y 1 estás perfecto. Por el medio todos los grados posibles: 0.3, 0.8, 0.9, etcétera.  Esto, que no tiene nada que ver con Inteligencia Artificial ni datos utilizados en algoritmos concretos de Machine Learning ni nada, es una muy mala idea de base.

Por supuesto, no todas las personas tenemos la misma constitución, ni por supuesto está fomentando algo que pueda ser positivo para todo el mundo. Ni está teniendo en cuenta situaciones personales por motivos personales. Como ayunos religiosos, enfermedades, metabolismos, etc... ni el impacto emocional que puede tener en las personas que no alcancen el 1. 

Y eso no tiene que ver para nada con la tecnología en sí. ¿Con qué tiene que ver?

Ética corporativa, legalidad y Valores

Lo que marca al final qué tecnología se debe hacer o no son los valores de la compañía y las personas que velan por ellos. Lo que sus ejecutivos de alto nivel deciden que quieren preservar y aquello que no quieren defender. Vender datos de clientes o no venderlos es una decisión ejecutiva y no tecnológica con fundamento de valores. Aplicar sistemas de predicción de bajo rendimiento en el futuro de trabajadores es una decisión del equipo ejecutivo, sin que tenga que ver que con la tecnología que se utilice. Puede ser un Excel o un complejo sistema de AI con un algoritmo difícil de entender.  O usar el sistema para ayudar a los trabajadores que van a entrar en low-performance en lugar de despedirlos. Marca la diferencia qué valores tenga la compañía.

Hacer la tecnología que se quiere hacer y no la que se puede hacer es una decisión que entra en los valores de la compañía. Y que son muy importantes como veis. Y en las empresas hay personas y equipos para ello. En nuestro caso tenemos a las personas de Negocio Responsable y Responsabilidad Social Corporativa que se ocupan de velar por eso. Y en cosas como la dicotomía de HIRE tenemos a los equipos de Personas que cuidan esas decisiones. Y por encima de todos ellos los departamentos Legales para velar por el cumplimiento de obligaciones y los altos órganos de gobierno como el Comité Ejecutivo y el Consejo para impulsar todos los valores de la compañía. Y esos valores son los que marcan lo que debe ser el mapa Ético de la compañía.

Como veis, en este apartado no hace falta tener muchos ingenieros. Y las personas que velan por la dirección de la compañía tienen perfiles de todo tipo. De negocio, de comunicación, de ingeniería, de finanzas, etcétera. Son personas - muchas - que defienden los valores de una empresa independientemente de la tecnología. De hecho, muchas de las decisiones que hay que tomar en una compañía que tiene que ver con ética y valores de la empresa, no tiene nada que ver con tecnología. 

Y los valores de la compañía se llevan en todo lo que hace la empresa. En las campañas de marketing, en los anuncios, en los textos de una web, en los textos de las aplicaciones móviles o en los textos que devuelve un chatbot. Los valores de una compañía están en todos los rincones. Y los llevamos más allá de nuestras fronteras jurídicas o tecnológicas. Y en la parte del mundo digital, se declinan de varias formas. Y la primera de ella es un Manifiesto Digital de los valores que creemos deben defenderse en este nuevo mundo que crece y cambia día a día.

Figura 4: Manifiesto Digital de Telefónica

Una empresa debe operar dentro de los principios legales de un Estado. Si este Estado está dentro de países que cumplen los derechos humanos es difícil justificar éticamente que una empresa se salte la ley. Pero también debe fomentar el debate público cuando crea que algo no es bueno para la sociedad. Y es duro a veces. Porque puede estar encontrado contra la ética personal de cada alguna de las personas que representan a las personas. Pero las empresas no deben estar por encima de los Estados. Yo ha escribí de este debate hace ya unos años, en un par de artículos que llamé "A los CEO de las multinacionales no los elige el pueblo" y "El derecho a la privadad en mi lista de derechos".

Dicho eso, a lo largo de mi vida trabajando en ciberseguridad - y con la malinterpretación del término hacker - yo he tenido que tomar muchas decisiones morales. Decisiones que tienen que ver con mi visión personal del mundo y de la sociedad, con la educación que he recibido y con los valores personales que he absorbido de las personas a las que admiro.  Y por eso cuando me han pedido cosas que no encajaban con mis valores personales he actuado acorde a ellos. Casos como cuando me pidieron ayudar a hacer un Man in the Middle en países, o cuando me piden esas cosas las personas buscan cibercriminales y no hackers.

Como cualquier otro ser humano - o empresa - tomo decisiones teniendo unos valores. Aunque me encantaría, por desgracia no siempre consigo que mis acciones sean acordes con mis valores. Y muchas veces me equivoco. Pero es tomando como referencia mis valores lo que me hace decidir si acierto o no. Incluso cumpliendo la ley a veces me equivoco y tomo decisiones equivocadas con mis principios de ética y moralidad que me dañan por dentro. Es lo que tiene ser humano. Es lo mismo que sucede con los "hacktivistas", donde gente como Edward Snowden o Bradley Manning tomaron una decisión ética basada en sus valores que les llevó a incumplir la ley de su país, llegando a sufrir condenas muy duras.

Como empleado de una compañía, yo tengo que defender los valores de esta compañía. Y si no los sintiera buenos y como míos, tal vez tendría que llegar hasta a abandonar el trabajo. Una vez, cuando aún era CEO de ElevenPaths, llegó una petición desde un cliente que quería que le desarrolláramos una arma de ciberseguridad con capacidades ofensivas. En este caso se trataba de montar un producto que pudiera usarse para atacar servidores. No me gustaba. Por mucho que pudiera entender la motivación del cliente, no quería crear tecnología ofensiva en ElevenPaths, así que dije inicialmente que no, y luego pregunté a mis compañeros para confirmar que esto no iba con los valores que queríamos defender.

Figura 5: CyberSecurity Tech Accord

Años después, la compañía decidió confirmar públicamente este tipo de decisiones por medio de la adhesión al CyberSecurity Tech Accord donde defendemos, además de otros valores, justo este del que os estoy hablando.

Inteligencia Artificial y Ética

Llegado a esta parte de la disertación, quiero llegar a la parte de la Inteligencia Artificial, que es la que ha generado este Hype en el mundo de la Ética. Y digo Hype, porque es verdad que la llegada de la IA, con la evolución de los algoritmos y técnicas de Machine Learning que han pasado desde los primeros autómatas y sistemas expertos basados en árboles de decisión, hasta los modernos algoritmos de Deep Learning basados en Redes Neuronales y las modernas GANs que han abierto tantas posibilidades.

Figura 6: Explicación de cómo hacer FaceSwapping usando una GAN

Y puede ser bueno o malo, en función de lo que se construya. Por supuesto, una empresa como la nuestra no va a hacer ningún sistema para localizar personas con reconocimiento facial atentando contra su privacidad - tanto si se usan los modernos sistemas de AI que se usan en Visión Artificial como si se usa un viejo algoritmo de reconocimiento facia basados en reglas con el conocimiento de los expertos -. No lo va a hacer, porque eso atenta contra nuestros valores y todos los ejecutivos de la casa lo tienen claro, además de que tenemos toma de decisiones con responsabilidades compartimentada para evitar justo eso.

Es verdad que la AI ha abierto nuevas posibilidades, pero son los valores los que controlan la creación de tecnología en una empresa. ¿Los textos de un chatbot? Igual que los textos de una web. ¿La privacidad de la voz al hablar con un asistente digital? Igual que cuando se respeta en una llamada telefónica. ¿Las contestaciones que da un asistente digital? De igual forma que se transmite la forma de contestar a un compañero que habla con un cliente en un Contact Center o una tienda. Es decir, que sea AI, o cualquier otro proyecto tecnológico o no, está basado en los controles de valores de compañía que tenemos.

La AI se puede usar para cosas tan complejas como predecir el "churn" de un cliente de manera más ajustada que ninguna otra tecnología o predecir la calidad del aire de una ciudad una semana vista, pero también se puede usar para cosas tan sencillas como para reconocer un comando de voz para cambiar un canal, clasificar las fotos en tu smartphone o reconocer un texto a mano alzada. Es solo tecnología.

Por supuesto que la tecnología puede usarse para llevarnos a escenarios catastrofistas, pero los valores de una compañía en concreto, y los de una sociedad en su totalidad, deben decidir - sea AI u otra tecnología no catalogada como AI  - para que se quieren utilizar los avances del conocimiento. Y hay cosas maravillosas como os conté en el artículo de "La AI que no quería morir, que quería matar y que no sabía amar". 

Ingenieros & Hackers

Y para terminar todo esta reflexión sobre el tema, llego al punto que quería debatir de verdad. Todo lo anterior lo puedes tomar como una introducción al asunto. Y es... ¿cuál es el rol de los Ingenieros (y de los hackers) dentro de la Ética de una empresa cuando hablamos de AI? Pues al final es uno de los más importantes, especialmente cuando hablamos de esto, de algoritmos complejos de AI.

Como he dicho, usar la AI para cosas "evidentemente" contrarias a los valores de la empresa, es lo mismo que hacer tecnología - use AI o no - contraria a los valores de la empresa. Son los equipos directivos, de Responsabilidad Social Corporativa, de Negocio Responsable, de Personas (HHRR), Legales, y los órganos de gobierno como el Comité Ejecutivo, el Consejo y sus comisiones de control los que deberán marcar las pautas con los valores de la compañía para saber si se debe hacer un proyecto o no. E incluso se declina en una declaración de principios éticos.

Figura 7: Principios Éticos de la AI en Telefónica

¿Los textos de un chatbot? Si has hecho tecnología alguna vez en una empresa, sabras que son los equipos de comunicación, marca, user-research, lingüistas y user experience los que le dicen a los ingenieros qué debe decir en la respuesta de una intent reconocida por el motor de bots. No, los ingenieros (y los hackers) son fundamentales para otra cosa.

Son fundamentales porque son los que conocen bien el funcionamiento de la tecnología. Los ingenieros de datos, los ingenieros de ciencia de datos, los ingenieros de software, los ingenieros de AI y los hackers, los que levantan la bandera para detectar esas relaciones ocultas entre los datos. Las implicaciones que tiene un algoritmo evolutivo frente al un sistema basado en un árbol de decisión. Los que pueden decir que la evolución del modelo puede llevar a una situación de degeneración, o los que pueden entender realmente la implicación de dos AI enfrentadas. Esos hackers que pueden llevar cualquier tecnología al límite.

Si no involucras a tus ingenieros y hackers en detectar esas situaciones en las que un HIRE y un INVIERTE pueden llevar a una evolución no deseada. A detectar los Side-channels de los datos y algoritmos donde la localización en un sistema pueda llevar a un atentado contra la privacidad de las personas, a saber cuándo un sistema de GANs puede crear un sistema se salte todos los controles o donde un sistema de Human Behaviour Analytics puede ser nocivo para los empleados, vas mal. 

Como ves, todos los roles y perfiles de una organización tienen su función en el comportamiento ético de una empresa, pero los ingenieros tienen uno muy especial cuando hablas de Datos, Big Data, Machine Learning e AI. No para definir los valores, sino para garantizar su cumplimiento.

Saludos Malignos!