En 2019, se denunció que la Hacienda holandesa había utilizado un algoritmo de autoaprendizaje (machine learning) para crear perfiles de riesgo en la base de datos de solicitantes de ayudas para el cuidado de hijos, al objeto de detectar posibles fraudes en la obtención de tales beneficios.
Como resultado de las decisiones algorítmicas, las autoridades sancionaron, injustamente, a cientos de familias en base a una mera sospecha de fraude derivada de los indicadores de riesgo ofrecidos por el sistema, lo que ha provocado uno de los mayores escándalos europeos provocados por el uso público de algoritmos.
Las autoridades fiscales de los países bajos se enfrentan a una multa de 3,7 millones de euros
Las autoridades fiscales de los países bajos se enfrentan ahora a una multa de 3,7 millones de euros por parte de la agencia de protección de datos holandesa. En un comunicado publicado el 12 de abril, el regulador describió varias violaciones del reglamento europeo de protección de datos, incluido el carecer de una base legal para procesar los datos de las personas y conservar la información durante un periodo de tiempo excesivo.
"A medida que los gobiernos de todo el mundo recurren a algoritmos e inteligencia artificial para automatizar sus sistemas, el escándalo holandés muestra cuán peligrosos y dañinos pueden ser los sistemas automatizados sin las garantías adecuadas", destaca Francisco Pérez Bes, socio de Derecho digital en Ecix y autor del libro Artificial Intelligence and the Law (Ed. Wolters Kluwer). "En breve se aprobará el proyecto de ley europeo que regulará el uso de la inteligencia artificial", añade.
Desde el resurgimiento de la Inteligencia Artificial, uno de los principales debates entre los profesionales de esta materia es el que tiene que ver con la ética del algoritmo. En efecto, son muchos los que defienden un futuro basado en principios y valores humanos, que, por extensión, proponen aplicar al comportamiento de los robots cuando éstos convivan con los humanos. Pero pocos son los que plantean sanciones eficaces para las empresas que usan de forma ilícita, los datos personales con los que entrenan a los algoritmos.
La comisión federal de comercio norteamericana quiere prohibir el uso del resultado de la actividad ilícita
Un ejemplo de ello es la comisión federal de comercio norteamericana, la Federal Trade Commission (FTC), que desde el año 2019 lleva buscando vías a través de las cuales castigar este tipo de nuevas prácticas desleales digitales, consistentes en obtener ilícitamente información personal de los internautas para explotarla con herramientas de inteligencia artificial.
Una de estas medidas es la que consiste en prohibir el uso del resultado de la actividad ilícita, lo que se ha venido denominando como "la destrucción del algoritmo". A través de esta medida, el regulador insta el cese en el uso del algoritmo, como activo tecnológico resultante de la ilicitud declarada, porque es en él donde radica el valor económico que obtiene la empresa a través de su comportamiento ilegal.
Esta sanción sustituye o complementa a la que exige el borrado de los datos obtenidos, ya que no es eficaz. Esto es así porque, aunque eliminemos la información ilícitamente obtenida, el algoritmo ya ha aprendido gracias a aquella, consiguiéndose el objetivo perseguido. Es lo que se conoce como la sombra algorítmica o "algoritmic shadow". "En cambio, si la sanción supone la eliminación de los resultados, a priori esto puede suponer un impacto disuasorio eficaz entre aquellas empresas que no aplican un suficiente grado de diligencia en el uso de esta tecnología", explica Pérez Bes.
Como ejemplo de ello, el 4 de marzo de 2022, la FTC alcanzó un acuerdo en el procedimiento sancionador iniciado contra la conocida compañía Weight Watchers, por el funcionamiento de su aplicación Kurbo, una app que ofrecía consejos sobre alimentación sana. "Debido a la omisión de suficientes medidas de control, la aplicación permitía dar de alta a menores de edad (se detectaron cuentas creadas por niños de 8 años) lo que les llevaba a obtener información personal de estos menores sin el consentimiento de sus padres y, por consiguiente, incumpliendo la normativa aplicable", apunta Pérez Bes. "La resolución del regulador americano obligó a dicha empresa a borrar los datos ilícitamente obtenidos y, además de sancionarle con una multa de 1,5 millones de dólares, le ordenó la eliminación de los algoritmos u otros modelos de inteligencia artificial aplicados a dicha actividad u obtenidos gracias a aquella", añade.
Eliminar la información
En 2019, la FTC ya innovó a la hora de intervenir en el escándalo de Cambridge Analytica, cuando se demostró que tal plataforma no protegía suficientemente la privacidad de sus usuarios. En este caso, dicho organismo obligó a la empresa a eliminar toda la información que había recolectado de manera ilegal de los usuarios de Facebook, lo que incluía cualesquiera algoritmos utilizados para ello y, también, los resultados obtenidos a través de esa práctica.
Poco tiempo después, la FTC se enfrentó a otro caso, esta vez con la compañía Everalbum como protagonista. Esta empresa era la propietaria de una aplicación para compartir fotos, a la que se acusaba de usar reconocimiento facial sin autorización de los usuarios y sin ofrecerles la posibilidad de oponerse a ello.
En este caso, la Comisión obligó a Everalbum a borrar todas las fotografías, videos y datos biométricos obtenidos a través de su aplicación, y a eliminar "cualesquiera modelos o algoritmos desarrollados, en todo o en parte" usando esos datos.
A modo de justicia algorítmica, en este planteamiento de la FTC la premisa parece clara: no permitir que las empresas que violen la protección de datos puedan enriquecerse del uso ilícito de la información personal que obtengan, ni directamente a través de su explotación, ni a través de su uso para crear o entrenar a sus algoritmos. Se trata, en definitiva, que incumplir la norma no salga a cuenta.
Ya hemos sido testigos de experiencias previas en otras áreas del Derecho, como ha sido el del derecho de la competencia, especialmente en controversias derivadas del uso de algoritmos para pactar precios o provocar prácticas colusorias en el mercado. No obstante, lo relevante de este precedente es que ahora se haga extensivo a cuestiones relacionadas con la protección de datos y la protección de los consumidores en internet.
Debate jurídico
Esta situación plantea un interesante debate jurídico, por cuanto en el devenir de esta economía del dato en la que vivimos, los algoritmos son herramientas de procesamiento fundamentales. Sin embargo, no es menos cierto que el uso de algoritmos no puede infringir la regulación de protección de datos ni la de competencia desleal.
En España, la actual ley de competencia desleal ya contempla la acción de cesación y de prohibición de prácticas comerciales desleales. Mientras que la Ley de Defensa de la Competencia recoge la figura de las "multas coercitivas". Por su parte, el Reglamento General de Protección de Datos también contempla la disuasión de las sanciones no económicas, a las que exige que sean "efectivas, proporcionadas y disuasorias".
Estas previsiones podrían llegar a ser interpretadas por el regulador español como sanciones eficaces para castigar a aquellas empresas por una mala utilización de su algoritmo, o a los terceros que se aprovechan de la información ilícitamente obtenida. "En cualquier caso, un adecuado sistema de protección de datos desde el diseño, adaptado a las actividades algorítmicas de la empresa, ya es una previsión imprescindible para cualquier organización", concluye Pérez Bes.