Memoria de los Coloquios de Ética Digital 2021-2022 CENID UA

MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Lucas E. Misseri (coordinador) Auspiciados por 1 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Crédito de la imagen de tapa: "Artificial Intelligence & AI & Machine Learning" by mikemacmarketing is marked with CC BY 2.0. 2 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Contenido Prólogo....................................................................................................... 5 Parte I Primer Coloquio de Ética Digital (2021)....................................... 9 1. Introducción a los desafíos de la ética digital, Lucas E. Misseri.................... 11 2. Ampliar los derechos humanos a los entornos digitales, Javier Echeverría .. 19 3. La ética de la información en la perspectiva de L. Floridi, Lola Almendros .. 27 4. Derecho, ética e inteligencia artificial, Pablo Lapostol.................................. 33 5. La tecnología blockchain y el imperio del código, Primavera De Filippi ...... 43 Parte II Segundo Coloquio de Ética Digital (2022) ................................ 53 6. La ética mHealth: la revolución digital en la salud, Anna Bugajska .............. 55 7. Los usos de la inteligencia artificial en la toma de decisiones automatizadas que son jurídicamente vinculantes, Antonio Madrid Pérez ...................................... 67 3 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 4 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Prólogo Esta memoria recoge las comunicaciones presentadas en los Coloquios de Ética Digital, coorganizados por el Departamento de Filosofía del Derecho y Derecho Internacional Privado de la Universidad de Alicante y el Proyecto CENID (Centro de Inteligencia Digital) de la Provincia de Alicante. El objetivo central de los coloquios fue la transferencia de conocimiento al gran público en torno a los crecientes desafíos que supone el medio digital, especialmente para la reflexión ética, tanto para el razonamiento moral intuitivo como para el razonamiento moral crítico. El primer coloquio tuvo lugar el día 20 de enero de 2021, a las 11:30, de modo online, debido a la situación sanitaria ocasionada por la pandemia del Covid-19. Este primer evento contó con especialistas de distintas disciplinas (derecho, filosofía, ingeniería, economía e informática) quienes, de modo mixto (asíncrono y síncrono), ofrecieron sus perspectivas críticas en torno a los temas más acuciantes que la ética digital genera tanto para nuestro presente inmediato como para nuestras prácticas sociales futuras. La sección asíncrona del coloquio se encuentra disponible online en YouTube en el canal “Coloquio de Ética Digital (Alicante 2021)” y cuenta con las siguientes contribuciones, de alrededor de quince minutos cada una, que constituyen los capítulos de este escrito. El primero, de Lucas E. Misseri (miembro del grupo de investigación “Teoría del Derecho”, Universidad de Alicante), procura ser una introducción a los vídeos asíncronos centrada en los problemas que trae la digitalización y algunas de sus posibles guías de orientación desde una perspectiva ético-crítica. El segundo vídeo, de Javier Echeverría (miembro de Jakiunde, Academia de las Ciencias, de las Artes y de las Letras del País Vasco), a partir de la distinción en tres entornos de lo real se enfoca en la necesidad de ampliar los derechos humanos al entorno digital apoyándose en el concepto de “tecnopersona” que se genera con la interacción en dicho entorno. El tercer vídeo, de Lola S. Almendros (miembro del grupo de investigación “Ciencia, Tecnología y Sociedad” del Instituto de Filosofía, Centro Superior de Investigaciones Científicas), da una perspectiva descriptiva, pero también crítica de los aspectos 5 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 centrales del que probablemente sea el intento más ambicioso de desarrollo de una ética de la información: el del filósofo italiano Luciano Floridi. El cuarto vídeo, de Pablo Lapostol (miembro del grupo de investigación “Gob-Lab” de la Universidad Adolfo Ibáñez, Chile), aborda los problemas que surgen de la interacción entre el derecho, la ética y la inteligencia artificial. El quinto vídeo, de Primavera de Filippi (investigadora permanente del CNRS, Francia, y miembro del Berkman Center de la Universidad de Harvard), describe las consecuencias que trae aparejado el uso de la nueva tecnología blockchain. En cambio, la sección síncrona del coloquio tomó la forma de una mesa redonda virtual en la que expusieron sus perspectivas Andrés Pedreño (Catedrático de Economía y cofundador de IT&IS); Nuria Oliver (miembro de la Real Academia de Ingeniería de España); Manuel Palomar (Catedrático del Departamento de Lenguajes y Sistemas Informáticos de la Universidad de Alicante), y Manuel Atienza (Catedrático del Departamento de Filosofía del Derecho de la Universidad de Alicante). Fue un debate constructivo que dejó algunos interrogantes abiertos y líneas para explorar en el futuro cercano. El vídeo de dicho debate se encuentra disponible online1, pero no ha sido transcrito en esta memoria por la dificultad que entraña volcarlo a texto, dada la característica polifonía de ese tipo de intercambios. Finalmente, el día 11 de abril de 2022, se realizó el Segundo Coloquio de Ética Digital. También en la modalidad síncrona y en respuesta a algunos de los interrogantes concretos que habían quedado en la mesa redonda del año anterior, como, por ejemplo, los desafíos prácticos concretos para la ética que trae la digitalización vistos desde las perspectivas de problemas particulares. Es este marco es que se incluyen en forma de ponencias breves las contribuciones de los dos académicos que participaron en ese diálogo en vivo transmitido por el CENID. Por un lado, la de Anna Bugajska (Profesora habilitada y miembro del Departamento de Ética General y Aplicada de la Universidad Jesuita Ignatianum de Cracovia, Polonia) y por el otro, la de Antonio Madrid Pérez (Profesor titular de filosofía del derecho y co-fundador del Grupo DIAR: Derecho, Inteligencia 1 Vídeo disponible en: https://youtu.be/l5FChU4d3Qo 6 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Artificial y Robótica de la Universidad de Barcelona), moderados por el coordinador de esta memoria. A modo de cierre, se espera que este texto –que es más bien un hipertexto por sus hipervínculos dentro del mismo archivo y hacia otras páginas web— sirva como un material de discusión para el desarrollo de la ética digital y de soluciones a los desafíos planteados. En última instancia es un esfuerzo reflexivo en un doble sentido, por un lado, porque se procura establecer una crítica constructiva de los fundamentos éticos de las prácticas que implican tecnologías digitales y, por otro lado, porque esa misma labor crítica se lleva a cabo a partir del uso de las mismas herramientas digitales que constituyen su objeto de estudio. El coordinador San Vicente del Raspeig, 12 de abril de 2022 7 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 8 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Parte I Primer Coloquio de Ética Digital (2021) 9 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 10 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 1. Introducción a los desafíos de la ética digital, Lucas E. Misseri TRANSCRIPCIÓN2 Hola, mi nombre es Lucas Misseri, soy Doctor en Filosofía, y mi intención en los próximos minutos es ofrecerles una introducción a esto que damos en llamar “ética digital”, pero que puede tener distintos nombres y engloba una serie de problemas y conceptos asociados como, por ejemplo, la “ética de datos”, “ética de algoritmos”, “ética de la inteligencia artificial”, “ética del ciberespacio” o “ciberética”. Si originalmente “digital” tenía que ver con los dedos, o posteriormente con los dígitos, hoy pensamos a lo digital por contrapartida con lo analógico, es decir, pensamos en aquello que, de algún modo, está mediado por la electrónica, por un conjunto de códigos informáticos. A veces se habla de tecnologías de la información y de la comunicación (TIC) porque eso ya constituye un neologismo que nos permite pensar adecuadamente esto. Pero, en realidad, si lo pensamos detenidamente, desde las primeras civilizaciones hay tecnologías de la 2 Vídeo original disponible online en: https://youtu.be/aJZ1fxkkI4I 11 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 información y de la comunicación, sólo que éstas en la actualidad toman un cariz muy importante, mucho más destacado de lo que podría haber tenido antes. Paradójicamente, al mismo tiempo que se habla de mayores tecnologías de comunicación, eso no necesariamente se traduce en comunicación de hecho, sino que muchas veces también contribuye al aumento del ruido. Hoy estamos mediados por un montón de tecnologías de este tipo de tecnologías digitales, ahora mismo estoy grabando en un móvil y luego lo verán ustedes en otra tecnología. Cuando una transacción económica también es una tarjeta cuando registran mi nombre en el ingreso en un país, también hay una mediatización de este tipo digital. Entonces, vemos que, desde el punto de vista de la ética y de la moral3, nuestras prácticas cotidianas involucran aspectos digitales. Y del mismo modo desde el punto de vista de las teorías también hay que dar cuenta de esas prácticas que ponen una serie de desafíos, una serie de problemas, que, en algunos sentidos, son novedosos. Aunque no necesariamente novedosos por el hecho de que generemos problemas totalmente nuevos, pero sí por su impacto, por el modo en el que se plantean estos problemas. Es decir, las tecnologías, de un modo, son mediaciones de nuestras acciones y el impacto que tienen implica una serie de consecuencias que antes no se daban. En el tercer cuarto del siglo XX, un filósofo alemán como Hans Jonas se planteaba que, con la tecnología, con las revoluciones industriales, y las tecnologías atómicas, sobre todo, la necesidad de “éticas orientadas al futuro”. Si las éticas normativas tradicionales (la ética aretaica o de la virtud, la ética del deber, la ética de las consecuencias) nos hacían pensar nuestro accionar en un radio, un alcance a mediano plazo, por primera vez, con las tecnologías atómicas, podíamos empezar a pensar en la posibilidad de la autoextinción. Esto es, de tener, por ejemplo, estos problemas que se dan en llamar de “justicia intergeneracional”, que es cuando nos planteamos ¿qué va a quedar de este mundo para los seres humanos del siglo XXX? ¿Qué recursos les vamos a dejar? Ese tipo de problemas Los términos ‘ética’ y ‘moral’ suelen ser usados como sinónimos, aunque una distinción posible es pensar a la moral como el conjunto de prácticas y creencias que tiene un grupo humano en torno a lo bueno y lo malo, lo correcto y lo incorrecto y reservar la palabra ética para el estudio reflexivo y crítico de la moral y sus intentos de fundamentación racional. Para esta perspectiva véase Maliandi (2009). 3 12 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 se han visto agravados, de algún modo, con el avance tecnológico y las tecnologías de la información por una mayor complicación. Esto que llamamos tecnologías digitales, este ciberespacio, ha contribuido a generar nuevos problemas. Por ejemplo, desde el punto de vista de un insulto, del hecho de que alguien insultase a otro, hoy con eso se pueden hacer vídeos, pueden publicarse millares de insultos. Se puede digitalizar un libro, se lo descarga pirateado sin muchos problemas. Hay aspectos psicológicos que afectan las prácticas de los que también tiene que dar cuenta la ética normativa. En este sentido este conjunto de problemas es lo que constituye la ética la ética digital, no necesariamente como algo distinto de la ética tradicional, pero sí como una serie de problemas nuevos que se plantean, lo mismo pasa con problemas o conflictos de valores y de principios tradicionales como en el aspecto público y privado, que hoy en día se ven cada vez más más borrosas sus fronteras. Por un lado, tenemos que estos nuevos medios tienen una especie de mezcla entre lo privado y lo público, por ejemplo, ¿un grupo de WhatsApp con ciento cincuenta personas es privado o es público? Uno pensaría que es privado, pero el impacto, la reproducibilidad, que tienen esos chats, que pueden llegar a cualquier lado, a cualquier persona, que basta presionar algunos botones para para compartirlo mucho más ampliamente. También hay que hablar del fenómeno de las redes sociales y a su vez del rol que juegan en él las empresas, que son empresas privadas las que son dueñas de esas de esas redes sociales, y que establecen ciertas normas, pautas. Son empresas enormes y también inauditas, son transnacionales, globales. Pienso en esto que se da en llamar “GAFA” (Google, Amazon, Facebook y Apple), pero seguramente vengan nuevas. Sobre este fenómeno y esta serie de problemas en el Coloquio de Ética Digital de Alicante, ustedes podrán ver algunas de sus descripciones críticas, por medio de filósofos como Javier Echeverría, quien nos habla de esto que les decía hace un instante, que está esta tecnología también afecta al modo de autopercibirnos, lo que él y Lola Almendros llaman “tecnopersonas”. Estas nuevas entidades que aparecen, que son nuestros “yoes virtuales”, nuestras imágenes virtuales, nuestra impronta virtual y que Echeverría sostiene que demandan una revisión de nuestros derechos humanos, porque hay algo nuevo que se puede dañar, que se puede humillar, se puede afectar. Entonces, de algún modo, demanda una nueva 13 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 protección. Incluso hay algunos autores que llegaron a hablar de un “derecho humano a internet”, por esta cuestión de que es muy importante tener acceso a la red. Hoy en día se habla también de “pobreza informática”, en el sentido no sólo de mal acceso a internet, que ahora con la pandemia se ha visto los problemas que tienen incluso en algunos escolares o estudiantes universitario de acceder también a las plataformas en algunos países en algunas regiones por la calidad de su wifi, sino por carecer de la formación necesaria para su buen uso. Asimismo, decíamos que hay ahí hay una serie de problemas nuevos que tienen que ver con nuevas tecnologías. Por un lado, Pablo Lapostol va a hablar de inteligencia artificial y el impacto que tiene para el derecho y para la ética. La expresión “inteligencia artificial” es ya de por sí un término polémico, tiene algunos problemas sobre todo porque tiene esta capacidad supuestamente de aprendizaje, es decir, los diseñadores establecen una serie de algoritmos y sus algoritmos pueden reproducir patrones hasta generar una cierta independencia con respecto al diseñador. Eso genera problemas de responsabilidad, de atribución de responsabilidad, y, a su vez, de sesgos que se reproducen porque no son tecnologías que podríamos decir totalmente neutrales. Está el ejemplo de los bots de Twitter a los que dejaron libremente que se alimentaran de los tweets de las personas, es decir de sus posteos, de lo que escribían los usuarios, y que en menos de un día ya reproducían ideas racistas y xenófobas. Entonces, este tipo de tecnología plantea nuevos problemas y de eso nos habla Lapostol en su vídeo. Por otro lado, también hay tecnologías que están influyendo de modo muy importante en transacciones económicas, como es el caso de la tecnología blockchain (o de “cadena de bloques”), que permite establecer cosas como moneda digital y cuya confianza se basa en una suerte de asientos contables globales que se hacen en todas las máquinas que están conectadas al blockchain. Es una tecnología que tiene sus problemas como lo contará Primavera De Filippi y que tiene sus ventajas criptográficas, no obstante, también tiene sus desafíos para el Estado de Derecho y para nuestras prácticas morales y teorías éticas. También tenemos una visión de la ética normativa o mejor dicho de cómo la ética normativa intenta adaptarse a esto. Uno de los primeros pensadores en ocuparse de este tipo de problemas ha sido Luciano Floridi, de quién Lola Almendros 14 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 nos hace, en este coloquio, un muy buen resumen crítico. Floridi plantea una nueva visión de los problemas éticos en las cuales intenta hablar desde una especie de ontocentrismo, es decir, piensa que la ética puede ser resignificada a partir de la idea de entropía y de pérdida de la información. Pero vamos a ver que eso tiene una serie de problemas a discutir, sobre los cuales todavía no están los criterios bien establecidos. Pero procura, por ejemplo, ofrecer una distinción entre responsabilidad y accountability, o entre, por ejemplo, la acción humana y la acción de una inteligencia artificial. Todo esto lleva a una serie una serie de planteos, de problemas abiertos, que creo que si tuviera que acotarlos los resumiría en dos grandes problemas. Por un lado, un problema que tiene que ver con algo que había advertido Hegel en el siglo XIX, mejor dicho, a principios del siglo XIX, cuando escribió poéticamente que “el búho de Minerva levanta vuelo en el ocaso”, es decir, que el pensamiento críticoreflexivo, este pensamiento lento, realmente suele llegar tarde a los cambios históricos. Entonces, se me ocurría una metáfora, quizá no muy feliz, pero si el pensamiento crítico es un búho, los cambios tecnológicos actuales son aviones supersónicos. Cambios que se dan muy velozmente, no todos ellos buenos, muchos peligrosos para la intimidad, la democracia, y qué el pensamiento crítico y reflexivo, que demanda intercambio, que demanda revisión por pares, que demanda diálogo, también demanda mucho tiempo. Nos encontramos con nuevas tecnologías que no siempre se nos implantan con el suficiente tiempo para procesarlas, incluso para discutirlas. A veces las necesidades, a veces las modas, influyen en que esto sea un poco más rápido de lo que sería deseable. La otra idea que me parece interesante también, como para englobar algunos de los problemas, tiene que ver con repensar el rol de la tecnología, es decir, pensarlo no ya cómo este mito de la tecnología totalmente neutral. Vamos a ver que los nuevos planteos de filosofía de la tecnología nos hablan de que cada vez la tecnología es vista como una mediación, como una multiplicación de nuestras acciones, con una serie de diseños, de estipulaciones, de códigos, arquitectura de las decisiones, es decir, con una serie de lineamientos y de impedimentos que promueven o inhiben el desarrollo de ciertos valores. Cada vez son menos neutras y me parece que es muy importante tener eso en cuenta. 15 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Bueno, como para cerrar con un aspecto no tan pesimista, me gustaría dejar una línea de hacia dónde pienso que se encontrarían las soluciones a este tipo de problemas. Por un lado, creo que hay una posibilidad de aprovechar estas tecnologías para ese pensamiento crítico, como es el caso de este evento, y creo que tiene que ver con la idea de colaboración. Colaboración que de algún modo también está viendo formas inauditas gracias a esta tecnología, no todo es ruido, no todo son noticias falsas, fake news, sino que también hay posibilidades de colaboración internacional, colaboración asíncrona, acceso a fuentes, acceso a artículos en tiempo récord, incluso con fondos escasos. Hay un montón de posibilidades. Entonces creo que una vía está en ver cómo mejorar los espacios reflexivos para tener mejores guías, mejores principios, mejores orientaciones en estas nuevas tecnologías. La segunda línea tiene que ver con lo que se da en llamar “virtudes epistémicas”. Si bien es un tópico decir que es importante introducirlo en la educación, hablar de que una de las salidas a estos problemas sería con educación. Pero creo que tiene que ver con las virtudes epistémicas en un doble sentido, lo que es bueno para el conocimiento, y a la vez que las virtudes epistémicas nos permitirían por ejemplo empezar a cuestionar la información que recibimos. Empezar a ser más cautos en el modo en el que hacemos referencia a hechos. Antes cuando, yo era pequeño, me acuerdo que una de las cosas que era una prueba indiscutible era una foto o un vídeo, hoy en día con la tecnología llamada deep fake y con otras herramientas, ya un vídeo o una foto no prueba nada, o prueba muy poco. Bueno creo que ejercer una cierta desconfianza epistémica es valioso y eso en conjunto con la idea de colaboración, con redes, por ejemplo, estas redes que intentan desmitificar o deshacer bulos. A su vez, también creo que, a nivel formativo, es importante que las nuevas generaciones tengan la posibilidad de programar o de acceder un poco a estas nuevas herramientas, pero desde adentro; desde la visión del diseñador, desde aquel que sabe cómo se hacen; no meramente la del usuario. Es decir, en las virtudes epistémicas aquí pensadas como “alfabetización digital”, pero temprana, es decir, que cada vez podamos depender menos de lo que hacen dos o tres empresas y que podamos generar códigos, programas, alternativas de colaboración y de reflexión. Creo que en esa vía está están, por ejemplo, las orientaciones a cómo pensar estos problemas y sus soluciones. Creo que la 16 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 desdigitalización, como plantean algunos autores, no es viable. Pero sí veo un camino promisorio en tomar lo aprendido de la ética normativa tradicional y generar nuevos espacios con las nuevas tecnologías, para discutir y ver qué de lo tradicional nos sirve para lo nuevo. No descartar las reflexiones de nuestros antepasados, pero a su vez estar abiertos al nuevo tipo de problemas que se nos plantean a diario. Gracias. Más información • Achterhuis, H. (2001). The American Philosophy of Technology: The Empirical Turn. Bloomington: Indiana University Press. • Coeckelbergh, M. (2021). Ética de la inteligencia artificial. Madrid: Cátedra. • Jonas, H. (1995 [1979]). El principio de responsabilidad: Ensayo de una ética para la civilización tecnológica. Barcelona: Herder. • Maliandi, R. (2009). Ética: conceptos y problemas. Buenos Aires: Biblos. • Spinello, R. A. (2021). Cyberethics: Morality and Law in Cyberspace. Burlington: Jones & Barlett Learning. 17 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 18 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 2. Ampliar los derechos humanos a los entornos digitales, Javier Echeverría TRANSCRIPCIÓN4 Antes de entrar al tema quiero aclarar que para mí no hay una ética, sino una pluralidad de éticas. Entiendo la ética como algo situado espacio temporalmente y también socioculturalmente, es decir, como las costumbres, los hábitos, las acciones, las interacciones humanas en el ámbito que sea y en la época que sea. En nuestra época, en los entornos digitales y a eso me voy a referir. También quiero dejar claro que cuando hablo de ética me refiero ante todo a los valores y normas que rigen u orientan las acciones humanas, sean éstas individuales o colectivas. La ética la tienen las personas y la practican las personas, incluidas las personas jurídicas. Este matiz es importante, no solo hablo, por lo tanto, de una ética individual sino de éticas colectivas y cabe hablar, por lo tanto, de una ética institucional o de la ética de una empresa o, incluso, de un gobierno ¿porque no? O sea, de entidades colectivas. En la era moderna a los estados han sido personas jurídicas muy relevantes ellos han impuesto múltiples normas, algunas de ellas éticas, y las han desarrollado normalmente mediante legislaciones, es decir, que, a los estados, al estado de derecho, subyace a sus 4 Vídeo original disponible en: https://youtu.be/KccwLz2Pg1w 19 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 planteamientos, a sus constituciones, sin duda planteamientos éticos, y la ética, por lo tanto, está profundamente vinculada en el caso de los estados a las legislaciones. Por lo tanto, los valores morales y jurídicos están estrechamente relacionados y de ahí que me vaya a referir a la ética, pero sobre todo desde el punto de vista de la jurídico, de la filosofía del derecho. En el caso de los entornos digitales, además, los estados no son los agentes más relevantes. Son importantes, es decir, en particular los Estados Unidos de América o China, por ejemplo. Pero lo cierto es que han surgido grandes empresas transnacionales como como Google, como Apple, como Facebook, como Twitter, como Microsoft, etcétera, etcétera, que han generado ellas mismas y mantienen y han desarrollado grandes entornos digitales con millones de personas, con miles de millones incluso de usuarios, de personas que hacen cosas en esos entornos digitales. Es decir, los entornos digitales, los hay públicos, los hay estatales sin duda, pero también los hay privados y los hay mixtos (públicosprivados). La distinción público-privada, precisamente, se ha relativizado considerablemente en los entornos digitales. Pues bien, puesto de los seres humanos hacemos cosas en los entornos digitales surge la cuestión ética y también la cuestión jurídica ¿cuáles son las normas?, ¿cuáles son los valores que rigen, u orientan al menos, nuestras acciones? La idea es que, por mi parte, hay múltiples sistemas de valores, entre los cuales hay valores morales, pero desde luego en los centros digitales no son los valores morales los predominantes. Es decir que las empresas transnacionales que gestionan esos grandes dominios, esas grandes redes sociales por poner un ejemplo claro, no han operado en base a valores éticos a valores morales sino fundamentalmente de valores económicos, son empresas con ánimo de lucro, valores empresariales y valores tecnológicos. Eso no quiere decir que no tengan presente las cuestiones éticas, pero que estas son subsidiarias y la novedad es que, en esos dominios de las grandes empresas que acabo de mencionar, las normas las ponen en ellos y no las ponen los estados. Esto es una novedad importante mencionada antes que es la moral de muchas sociedades ha estado profundamente vinculada en la época moderna a los estados naciones a las legislaciones que han implantado, pero en cambio, hoy en día en la época actual en la época contemporánea en la época digital se le quiere llamar así son empresas privadas, grandes transnacionales las que ponen las normas y las 20 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 que prescriben y ordenan. Por lo tanto, hay un cambio un giro en los entornos digitales muy importante en los agentes éticos puesto que esas personas jurídicas que son empresas y no son estados son las predominantes. Las predominantes desde muchos puntos de vista porque pueden expulsar a los usuarios de las redes les pueden decir “estás actuando bien”, “estás actuando mal”, les pueden decir “actualízate”, “haz esto”, “no hagas lo otro” y por lo tanto las acciones de muchas personas están claramente determinadas por estas entidades privadas a las que yo desde el año 1999 llamo “los señores del aire”. Con respecto a los entornos digitales una breve idea porque es coherente con la hipótesis de los señores del aire, los seres humanos en el siglo XXI estamos ante tres grandes entornos uno es la naturaleza (la physis), el campo; otro es la ciudad, el segundo entorno; y el tercero son los entornos digitales, el mundo electrónico, no solo internet, puesto que las redes financieras también forman parte de los mundos digitales, están digitalizadas todas ellas. Vamos a poner un ejemplo concreto: el hecho de que fluya el dinero y de que se evada el dinero a través de las redes financieras digitales, que son globales, pues eso que es un delito en la evasión de dinero de un estado, los estados lo controlan muy mal porque la movilidad en este momento de los grandes capitales y de los grandes dineros se ha transformado por completo en los entornos digitales. Antiguamente el dinero iba en maletas en cofres en arcones recordemos lo que eran los barcos cargados de oro de los conquistadores españoles, hoy en día viajan a través de las redes mediante números y viajan instantáneamente y a toda velocidad. Entonces, dicho esto de la hipótesis de los tres entornos, insisto primer entorno la naturaleza la physis, la biophysis, nuestro cuerpo humano, también es algo de carne y hueso el primer entorno. El segundo entorno, la ciudad, la polis, los libros, por poner un ejemplo. Y tercer entorno, este en donde yo estoy ahora mismo. Ahora estoy en el tercer entorno, yo tengo aquí mi primer entorno, mi cuerpo de carne y hueso, vean como me toco, pero él sin embargo no confundan el cuerpo que yo me tocó y la imagen que sale en sus pantallas. Eso ya es tercer entorno, esa es mi tecnopersona. Ésta es la hipótesis que Lola Almendros y yo hemos lanzado en nuestro último libro de este año 2020, la hipótesis de las tecnopersonas. Es una hipótesis, a mi entender, muy importante porque incide precisamente en los 21 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 derechos humanos en el tercer entorno, en los entornos digitales, es decir que en la medida en la cual las personas, yo mismo, generamos tecnopersonas. Lo que ven ustedes en este momento en pantalla es una de mis tecnopersonas no la única ni muchísimo menos, pero sin embargo con respecto a esa imagen, con respecto a la voz a lo que yo estoy diciendo ahora, yo creo que tengo unos derechos. Tengo unos derechos y quiero exigirlos. Esta es la ampliación de los derechos humanos a los entornos digitales. Dicho esto, el error grave que se ha cometido en particular en España es considerar a internet y, en general, a las redes sociales como medios de comunicación por analogía con la prensa, con la radio, con la televisión. No es así, o sea los sistemas tecnológicos digitales, que son muchos y muy complejos, han generado un nuevo espacio social. A esto es a lo que llamo yo “tercer entorno”, un nuevo espacio social que es un espacio para la acción y la interacción, para la relación desde luego, pero no solo para las relaciones comunicativas o informativas, sino para múltiples tipos de acciones. Se puede comprar y vender en el tercer entorno, se puede entretenerse ir al cine, se puede se puede hacer la guerra, se puede se pueden evadir capitales, se pueden hacer transferencias bancarias. El tercer entorno, los entornos digitales son mundos de vida mundos de vida, de vida individual y también de vida social y, por lo tanto, de ahí que surja la cuestión no solo de la ética en los entornos digitales, sino también de las normas de las normas y en concreto el gran problema de las normas jurídicas. Ocurre que, como dije antes, las normas de comportamiento en el tercer entorno, los entornos digitales, las ponen las grandes empresas transnacionales y “los señores del aire”, “señores de las redes”, “señores de las nubes” como hoy en día en la metáfora al uso se habla. No hay más remedio que aceptar, o sea que, por lo tanto, esto da idea de hasta qué punto estamos sometidos al poder de los señores de las redes, puesto que o aceptamos o no aceptamos al usar un nuevo dispositivo digital o al usar un nuevo software o al actualizar un nuevo software. Hay que aceptar porque si no uno se queda sin nada, sin poder desarrollarse en los entornos digitales. Ser persona en los entornos digitales implica aceptar las normas de uso y las plataformas y los troquelamientos mentales de todo tipo, tanto de voz como de sonido, que los señores del aire, los señores de las nubes 22 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 imponen. Ahora mismo yo soy un ejemplo de ello, puesto que estoy actuando, dando una pequeña conferencia en el tercer entorno. Ya dicho, esto paso por fin a lo de ampliar la declaración de derechos humanos en el marco de estas hipótesis. La hipótesis del tercer entorno, en tanto mundo de vida, en tanto el mundo de integración humana, y también con esta nueva modalidad de poder que ha surgido que es superior al de los Estados los “señores de las nubes” o “señores de las redes”. Bien, pues, intentamos repensar la Declaración de Derechos Humanos del 48 y los documentos internacionales que se derivan de ella a partir de esas hipótesis. Entonces. los artículos se resignifican, cambian de significado en primer lugar porque la Declaración de Derechos Humanos la firmaron los Estados y en el tercer entorno los Estados tienen una presencia muy escasa y, desde luego, no son los señores de las redes, que son quienes mandan en estas grandes redes sociales, ellos no han firmado la Declaración de Derechos Humanos y por eso no lo respetan. O sea, de ninguna manera hay democracia en las redes sociales, no hay poder, no hay tres poderes, no hay poder legislativo. ¿Dónde está la asamblea parlamentaria que ha elaborado las normas de comportamiento de los usuarios? Pues, no sé. ¿En Google, en Facebook, en cualquier otra plataforma digital dónde está el poder judicial que pueda reivindicar un usuario para que atienda sus quejas? No, al firmar el acuerdo uno renuncia a sus derechos como ciudadano y se atiene a lo que digan los tribunales de justicia de un condado determinado de California, pero renuncia a sus derechos como ciudadano español, en este caso. Dicho esto, paso ya a hacer un breve comentario de los derechos humanos iniciales. Voy a comentar sólo los primeros, el preámbulo. Ya he dicho a lo básico, es decir, el tercer entorno no está basado en la noción de territorio, mientras que en el preámbulo de la Declaración de Derechos Humanos se habla explícitamente de los territorios bajo jurisdicción de los Estados. Aquí no, aquí lo que hay son redes bajo jurisdicción de los señores de la red y esas redes no son territoriales son reticulares, son globales y, entonces, ¿cuál es la legislación que vale en estas redes? No la de ningún Estado, aunque puede haber unos pequeños límites que los Estados ponen en el ámbito de sus competencias, pero las grandes normas de comportamiento de las personas las ponen los señores del aire y las dictan. Son 23 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 dictados o sea dictados sin solución ninguna. Bien, precisamente por eso, son los propios propietarios de las redes y gestores de las redes los que tienen que comprometerse a garantizar los derechos humanos en esas redes que mantienen y gestionan. Esa es la propuesta, que se aplicaría a todas las redes telemáticas y electrónicas que se pudieran crear, así como a las diversas subredes, lugares o escenarios de dichas redes. Las páginas web, por ejemplo, que es el último ejemplo de la red, las redes son mucho más complejas y mucho más influyentes. Bien entonces esto vale para él el prólogo de la Declaración, pero también para el artículo 2. En el artículo 2 dice que toda persona, sin distinción alguna de raza, color, sexo, idioma, religión, opinión política o de cualquier otra índole tiene los derechos y libertades de esta Declaración. Hay que añadir a esto que independientemente del lugar de acceso a los entornos digitales, es decir, que porque acceda desde un servidor o desde otro no puede ser discriminado. Esta sería la primera ampliación. La segunda ampliación es que tendría que ser reconocido de alguna manera con derechos como ciudadano, como “ciudadano de la red”, no del territorio. Esta es la idea profunda que en el artículo 3 ya queda más claro dice “todo individuo tiene derecho a la vida, a la libertad y a la seguridad de su persona”. Aquí habría que modificar este artículo ampliándolo, no estoy modificando la Declaración de Derechos Humanos, simplemente se trata de ampliarla, de expandirla y decir que toda persona tiene derecho a la vida a la libertad y a la seguridad de sus tecnopersonas. Otro tanto diría en el artículo 4 “nadie estará sometido a esclavitud ni a servidumbre”, pues bien, ocurre que en este momento en mis hipótesis somos tecnosiervos de los señores del aire y, por lo tanto, no esclavos, pero sí siervos. Tenemos que aceptar estrictamente las normas sin negociación ninguna y, por lo tanto, esa tecnoservidumbre debería de ser eliminada y prohibida. No puede haber torturas, ni penas, ni tratos crueles inhumanos o degradantes en el artículo 5, pues bien, tampoco con las imágenes digitales, ni con las voces. Esto se hace y se hace muchísimo piénsese en la pornografía o la pederastia en internet, bien pues con esto ya se hacen ustedes a la idea de por dónde iría esta ampliación y termino únicamente diciendo que esto afecta a la identidad de las 24 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 personas, no sólo a sus datos. Las tecnopersonas en realidad somos sistemas de datos que reconstruidos por los señores de las redes nos generan esta imagen y esta voz mía, entonces la clave consiste en la propiedad de los datos. Otro de los artículos de la declaración afirma el derecho a la propiedad de las personas, pues esa es la clave el derecho a la propiedad que las personas tenemos de nuestras tecnopersonas, es decir de nuestras voces, imágenes y de las cosas que hagamos y de los datos generemos en los entornos digitales. Por último, nuestra identidad personal este sería el gran derecho y más novedoso puesto que la identidad personal nos la dan los señores del aire y habría que reivindicarla como una identidad personal propia muchísimas gracias y espero que en el diálogo estas cosas les hayan interesado. Más información • Echeverría, J. (1994). Telépolis. Barcelona: Destino. • Echeverría, J. (1999). Los señores del aire: Telépolis y el tercer entorno. Barcelona: Destino. • Echeverría, J. (2000). Un mundo virtual. Barcelona: Debolsillo. • Echeverría, J. y Almendros, L. S. (2020). Teconopersonas: cómo las tecnologías nos transforman. Gijón: TREA. 25 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 26 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 3. La ética de la información en la perspectiva de L. Floridi, Lola Almendros TRANSCRIPCIÓN5 La actividad filosófica de Luciano Floridi se centra en la comprensión de los efectos que el giro informacional viene teniendo en la forma de vida desde inicios del siglo XXI como consecuencia del desarrollo de las tecnologías de la información y la comunicación. El filósofo italiano viene concretando un marco conceptual para entender un mundo construido a partir de la interconexión e interactividad entre humanos y máquinas. Por ello su filosofía de información de también es (e incluso fundamentalmente es) una ética de la información. Así, para entender su peculiar propuesta ética, primero hay que atender a los aspectos esenciales de su filosofía de la información: a cómo conceptualiza la realidad, la manera de vida y la idea del sujeto de persona o entidad con capacidad de la agencia en la actualidad. Floridi describe la realidad como un ecosistema informacional, y lo denomina “infoesfera”. Entiende que la realidad debe ser comprendida como el conjunto de 5 Vídeo original disponible en: https://youtu.be/fhnxzk64ydg 27 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 interacciones que tiene lugar entre organismos informacionales, esto es, entre aquellas entidades que tienen capacidad de actuar en el ecosistema. El segundo de los términos remite a las relaciones informacionales. Siguiendo la metáfora biológica y ecosistémica, el filósofo italiano define estas relaciones como constitutivas de un modo de vida: el modo de vida “onlife”. Este se caracteriza por la creciente indeterminación entre lo analógico y lo digital, lo online y lo offline, lo humano y lo no humano… El “inforg” es el tercero de los conceptos básicos de la filosofía de la información de Floridi. Así, dentro de este marco categorial, los inforgs son los organismos informacionales que han emergido con el giro informacional. Son agentes embebidos, es decir, están ligados de manera intrínseca a la infoesfera, pues su propia actividad es la que conforma el ecosistema informacional. En este sentido, la vida onlife tiene una forma simbiótica. Dado el nivel de indeterminación, los inforgs constituyen un (eco)sistema de multiagencia distribuida. En definitiva, la idea de inforg –de agente– no solo viene a sustituir la idea de sujeto, sino que está definida en unos términos que presentan consecuencias relevantes a la hora de comprender qué es la ética en general y la acción ética en particular. 28 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Para profundizar en esta cuestión, en primer lugar, hay que recalcar que la ética de Floridi es una ética de la acción, no de valores o de fines-medios... Y no está ligada a la idea de persona sino a la de agente. En este sentido, en segundo lugar, podría definirse como una ética marcadamente conductista e incluso funcionalista. Asimismo, como se ha visto, si las entidades que componen y (en tanto que operan) conforman la infoesfera son, además de humanas o no humanas, normalmente indefinibles, entonces no solo la agencia y la moral son distribuidas, sino que la ética de Floridi no es ni antropológica ni antropocéntrica. Estas complicaciones para entender las acciones en general y las acciones morales en particular obligan al filósofo italiano a adoptar una metodología propia del estudio de sistemas complejos. Así, toma el método de los niveles de abstracción de las ciencias computacionales y de la ingeniería de software con el propósito de analizar la estructura informacional en su complejidad, y particularmente porque permite dirigir la atención a determinados niveles con propósitos que se pueden definir. Esto es, utiliza una metodología propia de sistemas informacionales como pudiera ser un programa informático. En ese caso, si bien conforme se avanza en el código existe una mayor complejidad o abstracción, es posible atender a algunas de las líneas de código para obtener información más concisa. Bastaría con definir una serie de propósitos u objetivos determinados (acotar el nivel de abstracción) para poder conocer las relaciones que existen en esa parte demarcada del proceso. Llegados a este punto, es fácil reconocer que la propuesta de Floridi presenta una suerte de conjunto de axiomas, es decir, de principios esenciales que dan forma y coherencia a todo el modelo de ética informacional. El primero de ellos consiste en aceptar que toda entidad –todo lo que compone la infoesfera– es informacional, es decir, que la realidad es el conjunto de entidades informacionales que operan en la infoesfera. En segundo lugar, algunas de estas entidades tienen capacidad de agencia –son agentes–. Así, la realidad no solo es el conjunto de entidades informacionales que operan en la infoesfera, sino que precisamente al operar la construyen, siendo indisociable su quehacer y la realidad. 29 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 En tercer lugar, estos agentes no siempre son humanos: algunos son artificiales. Por lo que la ética floridiana no es ni antropocéntrica ni antropológica. En cuarto lugar, algunos de estos agentes artificiales además son agentes morales. Esto supone que en sus prácticas existe moralidad o se ven comprometidas cuestiones que tradicionalmente se consideran morales. En último lugar, los agentes morales artificiales son, según Floridi, accountable pero no necesariamente responsible. Utiliza estos dos términos en inglés cuya diferencia es remarcable. La distinción recae en la autoridad y por consiguiente en la culpa. De modo que algunos de los agentes artificiales que son morales podrían ser responsables, pero, al no ser necesariamente la última autoridad, no podrían ser culpables. Ahora bien, esta cuestión no solo no aclara el sentido de lo moral dentro de la propuesta floridiana sino que abre muchos interrogantes. Por otro lado, pero también con polémica, para Floridi es posible establecer un indicador de la moralidad de las acciones. Aplicando la idea del ecosistema, el indicador de la moralidad de una acción sería el incremento del orden o del desorden dentro de la infoesfera. Esta suerte de principio de entropía serviría para evaluar la moralidad de las acciones. Para finalizar, me gustaría poner de manifiesto cuatro problemáticas en relación con la propuesta de Floridi. En primer lugar, puede resultar pernicioso que al prestar máxima atención a la agencia se deje de lado los intereses o los propósitos que la subyacen, haciendo parecer la infoesfera además de un ecosistema solo informacional, también neutral. Todo ello interpela al sentido de la responsabilidad, en especial a la que pudiera seguirse de la agencia de máquinas, algoritmos y entidades que manejan máquinas y algoritmos. Ahora bien, esta idea de infoesfera neutral no solo es peligrosa porque incita a confiar en que se pueden dejar de lado los valores o intereses a los que están ligados siempre las acciones, sino porque camufla que la información tiene valor y se valora; genera y destruye valor. Es más, valor en muchos sentidos: valor económico, valor político, valor moral… Esta también es una cuestión ética relevante en nuestro tiempo. 30 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 La segunda de las cuestiones problemáticas en la ética de Floridi es su convencimiento de que la realidad es la infoesfera y que esta es información en sí misma, es decir, que todo es y solo es información. Difícilmente se puede probar que todo es información, pero quizá tampoco haga falta saber si todo es información. Lo que sí parece claro en el giro informacional es que, a partir con la irrupción del sistema de tecnologías de la información y la comunicación, la información si no es todo, al menos sí está en todo.En definitiva, que la realidad en la actualidad funcione o tenga que comprenderse informacionalmente no implica, necesariamente, que todo sea información. Que la información siempre esté en todo quizá no suponga tanto que la información sea la realidad, sino que es poder. En tercer lugar, nuestras formas de vida y nuestro (modo de) actuar están siendo no solo informatizados, sino que ello en gran medida se traduce en su automatización que conduce a una personificación de las cosas y una cosificación de las personas. Con frecuencia, Floridi parece utilizar la automatización como sinónimo de autonomía. Es inesquivable preguntarse acerca de la diferencia entre lo autónomo y lo automático. Para finalizar, y en relación con ese indicador de la moralidad que aludía al principio de entropía y también a la concepción de la infoesfera en términos neutrales, en cuarto lugar, creo que es peligroso pensar que con la información pasa como con la energía… La información se crea y se destruye. Por eso nos transforma. 31 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Más información • Echeverría, J. y Almendros, L. S. (2020). Teconopersonas: cómo las tecnologías nos transforman. Gijón: TREA. • Floridi, L. (2007). “A Look into the Future Impact of ITC on Our Live”, The Information Society, 23(1): 59-64. • Floridi, L. (2009). “Network Ethics: Information and Business Ethics in a Networked Society”, Journal of Business Ethics, 90: 649-659. • Floridi, L. (2013a). “Distributed Morality in an Information Society”, Science and Engineering Ethics, 19: 727-743. • Floridi, L. (2013b). The Ethics of Information, Oxford (UK): Oxford University Press. • Floridi, L., ed., (2015). The Onlife Manifesto. Being Human in a Hyperconnected Era. SpringerOpen. DOI: 10.1007/978-3-319-04093-6. 32 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 4. Derecho, ética e inteligencia artificial, Pablo Lapostol TRANSCRIPCIÓN6 Hola, mi nombre es Pablo Lapostol, soy Licenciado en Ciencias Jurídicas y Sociales de la Universidad de Chile, y actualmente me desempeño como investigador en materia de ética, derecho, e informática. Especialmente, la intersección de estas tres disciplinas en materia de inteligencia artificial Primero que todo quisiera agradecer al profesor Lucas Misseri y al profesor Manuel Atienza por la invitación que me fue extendida para poder participar en este seminario y discutir materias de ética digital. Igualmente quisiera agradecer al GOBLAB de la Universidad Adolfo Ibáñez por permitirme desarrollar junto con ellos las investigaciones que presentaré a continuación Vamos allá. La presentación se titula “Derecho, ética e inteligencia artificial”. ¿Qué es lo que me interesa analizar en esta presentación?, la intersección que se produce en el derecho y la ética en la programación de sistemas de inteligencia artificial, ¿qué 6 Vídeo original disponible en: https://youtu.be/nrtSCoW0nx4 33 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 elementos de la teoría de ambas disciplinas, la filosofía del derecho, la reflexión ética y moral pueden ayudarnos a determinar de qué manera concurren las reglas éticas y jurídicas en la programación de sistemas de inteligencia artificial? Primero que todo intentemos definir inteligencia artificial. Esta es una cuestión sumamente discutida, se aporta desde diversas disciplinas desde la informática desde la perspectiva técnica como base de la inteligencia artificial. Pero el derecho y la ética a medida que comienzan a interactuar con esta disciplina también comienzan a aportar definiciones, pero intentemos delimitar el concepto. Primeramente, tomemos la distinción que se suele realizar entre inteligencia artificial fuerte e inteligencia artificial débil. ¿qué es lo que se entiende por una y por otra? Por inteligencia artificial fuerte se entiende, coloquialmente, un sistema de inteligencia artificial, en cierto modo, autónomo equivalente a lo que podría ser una persona humana en cuanto a su proyecto de vida o a la actividad que está realizando. Un sistema inteligencia artificial verdaderamente autónomo. Tales sistemas de inteligencia artificial no existen actualmente, para algunos nunca llegarán a existir. ¿Qué es lo que nosotros tenemos para trabajar? nosotros tenemos para trabajar y con lo que nosotros interactuamos en materia inteligencia artificial es con sistemas de inteligencia artificial débil. Estos son artefactos, sistemas que desarrollan labores específicas de manera sumamente inteligente, de manera que dan la apariencia inteligencia. un auto que se conduce solo con precisión, un robot que cocina de manera sumamente precisa. Saca al auto del camino o saca el robot de la cocina, y no pueden desarrollar de manera acabada esa actividad para la cual fueron programados. Entonces ¿cuál es la mejor definición con la definición que nos permitiría englobar los distintos gustos que sean más de la inteligencia artificial? En mi opinión la mejor definición la aporta el Grupo de Expertos de la Comisión Europea en materia inteligencia artificial. Estos definen los sistemas de inteligencia artificial como “sistemas que muestran un comportamiento 34 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 inteligente analizar su entorno y tomar acciones con cierto grado autonomía para lograr objetivos específicos.” Como vemos esta definición engloba a los sistemas de inteligencia artificial dentro de la concepción de inteligencia artificial débil. Nos encontramos con artefactos, con instanciaciones específicas de estos sistemas que interactúan con personas, y que realizan acciones con las cuales nosotros nos vemos afectados de una u otra manera. Entonces ¿que lo relevante de esta cuestión? la cuestión es cómo gobernamos estos sistemas. Porque la inteligencia artificial tiene tantos riesgos, que pueden ser dañinos, como existen riesgos que nos pueden reportar ganancias. Un buen algoritmo que funciona el sistema de salud puede ayudar a mejorar la atención de salud, como también puede perjudicarla por ejemplo al discriminar contra grupos marginados. También puede ser el caso en materia bancaria en que existe discriminación en materia otorgamiento de créditos, en que postulantes perfectamente legítimos de un crédito le son denegados debido a deficiencias en la programación. Entonces es necesario abordar esta cuestión, la cuestión del gobierno de la inteligencia artificial, y ¿cómo se gobierna? es una cuestión que se discute. Normas técnicas para quienes están vinculados en materia informática, códigos de conducta para programadores, políticas nacionales, y también internacionales materia gobierno inteligencia artificial, y también existen aquellos los que nos detendremos muy especialmente los estándares éticos o códigos de ética en materia inteligencia artificial La opción ética, como la denomino acá, tiene que ver con el diseño de códigos de ética, con el establecimiento de principios que establecen parámetros de gobierno de los sistemas de inteligencia artificial. Esta opción ética usualmente va aparejada del esfuerzo conjunto que realizan tantos filósofos o eticistas junto con personas más técnicas como ingenieros informáticos. 35 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Pero ¿cómo es un código de ética? Un código de ética usualmente, cuando es examinado, lo que hace es desarrollar principios, por ejemplo, la equidad, transparencia, responsabilidad, y no maleficencia. Estos como principios éticos y morales que deben ser considerados dentro de estos sistemas de inteligencia artificial Ahora esta es una gran proliferación de principios, pero usualmente los principios que son incorporados son aquellos que nosotros señalamos anteriormente. Un sistema de inteligencia artificial tiene que ser equitativo ha de aportar resultados justos; también ha de ser transparente, o sea, nosotros como seres humanos debemos comprender, pues tenemos ser capaces de conocer, de qué manera se desempeña la actividad del sistema de inteligencia artificial o de qué manera toma las decisiones por las cuales nosotros nos vemos afectados; también responsabilidad, nosotros debemos saber que la persona que despliega un sistema de inteligencia artificial será responsable de las acciones de éste porque de una u otra manera no nos podemos encontrar sin resguardo ante una acción dañosa de un sistema inteligencia artificial. La opción ética es una opción que ha tomado mucha fuerza y ha visto empujado el desarrollo de la ética digital0 y, en parte, es porque nos encontramos acá discutiendo materias de ética digital como aporta la ética digital al gobierno de los sistemas de inteligencia artificial. Pero observemos ¿qué es lo que estamos intentando gobernar? estamos intentando gobernar un sistema inteligencia artificial. Esto es una instanciación específica, de una aplicación específica, de un sistema que desarrolla una actividad acotada, pero que a pesar de interactuar con el entorno no lo aprehende de la misma manera que lo hacemos nosotros los seres humanos. Lo que estamos intentando gobernar es la actividad de los seres humanos que desarrollan estos sistemas. Por tanto, cuando nos preguntamos ¿a quién se dirigen estas normas técnicas éticas y jurídicas? se dirigen a las personas que intervienen tanto en instancias ex ante en el desarrollo en el diseño y 36 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 programación de estos sistemas y en las instancias ex post en la implementación y ejecución de estos sistemas informáticos. Donde nosotros nos detendremos especialmente es en las instancias ex ante, en el diseño y programación de los sistemas informáticos. Porque tanto las reglas éticas y jurídicas que pretenden gobernar los sistemas de inteligencia artificial concurren también en el diseño y programación de estos sistemas. Entonces como señalamos el gobierno de lo humano comprende tanto las normas éticas como las reglas jurídicas. Por tanto, como indicamos, el diseño y la programación también están gobernados por estas dos disciplinas por el derecho y la ética. Entonces ante la programación de un sistema de inteligencia artificial surge naturalmente la pregunta ¿qué regla hemos de implementar?, ¿qué regla hemos de incorporar al código?, si es que hemos de incorporarla siquiera. ¿Por qué?, porque concurren ambos tipos de reglas en la programación, lo que hace que ante la expansión de la inteligencia artificial en nuestra sociedad sea muy válida la pregunta de ¿cómo debemos resolver el conflicto entre estas reglas dentro de los sistemas? Esta es una cuestión sumamente debatida dentro de la teoría del derecho, no es una cuestión pacífica en lo absoluto. Porque a pesar de que nosotros una persona que no es abogado al consultar ¿cuál es el derecho vigente en un país actualmente?, se le va a indicar, un código, leyes, reglamentos y sentencias de un determinado país. Esto no es algo que sea pacífico, o sea, el rol de la interpretación, y el rol de la argumentación en la determinación del derecho hace que la labor de determinación de las reglas a partir de las disposiciones normativas que están vigentes en un determinado país sea algo no difícil de determinar pero que es debatido, que es discutido. En el cual el rol de la interpretación jurídica y el rol de la argumentación jurídica han tomado un rol sumamente preponderante en la actualidad. Especialmente la teoría del derecho, en este caso una de las primeras maneras de abordar estas cuestiones es la relevancia de la teoría de las normas. Qué teoría de las normas 37 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 tiene el intérprete que está intentando determinar qué reglas se programa o no se programa. En el caso de un positivista jurídico este abogaría por la separación entre el derecho y la moral, nos encontraríamos con alguien que limitaría el campo de acción o la interacción entre estos dos sistemas. En cambio, un naturalista abogaría por una identificación tanto entre la ética y el derecho dentro de su concepción del derecho. Y también pueden existir pospositivistas que abogan por una interpretación más conciliadora, y más armonizadora de las reglas que se están intentando incorporar dentro de estos sistemas de inteligencia artificial. Pero nuevamente nos encontramos con la pregunta ¿qué regla hemos de implementar?, y surge nuevamente la pregunta ¿cómo determinamos esta regla? Para intentar determinar esto tomemos la distinción entre reglas y principios Como señala Dworkin las reglas tienen establecidas sus condiciones de aplicación de manera cerrada en los supuestos de hecho sea. Por ejemplo, ante una regla de un auto que se conduce solo sería sumamente fácil incluir dentro del código la instrucción del límite de velocidad. Probablemente programar un sistema de geolocalización que naturalmente estará incorporado y asociar con la ruta determinada el límite de velocidad que está establecido para tal territorio simplemente una cláusula if. Pero pensemos en una prohibición, que impida la entrada de los vehículos al parque. Este es un caso típico de la teoría del derecho actual, en la cual se discuten ¿se incluyen las ambulancias? ejemplo no solo vehículos motorizados. Este tipo de reglas, o ese tipo de normas, que nosotros identificamos que plantean un supuesto abierto de interpretación, dado que las normas jurídicas se expresan mediante el lenguaje, que tiene características de vaguedad y ambigüedad. Por lo cual esta disposición normativa sería susceptible de interpretación y sería recomendable en algunos casos que este tipo de discusión, la discusión normativa, no se dé dentro de la programación. 38 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 E igualmente, pensemos la distinción que se hace de casos fáciles y difíciles. Naturalmente va a ser sumamente simple en un caso fácil, como el del límite de velocidad determinar ex ante como se incluyen la regla del respeto del límite de velocidad. En cambio, un caso difícil, va a ser sumamente complejo determinar en el diseño, en la instancia ex ante de diseño y programación, de qué manera resolvemos este caso. O es posible determinar de manera ex ante la asignación un caso difícil, por ejemplo, ponderando de una manera adecuada, los riesgos, los costos que tendría asociado la implementación de una u otra regla. Sea cual sea en la instancia de programación se van a determinar de manera clara reglas jurídicas o la representación de reglas jurídicas dentro del código de estos sistemas de inteligencia artificial Esto ¿porque es relevante considerarlo? porque la ética y el derecho, estos códigos éticos y las reglas jurídicas cuentan con diferencias relevantes. La nota más distintiva, por ejemplo, entre la ética y el derecho es la fuerza obligatoria. La ética como nota característica en la mayoría de los países occidentales no tienen fuerza obligatoria. En cambio, el auto que se conduce solo tras pasarse el límite de velocidad, si su programa se lo permitiese, podría ser sancionado mediante una multa, se aplicaría a la fuerza, se aplicaría el derecho. E igualmente el tema de las fuentes, en el caso de la programación de un sistema inteligencia artificial ¿a cuál código ético hemos de subordinar la programación del sistema informático?, esto es muy difícil de determinar. La proliferación de códigos de ética, que son sumamente vastos, ya van por los cientos, hace difícil determinar cuál es el código de ética que prima por sobre el otro. En cambio, el derecho cuenta con un sistema de jerarquías, con un sistema de fuentes y con las reglas para poder determinar qué regla procede a aplicar o no. Por lo que es posible encontrar de una manera más fácil la solución ante un caso incierto de qué regla hemos de implementar, porque usualmente la regla jurídica nos va a dar el indicador más preciso de cuál es la regla que tenemos que considerar. Entonces, así como vemos existen diferencias entre la ética y el derecho respecto a su fuerza obligatoria. Así en el caso de conflicto, o de duda, frente a si se programa una regla ética o una regla jurídica probablemente la posibilidad de 39 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 sanción determine que proceda la programación de una regla jurídica primando por sobre una regla ética. La regla ética podría asistir permitiendo precisar de mayor manera a la regla jurídica. E igualmente respecto de la jerarquía de fuentes. Los códigos éticos no cuentan con una jerarquía específica para poder determinar qué código ético prima por sobre cuál. Es más bien la autoridad que aporta la organización el grupo de personas que lo dictan. En cambio, el derecho cuenta con reglas específicas para poder determinar que reglas o que principios son aquellos que se tienen que aplicar. También otra diferencia que existe entre la ética y el derecho por ejemplo es la vinculación a un territorio. Pensemos en el concepto de jurisdicción. El derecho vigente en un país moderno está vinculado al territorio, hasta nosotros podemos saber con precisión de mejor manera cuáles son las reglas. O si sabemos que nuestro sistema se aplicará en un determinado país si deben incorporarse tales o cuales reglas que se encuentran asociadas a tal o cual territorio E igualmente la especificidad o complejidad. Los códigos éticos, a excepción de ciertas disciplinas como la ética médica o la bioética que son casos de ética de un mayor desarrollo, de mayor especificidad, respecto de los casos sobre los cuales se pronuncian son más bien principios vagos o que establecen ciertas reglas para poder determinar qué se hace a ciertos casos. Pero en el derecho encontramos con cuerpos, por ejemplo, técnicos o con normas administrativas, o con normas de autorregulación que aportan una mayor especificidad o una mayor concreción del significado de las reglas que se están intentando implementar. Entonces, ya terminando, ¿qué es lo que gobernamos? gobernamos la actividad de los humanos que están programando sistemas de inteligencia artificial, y por partida doble también gobernamos estos sistemas. Pero usualmente la programación de las reglas va a estar subordinada a la posibilidad de representación de estas reglas en un sistema informático. 40 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 E igualmente la determinación de estas reglas y de estas normas va a estar determinada por la interpretación que se puede hacer de las disposiciones normativas o de las disposiciones contenidas en un código de ética, de ahí la relevancia y la distinción entre la instancia ex ante y ex post. También la ética y el derecho se asisten, tanto en la integración, por ejemplo, llenando ha sido en los casos en que la norma jurídica no contemple todos los supuestos, o también los casos de contradicción pueden existir casos en que haya que utilizar alguno de los criterios que hemos mencionado anteriormente para determinar qué norma prima por sobre la otra. E igual hay que considerar que la mayoría de los casos quienes desarrollan estos sistemas no son personas en el sótano de la casa a sus padres, sino que más bien o personas jurídicas que cuentan con espalda, por lo que la alteración de reglas de responsabilidad es algo que resulta no deseable o algo que se vería difícil. E igual para los ius filósofos del derecho es muy interesante pensar ¿cuáles son los casos difíciles en la programación? como concurre la lógica binaria y el lenguaje natural en la programación de estos sistemas. Así terminamos con una cuestión que resulta en una discusión básica, que es tan antigua como el derecho mismo, que es la discusión que existe sobre el sistema de fuentes. En definitiva, hemos de preguntarnos que regla primará por sobre la otra, o de qué manera se hará la relación entre ambas la regla jurídica y la regla ética. En este caso por la teoría moral como en la teoría jurídica tiene mucho que decir, pero también tienen bastante que decir y es hora que se sumen a la discusión las personas técnicas las al desarrollo de estos sistemas. Dicho eso, agradezco a todos su atención, estos son mis correos de contactos por si quieren continuar la discusión, y les agradezco nuevamente por su atención. También agradezco nuevamente a la universidad de Alicante, al profesor Lucas Misseri por la invitación, muchas gracias. 41 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Más información ● Dworkin, R. (1993 [1977]), Los derechos en serio, Barcelona, PlanetaAgostini. Trad. M. Guastavino. ● Hermosilla, M. P.; Garrido, R. y Loewe, D. (2020), Transparencia y responsabilidad algorítmica para la inteligencia artificial, Gob_Lab, Escuela de Gobierno, Universidad Adolfo Ibáñez, Chile. ● Lapostol, J. P. (2018), “DD HH en la primera línea de internet”, en la página web de la organización Derechos Digitales: Derechos Humanos y Tecnología en América Latina, publicado el 13.07.2018. 42 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 5. La tecnología blockchain y el imperio del código, Primavera De Filippi TRANSCRIPCIÓN7 Mi investigación trata sobre las tecnologías blockchain [cadena de bloques] y los aspectos regulatorios. Investigo este tema desde hace siete años. A medida que pasa el tiempo, me interesa cada vez más la cuestión de la gobernanza de la tecnología blockchain. En particular, me enfoco en la interacción entre la regulación y la gobernanza y cómo la gobernanza se convierte en una cuestión fundamental a abordar, para comprender cómo podemos regular las tecnologías blockchain. Por lo tanto, comenzaré con una breve introducción de cuáles son las características específicas de la tecnología blockchain que la distinguen de los servicios en línea tradicionales: 7 Transcripción y traducción del inglés: L. E. Misseri. Vídeo original disponible en: https://youtu.be/dyNXjgPDCh0 43 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 1) Es una base de datos completamente descentralizada, por lo que se apoya en redes peer-to-peer. 2) Es global y transnacional, como Internet. 3) También es resiliente, porque cada nodo de la red tiene una copia particular de la cadena de bloques. Basta con tener una sola copia de la cadena de bloques para luego replicar nuevamente la red. 4) No es coercitiva. Ésta es una propiedad muy importante en el sentido de que se diferencia de las plataformas online tradicionales, donde el operador online puede decidir cómo modificar el código de la plataforma y automáticamente esos cambios se imponen a los usuarios. En la tecnología blockchain, como es una red descentralizada, cada nodo debe aceptar esos cambios mediante la actualización de su propio software. 5) Luego está la resistencia a la manipulación del sistema. La tecnología blockchain es tal que, una vez que la información se registra en la base de datos descentralizada, es prácticamente imposible modificar la información que se ha registrado en el pasado. 6) La mayoría de las cadenas de bloques son muy transparentes porque cada nodo necesita verificar y validar las transacciones. Por definición, necesitan tener algún tipo de visibilidad sobre cuáles son esas transacciones. 7) No es repudiable, porque cada transacción registrada en la cadena de bloques está firmada por la clave privada de la parte que la registra. Y eso significa que uno no puede iniciar sesión más tarde y negar haber ejecutado esa transacción. Porque está en la clave privada. 8) Y luego, la mayoría de las blockchains públicas, al menos, son seudónimas, en el sentido de que no es necesario registrar una cuenta con un operador para poder usar la red. Solo se necesita generar una clave pública y una privada para poder utilizar la red. 44 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 9) Y finalmente, el tipo más avanzado de blockchain introdujo la posibilidad de agregar software que es ejecutado de manera descentralizada por cada nodo de la red. Este software viene con garantía de ejecución, lo que significa que nadie puede modificar unilateralmente o incluso detener la ejecución de ese software. Esto es como en todos los pequeños contratos en aplicaciones descentralizadas. Todas esas características juntas están llevando a las personas a considerar, por un lado, que las blockchains no necesitan confianza. En el sentido de que, debido a la descentralización y la desintermediación, ya no necesitamos depender de la intermediación de autoridades confiables para operar en la red. Y, por otro lado, que son autónomas, porque no dependen de nadie. Mientras exista un número suficiente de actores manteniendo la red seguirán funcionando y, lo más importante, nadie podrá detener la operación. Todas estas cosas plantean algunas preguntas muy interesantes con respecto a la interacción entre la regulación, el imperio de la ley y el marco tecnológico. El marco regulatorio y el marco tecnológico creado por la blockchain no son necesariamente compatibles el uno con el otro. ¿Cómo pueden interactuar? ¿Cómo puede la regulación afectar a la ejecución del funcionamiento de una blockchain? Una breve introducción para quienes no son abogados sobre el imperio de la ley [rule of law]. El imperio de la ley es este principio según el cual nadie está por encima de la ley. Eso significa que todos somos iguales y que la ley se aplica por igual a todos. Implica que las leyes sean transparentes, claras, precisas y accesibles; que todos deben tener un acceso adecuado a los recursos legales y, lo más importante, que el sistema judicial sea independiente para no tener una posible cooptación política del sistema legal y judicial. Los que van en contra del concepto del imperio por ley, son quienes buscan poner a algunos actores por encima de la ley. Esos son el soberano, el dictador, etc., que pueden instrumentalizar la ley como herramienta del poder político. Entonces, si 45 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 miramos Internet, y tratamos de ver esto a partir de las viejas narrativas, los pioneros abogaban por el hecho de que Internet en realidad no fuera regulada por ley, porque no hay un solo actor que pueda instrumentalizar y coaccionar realmente el uso y desarrollo de servicios de Internet. Pero tampoco se basaba en el imperio de la ley, porque el gobierno no tiene la capacidad, el alcance, para controlar realmente una red tan global y transnacional. Entonces, la idea era que el ciberespacio era un espacio independiente que existía fuera del marco legal tradicional. Pero luego, con el tiempo, vimos que Internet evolucionó. A medida que las oportunidades comerciales de Internet se hicieron más obvias, vimos la concentración de poder dentro de unas pocas grandes plataformas en línea. Google, Apple, Facebook aglutinan la gran mayoría del tráfico de Internet. Esos operadores de plataforma se convierten en este tipo de soberano funcional del feudalismo digital y la idea es que aquí realmente entramos, no en un imperio por medio de la ley, sino en un imperio por medio del código [informático]. El código de esas plataformas puede ser instrumentalizado por esos operadores en línea para servir a sus propios intereses. En cambio, con la tecnología blockchain, en la que no hay soberano, nadie está por encima del código. Lo que significa que una vez que el código se ha implementado en esta infraestructura de blockchain, nadie (ni siquiera la persona que lo implementó) puede intervenir y modificarlo. Tenemos este sistema funcionando, que tiene una forma de soberanía técnica que se debe al policentrismo y a la naturaleza descentralizada de la red. Esto me intriga porque cuando observamos el lenguaje que los académicos que identifican y analizan la relación entre las leyes jurídicas y el código informático, tenemos a autores como Lawrence Lessig que, en 2000, sugirió el lema de “el código [informático] es la ley”, pero “el código es la ley” puede significar diferentes cosas dependiendo de la plataforma utilizada. 46 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 En el sistema tradicional de operadores online estamos ante un sistema regido por el código informático. Eso significa que es posible y fácil la concentración de poder en unos pocos grandes operadores online. Porque entonces los reguladores pueden identificar quiénes son esos intermediarios online y regularlos y, por tanto, regular la arquitectura, el código que utilizan en sus plataformas. Para luego regular indirectamente a los usuarios. Una vez que nos adentramos en este modelo de tecnología blockchain, que es el imperio del código, esos operadores online desaparecen. Y, por lo tanto, es más difícil para el sistema jurídico tradicional regular a quienes intervienen o financian esas plataformas; a menos que puedan identificar quiénes son esos nuevos intermediarios, quiénes son los nuevos “puntos estratégicos”, que pueden usarse para dar forma y modificar la arquitectura que influirá en los comportamientos individuales. En torno a Internet, durante mucho tiempo, existía esta concepción de su “irregulabilidad”. Lo que significa que es difícil regular una red tan global y transnacional como Internet. Y luego en el espacio blockchain hay más de esta nueva terminología de “alegalidad”. Lo que significa que no solo se autorregula, sino que es el sistema en realidad el que crea todo el marco técnico. Eso existe fuera del ámbito de la ley y, por lo tanto, no pueden ser tocados ni afectados por los marcos regulatorios existentes. Ya podemos ver algunas aplicaciones de la tecnología blockchain en las que se evidencia este conflicto con las leyes existentes. Ya sea con el blanqueo de capitales o la creación de mercados descentralizados. Esto está en la línea del uso de criptomonedas para adquirir bienes o servicios ilícitos. Ya sea la incorporación de contenidos ilícitos específicos directamente en la blockchain que ya no se pueden eliminar. Esto está relacionado con la cuestión reciente, especialmente en Europa, del derecho al olvido. Y luego, hay un dominio que realmente ilustra muy bien este conflicto entre el imperio de la ley y el imperio del código: es el dominio de la propiedad. Los derechos de propiedad tradicionales están definidos por la ley y, por lo tanto, la ley no puede quitarlos. Entonces, si obtengo una propiedad en 47 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 particular de una manera que no es legítima, un juez puede declarar que no soy el dueño legítimo y puede confiscarme esa propiedad. Como en el caso del sistema basado en blockchain y los activos criptográficos, el sistema está definido por el código. Por lo que la propiedad de los activos criptográficos está definida por el código y solo puede ser quitada por el código. Por lo tanto, si adquiero ilegítimamente algunos bitcoins, independientemente de lo que un juez diga, nadie tiene la capacidad de confiscármelos, a menos que el código prevea tal posibilidad. De manera similar, está el caso del derecho contractual. Tenemos contratos tradicionales que están definidos por la ley y su ejecución se basa en una parte superior, el sistema judicial, que interviene mirando no necesariamente la redacción del contrato, sino tratando de entender cuál es la intención original de las partes que intervienen en esta relación contractual. Una vez que tenemos esos contratos basados en el código informático, sistemas de contratos inteligentes basados en blockchain, la relación contractual está definida por el código. Y ésta se ejecuta automáticamente mediante la tecnología mencionada, ya no se analiza cuál es la intencionalidad de las partes. Literalmente, solo se examinará la redacción del código y se lo ejecutará según lo planeado. Tenemos un ejemplo muy interesante de este conflicto que sucedió en 2016 en la red de Internet, relacionado con una organización descentralizada llamada TheDAO. Se trataba de fondos de inversión descentralizados donde la gente podía simplemente enviar dinero a esta aplicación basada en blockchain y luego este dinero podía reinvertirse en proyectos específicos. Luego, obtenían una participación en las ganancias del proyecto. El aspecto interesante de esto es que no estaba dirigido por un CEO o una junta, sino que era administrada colectivamente por los propios inversores, mediante transacciones de contratos inteligentes. Y luego, un día, tan pronto como se recaudaron 160 millones de dólares, alguien identificó una falla en el código de esos contratos inteligentes y 48 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 explotó esta falla para drenar unos 50 millones de dólares de este fondo de inversión descentralizado. Esto generó un debate y una discusión muy interesante entre los técnicos informáticos y la comunidad en general sobre cuál es la calificación de esta acción. Si realmente calificaba como robo, porque, por supuesto, nadie había tenido la intención de que este defecto se usara de esta manera, todas las personas que entraron en esta relación contractual no esperaban que esto fuera posible. Por lo que se entendió que la persona que abusaba de este defecto había robado el dinero. Por tanto, era legítimo intervenir para recuperar el dinero y entregárselo a los propietarios originales. Pero había otro argumento que decía que, si miramos la redacción del código informático, estos contratos se escribieron de tal manera que eso fue posible, y la persona que explotó esta vulnerabilidad no hizo nada malo, excepto usar el contrato tal como estaba escrito. Por lo tanto, sería un robo intervenir y recuperar los fondos de la persona que los acababa de tomar. La cuestión más importante era: dado que se trata de un sistema autónomo y “sin confianza”, cualquiera que fuese la decisión (como la de que un juez resolviera que eso era un robo y que debía devolverse el dinero), no existía tal autoridad central que pudiera hacer cumplir esa decisión. Entonces, la gran pregunta es ¿cómo podemos intervenir en tales sistemas descentralizados? En el caso de la incidencia en la red Ethereum, debido a que no hay coacción posible, hubo un entendimiento general de que había una gran mayoría de la red que realmente pensaba que era un robo. Y que el dinero debía ser recuperado. Pero, por supuesto, esto requiere una intervención que viola el uso de la blockchain, su imitabilidad e irreversibilidad. La conclusión fue una división de la red. Una gran mayoría de la red ha intervenido y actualizado el software para modificar el código, de modo que el dinero se le quitase a la persona que había explotado la vulnerabilidad y se lo devolviese a su propietario original. Pero luego hubo otro lado, otra parte de la 49 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 red, que se negó a actualizar su software y, por lo tanto, la red se dividió en dos redes separadas. Una en la que no se han recuperado los fondos y otra en el que sí se han recuperado. Lo interesante aquí es que califica como un estado de excepción. Lo que significa que ha habido una desviación del protocolo de uso original y, por lo tanto, al igual que en el sistema de gobierno tradicional, el imperio de la ley a veces puede ser desplazado en caso de un estado de excepción, en caso de una emergencia, aquí nuevamente de la misma manera ha sido un desplazamiento del tradicional imperio del código de la blockchain. Porque había una necesidad mayor, porque era una emergencia que había que atender. Pero la cuestión es que, en un gobierno tradicional, hay un soberano. Por lo que es fácil saber quién toma el poder cuando salimos del imperio de la ley. Pero en este caso, no estaba claro quién era el soberano. Porque en el sistema descentralizado no existe una autoridad central que realmente pueda tomar decisiones. Esto nos lleva a la importancia de esta distinción en la gobernanza de la blockchain: entre la “gobernanza por la infraestructura”, donde se trata básicamente del código informático, las reglas que se codifican directamente en la infraestructura suelen estar muy formalizadas, y ser muy claras y factibles. Pero, al mismo tiempo, en el exterior está la “gobernanza de la infraestructura”, donde están todos esos actores que interactúan entre sí y que pueden cambiar esas reglas y que pueden deliberar y decidir cuáles son las nuevas reglas que hay que incorporar. Si bien la gobernanza on-chain, la gobernanza “por la infraestructura”, está muy bien analizada y es clara, a menudo, en muchas redes blockchain hay muy poca comprensión sobre cómo funciona la gobernanza “de la infraestructura”. Básicamente hay muchos actores que necesitan intervenir, ponerse de acuerdo unos con otros, porque hay que arribar a un consenso. Entonces, por un lado, tenemos a los desarrolladores que están proponiendo posibles opciones sobre cómo debe evolucionar la red, cuál ha de ser el nuevo protocolo. Y, por otro lado, 50 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 tenemos a los mineros y a los validadores que necesitan adoptar y aceptar esos cambios. Pero también hay muchos actores externos: tenemos a todos los influencers, contamos con personas que tienen una sólida reputación en el ecosistema porque son los fundadores, porque tienen experiencia tecnológica o simplemente porque tienen una voz muy fuerte en las redes sociales. Y luego también tenemos al grupo de la mining pool que tiene una influencia muy fuerte en el proceso de minería. Además, tenemos supernodos que suelen ser los intercambios de criptomonedas de operadores comerciales que no tienen influencia específica en la red a nivel técnico, pero en lo comercial son una fuerza gravitacional. Tienen una influencia muy fuerte porque, si eligen mudarse a una red diferente, todos sus usuarios y todas las personas que pueden interactuar con sus usuarios probablemente tomarán la misma decisión. Son casi los actores más fuertes en la toma de decisiones sobre qué cambio en un protocolo de blockchain se adoptará. La conclusión es que ninguna blockchain es una isla. Por lo tanto, realmente no podemos ver a estos sistemas como existiendo fuera del ámbito de la ley. Siempre hay una vía (aunque no para la regulación), al menos para la intervención. Para poder comprender cómo regular un sistema basado en blockchain, debemos mirarlo desde una gran perspectiva ecosistémica. Necesitamos entenderlo como un sistema policéntrico de gobernanza. Donde está, por un lado, la capa técnica, que es la gobernanza por la infraestructura. Y, por el otro, está la capa social que también debe ser tenida en cuenta. Y si el gobierno, quiere tratar de regular el funcionamiento de la blockchain, no puede simplemente apuntar a uno de esos actores. Necesita lograr crear un sistema en el que todos esos actores estén de acuerdo juntos en el mismo punto focal. Porque esa será la única forma en que la red podrá evolucionar hacia una dirección determinada. Todo esto para decir que básicamente cuando estamos pensando en la regulación de la tecnología blockchain necesitamos tener una comprensión adecuada de cómo funcionan estos ecosistemas. La regulación no puede ser una regulación 51 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 tradicional de arriba hacia abajo. Tiene que ser un sistema de regulación basado en la gobernanza. Comprender cómo funciona este policentrismo y cuáles son los diferentes niveles que la gobernanza puede utilizar realmente; presionar para influir en unos actores más que en otros y de alguna manera lograr llevar el punto focal a donde quieren los gobiernos. Más información • De Filippi, P. (2014). “Bitcoin: a regulatory nightmare to a libertarian dream”, Internet Policy Review, 3(2). • De Filippi, P. y Wright, A. (2018) Blockchain and the Law: The Rule of Code. Harvard University Press. • Lessig, L. (2001). El código y otras leyes del ciberespacio. Madrid: Taurus. 52 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Parte II Segundo Coloquio de Ética Digital (2022) 53 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 54 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 6. La ética mHealth: la revolución digital en la salud, Anna Bugajska PONENCIA El incesante desarrollo de las nuevas tecnologías sigue poniéndonos diariamente los nuevos desafíos, sea en el ámbito público o privado, internacional o nacional, conectado con el trabajo y con el ocio. Uno de los ámbitos en los que se unen los intereses públicos y privados es el contexto de la salud, visto que se trata de la organización de los servicios de salud pública y, al mismo tiempo, de algo muy privado: propio del cuerpo de los individuos, sus relaciones, su psique, la vida íntima, etc. Los dilemas de bioética y de biopolítica siempre son muy difíciles de resolver, y muy delicados, y la revolución digital en la salud, de la que estamos siendo testigos en los últimos años, pone de manifiesto algunos de los retos ya conocidos y origina nuevas complicaciones. Especialmente ahora, en tiempos de pandemia, esta revolución se ha acelerado en muchos países, con el desarrollo de los sistemas de eSalud. Sin embargo, aunque estos sistemas parecen listos para utilizar, como es costumbre con las nuevas tecnologías, vienen con muchas preguntas de carácter ético que podemos plantearnos y que debemos plantearnos para utilizarlas de manera responsable. 55 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Para empezar, tenemos que darnos cuenta de que eSalud no significa simplemente los servicios de telemedicina que nos facilitan la vida diaria y nos mantienen en contacto con nuestro médico, sino que este fenómeno tiene un alcance más amplio. La OMS (Organización Mundial de la Salud) define a la eSalud como: …la práctica médica y de salud pública apoyada por dispositivos móviles, tales como teléfonos móviles y dispositivos de monitorización de pacientes, asistentes digitales personales (PDAs, por sus siglas en inglés: personal digital assistants), y otros dispositivos inalámbricos” (World Health Organization 2011, citada en International Pharmaceutical Federation 2019, p. 9). ESalud alcanza también a fenómenos como el historial médico electrónico, la telesalud, el ciberaprendizaje (por ejemplo, el uso de la realidad aumentada o los juegos serios8 - serious games), la tecnología “vestible” (wearables), así que no se trata solamente del apoyo a los médicos y pacientes que proporcionan los dispositivos móviles. Dentro de eSalud podemos distinguir también mSalud, es decir, la salud móvil, que se refiere estrictamente al uso de los dispositivos móviles en la práctica de la medicina y de la salud pública. Gracias a estos dispositivos podemos, por ejemplo, monitorizar a los pacientes a distancia, facilitar el acceso al conocimiento médico en varias bases de datos, dar acceso a la historia médica del paciente o a resultados de pruebas médicas, facilitar la obtención de una segunda opinión, incluso entre países muy alejados, etc. En los países angloparlantes esta distinción entre eSalud y mSalud es más notable (Cerrato, Halamka 2019), y en otros países se habla más frecuentemente de eSalud para definir el uso de TIC (las tecnologías de la información y la comunicación) para mejorar la calidad de vida de las personas. Los juegos serios son, en su mayoría, videojuegos de simulación, designados con el fin de educar a los profesionales y no profesionales en algunas áreas específicas del funcionamiento social, como la medicina o la tecnología. Suelen formar parte de la gamificación del proceso educativo, pero existen también soluciones inclinadas hacia la formación de actitudes sociales como por ejemplo la monitorización de los hábitos del comportamiento en el tráfico. En el contexto médico, podemos nombrar por ejemplo VR-CPR Personal Edition (2019) o Play to Cure: Genes in Space (2014). Véase también la discusión exhaustiva de los desafíos de la gamificación en “More Than Just a Game: Ethical Issues in Gamification” (2016) de Tae Wan Kim y Kevin Werbach. 8 56 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 Cabe subrayar que “la calidad de la vida” es una categoría muy amplia. No se trata solamente de estar o no estar enfermo, según la clasificación de las enfermedades de la OMS. La salud en sí significa también el bienestar de las personas (Burr, Floridi 2020), lo que constituye una categoría más subjetiva. Podemos enumerar muchas aplicaciones móviles que están dirigidas a mejorar el bienestar, más que a dar apoyo a un paciente o un médico a la hora de tratar una enfermedad más o menos grave. Por ejemplo, es muy popular usar aplicaciones deportivas que señalan el número de los pasos que uno debería hacer diariamente para mantenerse en forma, o que nos incitan a dar un paseo o a montar en bicicleta. Otro ejemplo son las aplicaciones genómicas que, basándose en nuestro perfil genético, nos sugieren comidas, prácticas saludables y hasta parejas. Visto que mSalud impacta en tantas esferas de la vida pública y privada, es razonable pensar que los desafíos que pone son muy variados y de carácter potencialmente revolucionario en cuanto a la organización político-social. El informe sobre TIC y salud pública en América Latina de 2018 distingue cuatro dimensiones dentro de las cuales se pueden pensar los desafíos éticos en cuanto a la implementación de las nuevas tecnologías de eSalud y mSalud. Dentro de la dimensión tecnológica podemos hablar de la cuestión del acceso a Internet, sobre todo, a banda ancha, y la disponibilidad de las redes móviles, lo que está vinculado al desarrollo de la infraestructura y al bienestar económico de los ciudadanos. Incluso si pudiéramos asegurar a toda la población igual acceso a las tecnologías TIC, queda la cuestión de asegurar que el sistema de eSalud ofrezca contenido adecuado y de alta calidad, y que los usuarios reciban educación digital suficiente como para utilizar los servicios proporcionados. Las dimensiones institucional y administrativa ponen de relieve los problemas de la regulación del uso de las tecnologías y de la política pública en el ámbito nacional e internacional, teniendo en cuenta la necesidad de desarrollar interoperabilidad entre diferentes sistemas de salud mundial y entre las compañías que funcionan en la arena global. Los modelos de gestión propios para cada país, con sus sistemas de financiación y organización, llevan a diferentes soluciones, adaptadas al contexto cultural. La dimensión humana toca, entre otros, los aspectos sociales, culturales y psicológicos, las actitudes y las expectativas de los usuarios, así como 57 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 la preparación y disponibilidad de los recursos humanos para la gestión de los sistemas de eSalud. Finalmente, en esta dimensión se clasifican los problemas más candentes y debatidos en la discusión sobre la ética digital contemporánea: la interacción con las nuevas tecnologías, la protección de datos, la privacidad y los derechos digitales (como están propuestos en la Carta de Derechos Digitales, 2021). De hecho, podemos decir que esta dimensión final alcanza todas las dimensiones previamente mencionadas. El desarrollo de mSalud se pinta como beneficioso e inescapable dentro del desarrollo tecnológico general. Se da por sentado que va a progresar la inmersión de las personas humanas en el mundo virtual, con lo cual se descuida la reflexión sobre el precio que vamos a pagar en cuanto sociedades desarrolladas. La sociedad del futuro, presentada por ejemplo en uno de los últimos informes de Pew Research Centre (2022), es vista como el paraíso de la disponibilidad de las tecnologías y el conocimiento para todos, la mejor comunicación entre los médicos y sus pacientes a través de los sistemas de monitorización, así como la autonomía aumentada de las personas rodeadas de dispositivos inteligentes dispuestos a darles información necesaria para cuidar su propia salud y para adquirir hábitos saludables. Esta visión optimista y deseable tiene, por supuesto, algunos retos que enfrentar antes de hacerse realidad. Ocasiona, y necesita también, una revolución en pensamiento sobre la salud – el movimiento hacia el souci de soi, como se lo ve en la biopolítica contemporánea, en la cual la responsabilidad por el bienestar y por la propia salud descansa en el paciente. Como lo explican Lemke, Casper y Moore (2011, p. 109-111), dentro del marco teórico del capital humano, el individuo es el soberano de sí mismo y su propia salud es el resultado de la inversión correcta en nutrición, educación, pareja, reproducción, etc. La muerte, en consecuencia, es el suicidio provocado por las decisiones incorrectas en cuanto a la gestión de la propia salud. En 2015 Eric Topol publicó un libro El paciente le verá ahora, la continuación de su reflexión sobre la revolución digital en la salud, donde pone de manifiesto el yugo de la responsabilidad que descansa ahora sobre el paciente que analiza su propia salud con las nuevas tecnologías y se puede autodiagnosticar. No obstante, Topol pinta el cambio en el sistema médico como algo muy positivo y cree que los 58 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 pacientes solo deben tener acceso al conocimiento para poder cuidar mejor de su salud a través de los dispositivos inteligentes. Así que ahora hablamos …del ePaciente, es decir, un paciente más proactivo, más informado y que busca participar en las decisiones que afectan a su salud. La apuesta por una sanidad 2.0 defiende que este nuevo modelo sitúa al paciente en el centro del sistema, pero que a su vez podría suponer ciertos riesgos al trasladarle la responsabilidad sobre su estado de salud, algo que tradicionalmente se venía atribuyendo al propio sistema sanitario (Cernadas et al., 2020). El sistema de mSalud, es verdad, deshace el paternalismo médico, que en más de una oportunidad ha conducido a errores, y la objetivación del paciente. Sin embargo, al mismo tiempo, aparecen otros actores que pueden impactar en los principios básicos de la bioética: la autonomía, la beneficencia, la no-maleficencia y la justicia. Especialmente la autonomía sufre dentro del sistema que reposa sobre la vigilancia constante, incluso si esta vigilancia no está centralizada. Frecuentemente se habla sobre el funcionamiento del individuo en el mercado libre de las tecnológicas vinculadas al bienestar y a la salud, donde uno tiene que dar acceso a sus datos médicos a terceros, como proveedores de servicios digitales, para obtener ayuda. La protección de datos y la privacidad despierta mucha discusión en el ámbito de la medicina personalizada (Johnson et al. 2020). Por un lado, el paciente puede esperar el tratamiento más adecuado y ajustado a su propia condición. Por otro, tiene que someter sus datos privados, frecuentemente los datos genéticos que comparte con su familia, a los bancos de datos, donde no están perfectamente seguros. Además, por ahora, deberíamos tener muchos más datos para disponer de la comparación que permitiría la diagnosis adecuada. De este modo, el funcionamiento de la medicina personalizada va a tener que descansar en el acuerdo común en cuanto al carácter más o menos transparente de los datos médicos. Un interesante conjunto de desafíos describe Parsons (2019) en su libro Ethical Challenges in Digital Psychology and Cyberpsychology. Él se enfoca sobre todo en la situación de los ancianos que se encuentran susceptibles al poder persuasivo 59 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 de los algoritmos que pueden influir en sus elecciones en cuanto a su salud de manera significativa. No está claro quién debería controlar los datos de los pacientes ancianos, decidir sobre la instalación de sistemas de vigilancia y si podemos asegurar el nivel suficiente del conocimiento tecnológico por el lado de las personas mayores para que ellos puedan expresar consentimiento informado. Parsons agrega también que no todos los ancianos buscan autonomía y autosuficiencia: en algunas culturas la aislación de los ancianos con el uso de tecnología constituiría un delito moral grave (Parsons 2019). No obstante, los problemas de excesiva confianza en la tecnología no son únicamente los de personas de edad. Se observa una creciente fe en los poderes diagnósticos de los algoritmos, con sus cada vez nuevos éxitos en el análisis de datos. Uno puede imaginar fácilmente que, si los especialistas se apoyan cada vez más en las máquinas, los usuarios serán incluso más susceptibles a someterse a la autoridad del “médico” en la máquina. De aquí puede crecer un nuevo paternalismo: paternalismo de las máquinas, fortalecido con los sistemas de atajo que formamos con nuestros asistentes personalizados, dispositivos inteligentes y el internet de las cosas. La calidad de los servicios también puede empeorar – la sustitución de las consultas con especialistas con las redes de apoyo no profesionales. Uno de los efectos del uso de las tecnologías digitales por los pacientes es la biosocialidad, es decir, la formación de los grupos de discusión y los grupos de apoyo entre las personas en todo el mundo que padecen de la misma condición o que presentan síntomas parecidos. Estos grupos pueden compartir experiencias y ayudar en la organización del proceso médico; sin embargo, no pueden sustituir a la consulta médica (Lemke, Casper, Moore 2011, Rabinow 1992). Lo mismo puede decirse sobre el uso de varias fuentes del conocimiento médico disponibles en internet, así como sobre el acceso a los datos médicos y resultados de las pruebas – las conclusiones que un paciente puede formar podrían ser potencialmente nocivas para su salud. De esta manera, haciendo el conocimiento disponible para todos, aumentamos la autonomía del paciente, pero corremos el riesgo que esta información, de hecho, no vaya a hacer que el paciente esté realmente informado: tener datos no significa automáticamente entenderlos. 60 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 La dataisación de los humanos es también criticada por los comentadores de nuestra sociedad digitalizada – Yuval Noah Harari (2016) y Byung-Chul Han (2014). Apoyándose en la obra del primero, Britta van Beers (2022) explica que concentrarse en los datos provoca la visión del ser humano divisible y reducible a las funciones previstas y controladas por algoritmos, mientras que la noción de dignidad humana, como la entendemos ahora, requiere el entendimiento del ser humano como indivisible. Van Beers habla de “la disolución de la dignidad humana y el humanismo en el mar de macrodatos” como la consecuencia del dataismo9 e instrumentarianismo10 (Zuboff 2019a), que busca no solo la automatización de los procesos, sino también de los humanos. Lo que parece cierto es que el cambio o la redefinición de la noción de la dignidad humana es clave para poder entender o reformular los derechos humanos, que serían el fundamento de la ética digital y de los derechos digitales. Los procesos anteriormente mencionados impactan también en cómo se entienden los objetivos de la medicina (véase por ejemplo Waters 2014): el paso hacia la medicina cosmética, que proporciona servicios de autocuidado, combinado con el rol disminuido de la medicina como la acción de tratar las enfermedades. Eso trae consigo la transformación del paciente en un cliente y, por lo tanto, incorpora a los individuos en los sistemas de biocapitalismo (Rose 2008, Zuboff 2019), dentro de las cuales el objetivo principal para el desarrollo de las health apps será el beneficio económico de los proveedores de servicios y no la salud y bienestar del individuo o de la población. Como lo señala Penchaszadeh (2018, p. 86): Dado que los principales operadores de big data son corporaciones privadas con fines de lucro, y que en su capital cuentan con información sobre salud y estilos 9 La tendencia de ver al universo, también a los humanos, reducidos a los datos. En su versión fuerte, podría conducir a ceder las decisiones sobre la vida a las máquinas que son más capaces a acumular y procesar los datos masivos. 10 Según Shoshana Zuboff (2019a), un nuevo totalitarismo que, con el uso de computarización, cambia los usuarios en las marionetas vigiladas y controladas por los titiriteros con el poder de predecir sus comportamientos, así como de modificarlas y monetizarlas. Véase también su comentario sobre la salud digital en “‘We Make Them Dance’: Surveillance Capitalism, the Rise of Instrumentarian Power, and the Threat to Human Rights” (2019b) en Human Rights in the Age of Platforms (MIT Press, coordinado por Rikke Frank Jørgensen). 61 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 de vida de un número creciente de personas, cabe preguntarse qué consecuencias puede tener para el derecho a la salud que las compañías privadas estén más cerca de los pacientes que los profesionales de salud y qué implicancias tendría un giro del control (y la responsabilidad) de la salud poblacional, desde el Estado hacia los gerentes de compañías privadas de big data. La falta de conciencia del papel que los proveedores de eSalud tienen en el desarrollo de este sistema podría llevarnos al mundo manipulativo del juego en que los usuarios pierden su dinero, sus datos privados y su propia salud sin ganar mucho aparte de puntos digitales o un smiley de su asistente personalizado. El beneficio de este sistema digital, en fin, está estrictamente vinculado al desarrollo de la infraestructura no digital. Por ahora, muchas veces pasa que el sistema de aplicaciones móviles está disponible, pero no hay suficiente sitio en los hospitales, faltan médicos, instrumentos de calidad, o tecnologías que salvan vidas. Con la fe excesiva en el sistema de eSalud corremos el riesgo de olvidarnos del desarrollo de la infraestructura necesaria y de la educación de los especialistas, montándonos un espejismo del sistema innovativo y funcionante pero incapaz de ayudar a las personas no digitales. Parsons (2019, p. 51) añade que a veces se percibe a las aplicaciones mSalud como “snake oil”, es decir: un simulacro o fraude, mientras que Tutton (2011) expresa pesimismo en cuanto a los servicios genómicos, diciendo que lo que ofrecen es incertidumbre. Vistos así, los desafíos de la ética mHealth son variados: unos más fundamentales, que atañen a la manera de ser humano y de entender el sentido de la obligación con la comunidad, y otros más de carácter técnico, vinculados a la infraestructura, la economía y la gestión de las nuevas tecnologías. Los beneficios de los sistemas digitales, especialmente frente a las pandemias que hemos experimentado y que vamos a experimentar en el futuro, no caben duda, y el desarrollo de los sistemas eSalud va a ir probablemente por el camino que sigue ahora, es decir, hacia mSalud y los dispositivos inteligentes, con el rol creciente de los asistentes personales y la medicina personalizada, así como la inteligencia colectiva disponible para los usuarios. Sin embargo, muchas preguntas tienen que encontrar la respuesta antes de que el paraíso pintado por 62 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 los promotores de este mundo digital se haga realidad. ¿De quién será la responsabilidad en el sistema digital (del usuario, del algoritmo, de los proveedores de servicios)? ¿Cómo evitar el paternalismo de las máquinas? ¿Es verdaderamente indeseable? ¿Hasta qué punto podemos compartir los datos médicos que desvelan datos de nuestros familiares? ¿Cómo igualar el acceso a los servicios de salud digital? ¿Cuál debería ser la prioridad: la infraestructura nodigital o los servicios digitales? Estas preguntas nos las podemos plantear sin lanzarnos a explorar los escenarios de ciencia ficción que seguramente traerían dilemas más salvajes. Además de preguntas, se formulan también recomendaciones para el desarrollo responsable de los sistemas de eSalud y mSalud. Entre otros, basándonos en las pistas proporcionadas por la International Pharmaceutical Federation (2019), podemos nombrar el papel de los usuarios, sobre todo, los profesionales de sistemas de salud, como médicos o farmacéuticos, en la promoción del uso de las tecnologías móviles e inteligentes entre sus pacientes. Al mismo tiempo, ellos tienen que poder explicar a los usuarios no profesionales los riesgos y beneficios del uso del sistema, así como mantenerse al día con el desarrollo tecnológico. Su rol es también clave en asegurar el control adecuado de la calidad de los servicios. Obviamente, estas exigencias necesitarán apoyo especialmente en el proceso de la formación de los profesionales de salud, en cuanto a las nuevas tecnologías y en cuanto a la reflexión dentro de las humanidades, para poder formar nuevas relaciones con los usuarios no profesionales mediadas por las TIC. No cabe duda de que mSalud es un negocio y una tecnología en desarrollo y que está transformando nuestras actitudes hacia la medicina, la salud pública y nuestras maneras de manejar la biopolítica en sus aspectos administrativos e institucionales sobre el nivel nacional, así como internacional. mSalud cambia también el paisaje ético y jurídico, con su potencial de disolver la responsabilidad por la salud, mientras que la tendencia al dataísmo e instrumentalismo llama a la reflexión sobre la dignidad humana como la base de la ética médica. Podemos decir, que la ética mHealth, la ética digital de ahora es también una ética en desarrollo y, como frecuentemente es el caso en los momentos liminales, se apoya sobre un “código” intuitivo más que en certezas en cuanto a las motivaciones y las 63 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 consecuencias. Por ahora, la revolución digital trae consigo la supuesta emancipación del paciente. No obstante, eso significa también que la responsabilidad por el uso ético de las oportunidades ofrecidas por la medicina digitalizada descansa cada vez más sobre los usuarios, que no son profesionales de la salud. Por lo tanto, si podemos hablar de la ética mHealth para comunidades, no solamente para individuos, quizás deberíamos imaginarla como la ética “crowd” que salvaguardaría lo que Zuboff llama “el derecho al tiempo futuro”: “que comprende la capacidad del individuo de imaginar, pretender, prometer y construir un futuro” (Zuboff 2020, 36). Sin embargo, para poder confiar en la ética así designada, nos queda mucho camino por delante. Más información • Burr, C.; Floridi, L., eds. (2020), Ethics of Digital Wellbeing: A Multidisciplinary Approach. Springer. • Carta de Derechos Digitales (2021), https://www.lamoncloa.gob.es/presidente/actividades/Documents/2021 /140721-Carta_Derechos_Digitales_RedEs.pdf . • Cernadas Ramos, A.; Barral Buceta, B.; Fernández da Silva, Á.; Bouzas Lorenzo, R. (2020), “La eSalud en España: evolución, estado actual, y perspectivas de futuro”, Saúde e sociedade 29 (4). DOI. • Cerrato, P.; Halamka, J. (2019) The Transformative Power of Mobile Medicine. Leveraging Innovation, Seizing Opportunities, and Overcoming Obstacles of mHealth. Academic Press. • Díaz de León-Castañeda, C. (2019) “Salud electrónica (e-Salud): un marco conceptual de implementación en servicios de salud”, Gaceta Médica de México. 155(2):176-183. DOI: 10.24875/GMM.18003788. PMID: 31056590. • Han, B.-C. (2014), Psicopolítica: Neoliberalismo y nuevas técnicas de poder, trad. A. Berges. Barcelona: Herder. • Harari, Y. N. (2016), Homo Deus: A Brief History of Tomorrow. Harper. • International Pharmaceutical Federation (2019) mSalud. Uso de herramientas móviles de salud en la práctica farmacéutica. La Haya. 64 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 • Johnson, S. B.; Slade, I.; Giubilini, A. y Graham, M. (2020), “Rethinking Ethical Principles of Genomic Medicine Services”, European Journal of Human Genetics 28: 147-154. • Lemke, T.; Casper, M. J.; Moore, L. J. (2011). Biopolitics: An Advanced Introduction. NYU Press. • Mariscal, J.; Herrera Rosado, F.; Varela Castro, S. (2018). Estudio sobre TIC y salud pública en América Latina: la perspectiva de e-salud y m-salud. Ginebra; ITU. • Parsons, T. D. (2019). Ethical Challenges in Digital Psychology and Cyberpsychology. Cambridge University Press. • Penchaszadeh, V. B. (2018), “Desafíos éticos de la big data en salud”, en: Ruiz de Chávez, M. H. y Piña, R. J. (ed.), Bioética y nuevas fronteras de la genética, Ciudad de México: Fontamara. 85-94. • Pew Research Center. (2022). Visions of the Internet in 2035. • Rabinow, P. (1992). “Artificiality and Enlightenment: From Sociobiology to Biosociality”. En: J. Crary y S. Kwinter, eds., Incorporations, 234–252. New York: Zone Books. • Rose, N. (2008). The Politics of Life Itself: Biomedicine, Power, and Subjectivity in the Twenty-First Century, Princeton: Princeton University Press. • Tae, K. W.; Werbach, K. (2016). “More Than Just a Game: Ethical Issues in Gamification”. Ethics and Information Technology 18 (2), 157173. • Topol, E. (2015). The Patient Will See You Now: The Future of Medicine is in Your Hands. Basic Books. • Tutton, R. (2011), “Promising Pessimism: Reading the Futures to Be Avoided in Biotech”, Social Studies of Science 41 (3), 411-429. • Van Beers, B. (2022), “A Better Way of Being? Human Rights, Transhumanism and ‘the Utopian Standpoint of Man’”. En: Utopian Thinking in Law, Politics, Architecture and Technology: Hope in a Hopeless World. Van Klink, B., van der Broeke, L., Soniewicka, M. eds. Edward Elgar. 65 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 • Waters, B. (2014). “Flesh Made Data: The Posthuman Project in the Light of Incarnation”. En: Religion and Transhumanism: The Unknown Future of Human Enhancement, ed. C. Mercer y T. J. Trother, pp. 291– 302. • World Health Organization (WHO), “mHealth: New Horizons for health through mobile technologies”, Global Observatory for eHealth series, vol. 3, 2011. • Zuboff, S. (2019a). The Age of Surveillance Capitalism. The Fight for a Human Future at the New Frontier of Power, London: Profile. • Zuboff, S. (2019b). “We Make Them Dance”: Surveillance Capitalism, the Rise of Instrumentarian Power, and the Threat to Human Rights”. En: Human Rights in the Age of Platforms, coordinado por R. F. Jørgensen. MIT Press. 3-51. • Zuboff, S. (2020). La era del capitalismo de la vigilancia: la lucha por un futuro humano frente a las nuevas fronteras del poder. Trad. Albino Santos. Paidós. 66 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 7. Los usos de la inteligencia artificial en la toma de decisiones automatizadas que son jurídicamente vinculantes11, Antonio Madrid Pérez PONENCIA Mi intervención parte de una afirmación: el derecho contemporáneo experimenta una transformación radical (lo nuevo radical) provocada por la utilización de la inteligencia artificial (IA) en la toma de decisiones jurídicamente vinculantes. Para una parte de la población, el funcionamiento de los sistemas algorítmicos se ha convertido en la cara visible del cumplimiento y/o de la vulneración de sus derechos. Para quienes trabajan en la defensa de los derechos, esta realidad tiene cada vez mayor incidencia. Es habitual oír decir a la persona que representa a una administración pública, o a una entidad bancaria, o a una empresa, y que ha de explicar una decisión negativa que afecta a la persona: «el ordenador no me deja» o «el ordenador me dice que no». En su relación con las administraciones públicas, o con las empresas, lo que impacta directamente en las personas son las decisiones que se les aplican: la concesión o denegación de una ayuda, la mi capítulo “La inteligencia artificial y la robótica como motores de cambio del Derecho”, en Estévez Araujo (2021), pp. 171-194. 11 Se reproducen aquí extractos de 67 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 concesión o denegación de un permiso, la admisión o expulsión de un país, la adjudicación o denegación de medidas de protección, las condiciones de contratación, las condiciones de acceso a un servicio o producto, la clasificación de la persona en un grupo u otro… Cada vez más estas decisiones que impactan en la vida de las personas quedan automatizadas. Es decir, los sistemas algorítmicos se utilizan crecientemente para tomar y gestionar estas decisiones. La existencia de novedades tecnológicas no supone necesariamente un cambio radical en el derecho. Una novedad tecnológica puede llevar a una adaptación legal, pero una adaptación no es necesariamente una transformación profunda del derecho. Por ejemplo, algunos sistemas algorítmicos utilizados con funciones predictivas por los cuerpos de seguridad estatales suponen una novedad, pero no es nueva la preocupación acerca de cuál ha de ser el equilibrio entre la seguridad pública y la protección de los derechos y libertades fundamentales democráticas en un estado democrático. La nueva tecnología disponible, así como la previsión de su desarrollo a corto y medio plazo, plantean nuevas formulaciones a cuestiones que no son nuevas. Desde mi punto de vista, la novedad radical que introduce la IA está asociada a dos cuestiones centrales para el derecho: cómo se configura esta decisión y quién toma la decisión jurídicamente vinculante. Es decir: la configuración de la decisión y la toma de la decisión. De aceptarse este enfoque basado en la configuración y en la toma de la decisión jurídicamente vinculante, en la situación actual se dan dos escenarios posibles: uno inexistente y otro que está tomando cuerpo. El inexistente: sería una novedad radical en el derecho que sistemas algorítmicos desarrollaran capacidad de consciencia, que se convirtieran en otra forma de existencia consciente. Esto por ahora pertenece al terreno de lo pensado no realizado. Si se deja al margen la novedad que supondría la existencia futura de sistemas de IA con un nivel de desarrollo en el que reconociéramos un nivel de autopercepción al que llamamos consciencia, se entra en el terreno de lo que ya es una realidad: la utilización de sistemas algorítmicos para asesorar o fundamentar decisiones jurídicas vinculantes (decisiones judiciales, decisiones administrativas, ejecución de políticas penales, aplicación de políticas públicas). Esto último, el uso de sistemas algorítmicos que tienen impacto directo en la toma 68 MEMORIA DE LOS COLOQUIOS DE ÉTICA DIGITAL 2021-2022 de decisiones que afectan a personas, ya se está haciendo, de forma destacada en el acceso a productos bancarios y financieros, y en el desarrollo de estrategias policiales y de seguridad, pero también en materia de servicios sociales y en la toma de decisiones en los ámbitos penal y penitenciario. La novedad de estos usos de la IA radica en la traslación parcial de la fundamentación de la decisión a un sistema algorítmico. En este sentido, desde mi punto de vista, la novedad radical que transforma el derecho es la inclusión de sistemas automatizados en procesos de toma de decisiones jurídicamente vinculantes. Y la tendencia de futuro apunta en dos direcciones convergentes: el incremento de los sistemas automáticos para asesorar y fundamentar la toma de decisiones, y la conversión de sistemas automáticos en sistemas autónomos de toma de decisiones: el paso de la automatización a la autonomización. La otra fuente de radical novedad puede provenir del desarrollo y aplicación de sistemas algorítmicos con funciones de aprendizaje que acaben teniendo un comportamiento no previsto inicialmente. Las máquinas pueden modificar sus estrategias de actuación y, al hacerlo, tener efectos no previstos en el mundo real o en otros sistemas algorítmicos con los que interactúe. La novedad radical provendría no tanto del comportamiento imprevisto de la máquina, como de la validación jurídica de la utilización de este tipo de tecnología en la fundamentación de decisiones o, directamente, en la toma de decisiones. Máxime cuando la trazabilidad de la decisión tomada queda imposibilitada en la medida en que el funcionamiento del sistema algorítmico no sea ni transparente ni comprensible para la ciudadanía. Más información • Estévez Araujo, J. A., ed. (2021), El Derecho ya no es lo que era. Las transformaciones jurídicas en la globalización neoliberal, Trotta, Madrid. 69