Panorama Sectorial Número 1

Mayo, 2020
de Internet Año 12

Inteligencia Artificial:
equidad, justicia y
consecuencias
Por Diogo Cortiz 1

A
la Inteligencia Artificial (IA) está invadiendo de los activos más valiosos para el desarrollo so-
todos los aspectos de nuestra vida. Situacio- cial, político y económico.
nes cotidianas, como las recomendaciones En los últimos años, ha habido una carrera entre
de películas en servicios de streaming, o la cance- las naciones en cuanto a planes, proyectos e incen-
lación de compras con tarjetas de crédito median- tivos para acelerar la expansión de la IA dentro de
te mecanismos antifraude, son ejemplos de toma sus fronteras. Todos los países desarrollados y al-
de decisiones que probablemente provienen de gunos en desarrollo han creado planes estratégicos
sistemas de IA. Sin embargo, a medida que crece para establecer su papel de liderazgo en este cam-
el desarrollo y la adopción de este tipo de tecnolo- po. China, por ejemplo, ha fijado en su documento
gía para ofrecer servicios más rápidos y seguros, público Next Generation Artificial Intelligence Deve-
aumenta la preocupación por los posibles efectos lopment Plan2 el objetivo de convertirse en el líder
secundarios. mundial de la IA para 2030.
La IA es un tema central en los debates de Teniendo en cuenta los equipos, las técnicas y
todo el mundo, que ha suscitado el interés de ex- los modelos computacionales disponibles en la ac-
pertos de una amplia gama de disciplinas. Mien- tualidad, no es probable que las máquinas alcan-
tras los economistas se preocupan por el impacto cen la singularidad3 en un futuro próximo, quizá ni
en la productividad y el desempleo, los psicólogos siquiera en el siglo XXI. No obstante, es importante
y neurocientíficos investigan las posibles conse- plantear un debate filosófico sobre los riesgos de la
cuencias sobre la cognición y el comportamiento; IA para la humanidad. Aunque puede ser beneficio-
los abogados se preocupan por los cambios en sa para la sociedad, ayudando, por ejemplo, en la
el sistema judicial; y los sociólogos, por las trans- optimización de procesos o en el descubrimiento de
formaciones sociales. En la política internacional, nuevos fármacos y diagnósticos, también conlleva
los líderes de Estado han declarado que es uno situaciones inesperadas, ya que es una tecnología

1
Investigador del Centro de Estudios de Tecnologías Web (Ceweb.br), del Núcleo de Información y Coordinación del Ponto BR (NIC.br), y profesor
de la Pontificia Universidad Católica de São Paulo (PUC-SP), con un doctorado y un máster en tecnologías de la inteligencia y diseño digital, una beca
de doctorado de la Universidad París 1 - Sorbona, y un MBA en economía internacional de la Universidad de São Paulo (USP). Realizó una estancia
posdoctoral en el Laboratorio de Inteligencia Artificial y Tecnologías Creativas de la Universidad de Salamanca y es investigador visitante en el laboratorio
de ciencias cognitivas de la Queen Mary University of London.
2
Disponible en: http://fi.china-embassy.org/eng/kxjs/P020171025789108009001.pdf
3
Teoría de que las máquinas pueden desarrollarse hasta superar la inteligencia humana. Sin embargo, esta perspectiva ha sido rechazada por varios
investigadores destacados en el campo de la IA.

1
 /Panorama Sectorial de Internet

emergente. Si se establecen las salvaguardias necesarias, será posible maximizar

sus capacidades y minimizar sus riesgos potenciales.
En la actualidad, las tecnologías utilizadas en la IA pueden dividirse en las si-
guientes categorías principales: aprendizaje supervisado; aprendizaje no supervi-
sado y aprendizaje por refuerzo. El aprendizaje supervisado y el no supervisado
son los más comunes, y dependen de grandes volúmenes de datos para que las
máquinas puedan aprender. En el primer caso, los datos tienen que haber sido pre-
viamente “etiquetados”, en referencia a lo que representan. Cuando un conjunto de
datos sobre transacciones de tarjetas de crédito incluye un campo que especifica si
se ha producido o no un fraude, por ejemplo, existe un aprendizaje supervisado, y es
posible entrenar un sistema antifraude para que clasifique futuras compras. Cuan-
do el mismo conjunto de datos no tiene ese campo, hay aprendizaje no supervisado,
Diogo Cortiz y no es posible el desarrollo de un sistema antifraude.
Investigador en Un sistema de IA bien entrenado puede reconocer patrones poco visibles incluso
para los expertos. Sin embargo, la fuente y la calidad de los datos utilizados en ese
el Ceweb.br y sistema influyen en su comportamiento. En este contexto, en 2016, la red de perio-
dismo de investigación ProPublica publicó un artículo4 que planteaba un nuevo reto:
profesor de la los datos pueden tener sesgos discriminatorios y la IA es capaz de potenciarlos. Con
PUC-SP. el provocador título de Machine Bias (sesgo de máquina, en traducción libre), el artí-
culo mostró que uno de los sistemas más utilizados en Estados Unidos para evaluar
el riesgo de reincidencia criminal tenía resultados sesgados según el color de la piel
de la persona analizada, clasificando a las personas negras como dos veces más
propensas a reincidir que las blancas. Al conocer los patrones de las sentencias
dictadas por los jueces, el sistema comenzó a deliberar de forma similar. Este caso
lleva a reflexionar sobre si es aceptable que un sistema perpetúe un comportamien-
to indeseable, aunque haya aprendido de un historial de decisiones humanas.
Utilizados en muchas investigaciones, así como por la comunidad técnica y cien-
tífica, los términos “algoritmo discriminatorio” o “discriminación en los algoritmos”
suscitan desacuerdos entre los investigadores. Algunos sostienen que los algorit-
mos pueden realmente “tener prejuicios”, mientras que otros consideran que esta
hipótesis es absurda. El problema radica en que la palabra “algoritmo” se utiliza
para referirse a dos cosas distintas (ilustradas en la Figura 1, como “algoritmo de
entrenamiento” y “modelo entrenado”) en el proceso de desarrollo de un proyecto
de IA, aunque ambas son, de hecho, algoritmos.
Además de depender de los datos, la IA requiere algoritmos de entrenamiento.
Hay innumerables algoritmos – árboles de decisión y redes neuronales, entre otros
– que se indican según la situación y los objetivos del proyecto. Los algoritmos pue-
den compararse con una “receta de torta” que utiliza los datos de entrenamiento
como “ingredientes” para producir algo, como un modelo5 de detección de fraudes.
Por lo tanto, hay dos algoritmos en un proyecto de IA: un algoritmo de entrenamiento
y un modelo entrenado (que, de hecho, se utilizará en la producción). Un algoritmo
de entrenamiento es un conjunto de reglas que no expresa una opinión ni contiene
sesgos de ningún tipo. Sin embargo, su resultado, que es el modelo, puede manifes-
tar un comportamiento sesgado debido a los datos utilizados en el entrenamiento.
La Figura 1 ilustra este proceso:

4
Disponible en: www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
5
Aunque el modelo también es un algoritmo, decidí llamarlo así con fines didácticos. Aparte de esto, es un término
que se utiliza con frecuencia en la comunidad de IA.

2
 Inteligencia artificial: equidad, justicia y consecuencias

Figura 1– PROCESO DE ENTRENAMIENTO

Datos de Algoritmo de Modelo

entrenamiento entrenamiento entrenado

Fuente: Elaboración propia.

Consideremos dos conjuntos de datos. Aunque se utilice el mismo algoritmo

de entrenamiento (un árbol de decisión, por ejemplo), se obtendrán dos modelos
con comportamientos diferentes. Si en uno de los casos el conjunto de datos uti-
lizado representa un perfil de una realidad en la que las personas negras tienen
menos acceso al sistema de salud que las blancas, este patrón se reflejará en el
modelo.
Por lo tanto, dado que un sistema de IA refleja los patrones de los datos de
entrenamiento, hay que tener en cuenta la base de datos utilizada en el proceso
de aprendizaje. Una estrategia posible sería analizar y comprender los datos antes
del entrenamiento, pero no es una tarea sencilla. Los algoritmos trabajan con una
enorme cantidad de datos, por lo que es muy difícil que una persona haga el aná-
lisis sola, o incluso que detecte patrones sutiles. No obstante, los datos no pueden
descartarse ya que en última instancia son necesarios para que el sistema de IA
pueda aprender. Por tanto, si no siempre es posible realizar un análisis previo de los
patrones que aprenderá el modelo, quizás el aspecto más importante sea examinar
su comportamiento inmediatamente después del entrenamiento, asegurándose
que represente los valores que queremos que un sistema reproduzca.
En este sentido, es necesario definir nuevas métricas de evaluación para que
los modelos de IA tengan en cuenta, además de los requisitos técnicos, los as-
pectos sociales. Por regla general, los sistemas son desarrollados por científicos e
ingenieros basándose en métricas de rendimiento, como la precisión. Un modelo
con una tasa de éxito aceptable según estos criterios es adecuado para su imple- (...) es necesario
mentación en un sistema de producción, independientemente de que manifieste definir nuevas
un sesgo en una u otra dirección.
Sin embargo, muchos casos indeseables, como los comentados en el artículo métricas de
de ProPublica, ponen en evidencia la importancia de intensificar el trabajo para evaluación para
definir métricas adicionales para los modelos de IA. Esto no es sencillo, ya que la
complejidad técnica de los modelos constituye un reto. Sin embargo, es necesario que los modelos
en el contexto actual, como demuestran los debates actuales sobre la gobernanza
de la IA. Las organizaciones en este campo han abogado por equipos heterogéneos
de IA tengan en
e interdisciplinarios para liderar los proyectos de IA, formados por personas capaces cuenta, además
de establecer métricas que garanticen que el sistema respeta los derechos huma-
nos y se comporta de acuerdo con los valores sociales y culturales de la región. de los requisitos
La cuestión geográfica es también un punto relevante en los proyectos de IA. técnicos, los
La mayoría de las herramientas que se utilizan hoy en día en el Sur Global fueron
desarrolladas por empresas del Norte, que generalmente no tienen en cuenta los aspectos sociales.
aspectos culturales específicos de nuestra realidad. Los conjuntos de datos más

3
 /Panorama Sectorial de Internet

populares se centran en Estados Unidos y Europa Occidental, y los datos de otros

lugares, cuando existen, tienden a ser descuidados por los arquitectos de sistemas,
Cuando un que no están familiarizados con las culturas de esos lugares.
sistema [de Es bastante habitual, por ejemplo, que los sistemas de reconocimiento de imá-
genes clasifiquen la foto de una mujer con un vestido blanco como una ceremonia
IA] entra en de boda, pero rara vez harán lo mismo en el caso de una novia con un sari en una
funcionamiento, celebración india. Las grandes empresas buscan alternativas para resolver este
problema, como el proyecto Crowdsource de Google, que ofrece un sitio web y una
los resultados aplicación para que la gente pueda añadir contenidos regionales y ampliar así su
son inmediatos base de datos.
Está claro, por tanto, que la complejidad de diseñar proyectos de IA va más allá
y a gran escala. de los aspectos técnicos. Cuando un sistema entra en funcionamiento, los resul-
tados son inmediatos y a gran escala. Si no se prueba y aprueba adecuadamente,
Si no se prueba las consecuencias pueden ser problemáticas para determinados grupos sociales.
y aprueba Así lo demostró un estudio publicado en la revista Science6, en 2019, sobre cómo
un sistema de asignación de tratamientos preventivos para pacientes con enferme-
adecuadamente, dades crónicas en Estados Unidos manifiesta un comportamiento discriminatorio
las consecuencias hacia la población negra. Al realizar la investigación, los autores descubrieron que,
en el contexto del estudio, un paciente negro tendría que estar más enfermo que un
pueden ser paciente blanco para tener derecho a recibir la misma atención. Esto se debe a que
el sistema asigna el tratamiento basándose en la predicción de los futuros gastos
problemáticas de atención de cada paciente, es decir, no tiene en cuenta la condición médica del
para determinados individuo, sino sólo la variable financiera. Basándose en los datos históricos del
sistema de salud estadounidense, al que los negros tienen un acceso limitado, el
grupos sociales. sistema aprendió que el gasto es más elevado para los pacientes blancos, por tér-
mino medio, y que por tanto deben recibir un tratamiento preventivo. Los autores
del estudio sostienen que, para construir un sistema más igualitario, el diseño del
proyecto debería priorizar un modelo capacitado para identificar a los pacientes se-
gún parámetros médicos y no financieros.
Con respecto a los criterios de cuán justo puede ser un sistema, el término fair-
ness, aquí traducido como “equidad”, se ha popularizado en la comunidad acadé-
mica. Publicado en 2019 por el Centro de Estudios de Tecnologías Web (Ceweb.br)7,
el Mapeo de Principios de la Inteligencia Artificial8 mostró que el concepto de equi-
dad está siempre presente en los documentos de principios publicados por las
principales empresas de tecnología, gobiernos y organizaciones internacionales, lo
que denota la preocupación por evitar que la IA perpetúe injusticias. Sin embargo,
trabajar con la idea de equidad no es una tarea sencilla. Las reflexiones sobre el
concepto de justicia no se limitan al ámbito de la IA, sino que son una constante en
las ciencias humanas. En el ámbito técnico y científico, existe la preocupación por
generar debates amplios para incorporar el tema y convertirlo en un aspecto rele-
vante de los proyectos de IA presentes y futuros.
El tema ha ido evolucionando a través de eventos organizados por la comunidad
académica. La Association for Computing Machinery, una importante asociación
internacional en el área de la computación, lanzó la FAccT Network9, una red de
conferencias que abordan los temas de equidad, responsabilidad y transparencia

6
Disponible en: science.sciencemag.org/content/366/6464/447
7
Ceweb.br es un departamento del NIC.br y tiene como objetivo permitir la participación de la comunidad brasileña
en el desarrollo global de la Web y ayudar a la formulación de políticas públicas. Más información en: https://ceweb.
br/about-ceweb-br/
8
Disponible en: ceweb.br/publicacao/mapeamento-de-principios-de-inteligencia-artificial/
9
Más información: https://facctconference.org/network/

4
 Inteligencia artificial: equidad, justicia y consecuencias

en la tecnología. Otra iniciativa fue la realización del taller FATES10 (por su acrónimo
en inglés Fairness, Accountability, Transparency, Ethics and Society on the Web),
organizado por Ceweb.br y celebrado junto con la prestigiosa The Web Conference
202011 para debatir los impactos sociales de la IA.
Merece la pena investigar si la búsqueda de un único criterio de equidad es un
error, un intento de simplificar algo que es complejo y plural. Veamos la situación hi-
potética narrada por Amartya Sen en el libro La idea de justicia. Frente a tres niños,
se debe decidir cuál de ellos recibirá una flauta: Bob, un niño pobre que no tiene
juguetes; Carla, que siempre ha limpiado la flauta; o Anne, la única que sabe tocarla.
Hay justificaciones para cada elección. Alguien con creencias utilitaristas argumen-
taría que la flauta debería ser para Anne, mientras que un igualitario sugeriría que
Bob es el más digno. A su vez, para un libertario, Carla merecería el juguete. Las tres
soluciones, totalmente diferentes, se basan en argumentos racionales y se apoyan
en marcos filosóficos. ¿Cuál es la más justa?
Las reflexiones sobre lo que constituye la equidad no terminan en el ámbito de
la discusión social y están lejos de desarrollarse plenamente en el campo de la IA.
Se han hecho los primeros esfuerzos12, pero el camino es largo. En la actualidad,
es urgente discutir sobre la equidad y la transparencia, cuando las aplicaciones de
la IA se encuentran en diversos aspectos de las decisiones tomadas en nuestro
medio, pero los criterios aún carecen de análisis y desarrollo de técnicas para su
implementación en modelos. Si es difícil definir lo que es justo en el ámbito social,
¿cómo se puede establecer a nivel técnico?
Una estrategia sería esforzarse por combatir lo que es injusto (unfair). Una parte
de la comunidad de la IA entiende que lo injusto es cualquier daño o beneficio que
pueda ser causado por una característica irrelevante. A pesar de parecer sencilla,
esta definición es compleja, ya que decidir que una característica es irrelevante
depende de la situación y el contexto de la aplicación.
En un proceso de selección, por ejemplo, el género del candidato podría consi-
derarse una característica irrelevante. Existe el conocido caso del sistema de con-
tratación de Amazon, que rebajaba la puntuación de los currículos presentados por
mujeres13, en violación de la equidad. Esto no significa, sin embargo, que el género Las tecnologías
deba descartarse en el entrenamiento de todos los modelos de IA, ya que puede ser
un aspecto importante y sensible, como en un sistema de diagnóstico en el sector evolucionan
de la salud. Esto también se aplica a otras características sociodemográficas, como
los ingresos, la raza, la etnia y la religión. Por ello, es fundamental que equipos he-
rápidamente, y
terogéneos e interdisciplinarios debatan el tema. el debate sobre
No existe una fórmula preestablecida para tratar los conceptos de ética, equi-
dad y justicia en la IA, a pesar de que son preocupaciones muy relevantes. Las las repercusiones
tecnologías evolucionan rápidamente, y el debate sobre las repercusiones sociales sociales y las
y las estrategias necesarias para hacer que los modelos de IA sean menos injustos
está en sus inicios. En este contexto de rápida transformación, este artículo preten- estrategias
dió señalar posibles caminos, entendiendo que, de momento, hay más preguntas
que respuestas. El reto está planteado.
necesarias para
hacer que los
modelos de IA
sean menos
10
Más información: fates.isti.cnr.it/
11
Más información: www2020.thewebconf.org/
12
Como ejemplo reciente, la publicación Responsible AI: A Global Policy Framework, de 2019, es el resultado del
trabajo de más de 50 investigadores en este campo. El libro dedica un capítulo a la equidad y a la no discriminación,
injustos está en
abordando cuestiones relacionadas con el tema en diferentes contextos y dimensiones.
13
Más información: www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-
sus inicios.
recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

5
 /Panorama Sectorial de Internet

Entrevista I
P.S.I._ En un contexto en el que las tecnologías se aplican cada vez más en
diferentes sectores de la sociedad, ¿es más probable que la Inteligencia Artificial
(IA) reduzca o agrave las desigualdades existentes? ¿Cuáles son los posibles
escenarios futuros?

N.N._ Al observar lo que se llamaba tecnología antes, y lo que se considera tecno-

logía ahora, podemos ver un patrón. Sólo podemos construir sobre infraestructura
social y económica existente. Las poblaciones que tienen acceso a la tierra, a la
educación, a la información y a los derechos humanos básicos son las que tienen
mejor acceso a las oportunidades digitales.
Mientras que en los países desarrollados un alto porcentaje de la población puede
tener acceso a la conectividad de banda ancha, en muchas naciones en desarrollo
Nnenna la brecha se está ampliando. En todo el mundo, sólo la mitad de la población global
Nwakanma está conectada a Internet – la otra mitad se queda atrás. Las investigaciones de la
Alliance for Affordable Internet (A4AI)14 y sus socios han demostrado que las perso-
Defensora-jefe nas que aún no están conectadas son en su mayoría pobres, viven en zonas rurales
y son principalmente mujeres.
de la Web en la La IA funciona con datos, con una transmisión y un procesamiento de la información
World Wide Web eficientes y con una conectividad fiable. El posible escenario que veo es que, mien-
tras tenga sentido desde el punto de vista económico, seguiremos desarrollando
Foundation. soluciones para los “mercados” disponibles, para los “digitalmente capaces” y los
“alfabetizados en datos”. Es posible que en algún momento la brecha sea tan gran-
de que se requiera una inversión muy amplia para cerrarla, lo que lleve a decidir que
ya no vale la pena el esfuerzo de conectar a los últimos mil millones de personas.
En resumen, la forma en que estamos gestionando actualmente el espacio de la
tecnología y la innovación sólo puede exacerbar las desigualdades existentes.

P.S.I._ ¿Cómo puede utilizarse la Inteligencia Artificial como herramienta para

salvaguardar los derechos humanos? ¿El uso de sistemas de IA supone posibles
riesgos o impactos adversos para los derechos humanos? Si es así, ¿cómo podrían
mitigarse?

N.N._ He visto diversos usos de la IA en los servicios al ciudadano y, en general,

en los sectores comercial y económico. La robótica ha sido útil en áreas como la
salud, la educación y la gobernanza digital. En la pandemia del nuevo coronavirus,
muchos gobiernos han desplegado soluciones tecnológicas de rastreo (track and
trace) impulsadas por la IA; en tiempos de crisis, cuando la vida y la muerte de las
personas pueden determinarse con una latencia de cinco minutos, el uso de la IA
puede salvar vidas.
Sin embargo, la inteligencia algorítmica, basada en datos, hábitos, preferencias per-
sonales y uso de interfaces, es todavía limitada. En el contexto de la pandemia, las
cuestiones relativas a la transparencia en la gobernanza de los datos, el respeto a
la privacidad de las personas y el uso y abuso de los datos personales plantean ya
enormes desafíos.

14
Ver: www.A4AI.org

6
 Entrevista I

También preocupa la manipulación algorítmica con fines políticos y electorales, es-

pecialmente en las plataformas de los medios sociales. El papel de la IA en la desin-
formación viral es algo que debemos explorar más, ya que las vidas humanas y las
empresas se han visto realmente perjudicadas.
A la hora de mitigar los efectos adversos derivados del uso de la IA, estoy firmemen-
te a favor del enfoque multisectorial: no se me ocurre ningún problema tecnológico
que pueda ser resuelto por un solo grupo de partes interesadas. Dirigido por Tim
Berners-Lee, el inventor de la Web, el Contract for the Web15, presenta un conjunto
de principios, entre los cuales destaco el sexto, que nos desafía a desarrollar tecno-
logías que apoyen lo mejor de la humanidad y desafíen lo peor. Esto significa que,
en nuestra cooperación digital global de múltiples partes interesadas, debemos
mantener los ojos abiertos a los peligros asociados a las tecnologías. Lo que debe-
mos entender es que estos peligros evolucionan a diario: lo que constituía un riesgo
importante ayer no es lo mismo que hoy, y sin duda mañana será diferente.
Mientras que los gobiernos desempeñan el papel de gobernanza, corresponde a
las empresas desarrollar sus proyectos de forma que respete los derechos huma-
nos, y a la sociedad civil desempeñar su papel de supervisión. Estos papeles pue-
den cambiar de vez en cuando, por eso necesitamos un diálogo, una colaboración,
una investigación y una cooperación constantes.

P.S.I._ Dado que los conjuntos de datos que alimentan los sistemas de IA pueden
ser imprecisos, sesgados o incompletos, ¿cuáles son las posibles implicaciones
del uso de las tecnologías de IA para la elaboración de políticas? ¿Qué grupos
de población pueden verse más afectados por esta situación? ¿Cómo se pueden
abordar estas cuestiones?

N.N._ No veo la formulación de políticas públicas como una acción puntual. Pre-
"A la hora de
fiero mirar el ciclo de un extremo a otro, en lugar de una actividad en particular. La mitigar los
IA puede utilizarse en diferentes etapas del proceso político: en el reconocimiento
de tendencias en una etapa temprana; en la identificación y rastreo de problemas efectos adversos
emergentes; en el establecimiento de agendas; en la consulta y consideración de derivados del uso
políticas públicas; en la toma y aplicación de decisiones; y en la supervisión y eva-
luación de la implementación. Tenemos la oportunidad de utilizar la IA en todo el de la IA, estoy
proceso para reducir los retrasos, permitir una acción más rápida, optimizar los re-
cursos financieros, mejorar la rendición de cuentas, analizar grandes cantidades de
firmemente a
datos, generar informes de manera rápida y eficiente y, lo que es más importante, favor del enfoque
reconocer y proporcionar alertas sobre tendencias emergentes.
Lo que nos lleva a la pregunta central: ¿”Sobre quién” son los datos disponibles?
multisectorial:
¿Sobre quién son los datos recogidos, gestionados y analizados? Si mis datos no no se me ocurre
son considerados, me veré afectada.
¿A qué tipo de datos se está dando prioridad? Si los conjuntos de datos más sig- ningún problema
nificativos sobre mí no se incluyen en las bases de datos utilizadas por la IA, mis tecnológico
problemas ni siquiera se pondrán sobre la mesa en la toma de cualquier decisión.
Si faltan los datos que tienen que ver conmigo, me veré afectada. que pueda ser
Necesito participar para tener voz en el proceso. ¿Qué espacio existe para la partici-
pación política inclusiva de los ciudadanos? ¿Quién puede sentarse a la mesa al to-
resuelto por
mar decisiones? ¿Se escucha mi voz? ¿Como mujer? ¿Como persona de la comuni- un solo grupo
dad rural? ¿Como persona no conectada? ¿Como persona de un grupo minoritario?
¿Como persona que vive con una discapacidad? ¿Tengo suficiente agencia – social, de partes
interesadas."
15
Ver: www.contractfortheweb.org.

7
 /Panorama Sectorial de Internet

digital, económica y política – para participar del proceso de toma de decisiones?

Si la respuesta es “no”, estaré en desventaja.
Construir sociedades justas e igualitarias es una tarea difícil. No hay modelos perfec-
tos. La visión original de Tim Berner-Lee y otros fundadores sobre la Web era que dar la
tecnología al mundo significaba que la humanidad haría un uso positivo de ella. Es, en
sus propias palabras, #ParaTodos. Por tanto, este principio debería ser nuestra guía
más importante a la hora de diseñar, desarrollar, desplegar y aplicar las tecnologías.

Artículo II
El uso de la Inteligencia Artificial
en el ámbito jurídico: mitos y
realidad
Por Luiz Fernando Martins Castro 16

S
i bien la Inteligencia Artificial (IA) es una rama de la ciencia computacional
que se conoce y discute desde hace más de 60 años, es sin duda el tema
del momento por su amplio alcance y capacidad de provocar importantes
transformaciones en la sociedad. Debido a la evolución de los procesadores y del
software, el uso de la IA ha ido creciendo, con un impacto inmediato en las activi-
Luiz Fernando dades repetitivas y menos complejas, afectando directamente a los ciudadanos
Martins Castro y a los trabajadores.
El mundo jurídico – considerando aquí a todos los que trabajan en el campo
Socio del estudio del derecho, incluidos los abogados y los servicios judiciales – es consciente de las
posibilidades de utilizar la IA en sus actividades diarias. Se han hecho muchas con-
jurídico Martins jeturas de que las soluciones de IA ayudarán a resolver el famoso problema de la
Castro Monteiro lentitud en la judicatura. Sin embargo, también podrían eliminar puestos de trabajo,
culminando en “jueces-robot” que sustituirían a los magistrados de carne y hueso
Advogados y para dictar sentencias y resolver conflictos.
miembro del Para los jueces que presiden los tribunales brasileños, la IA representa una
oportunidad para aliviarlos y permitir una aplicación más ágil de la justicia. Esta
CGI.br. perspectiva siempre evoca la imagen de una máquina que toma decisiones en lu-
gar de los profesionales, pero es una noción errónea. De hecho, los cambios se
producirán, pero existen muchas fantasías sobre cómo puede utilizarse la IA en la
prestación de servicios judiciales.
Los primeros estudios sobre la IA en los años 50 exploraron temas como la reso-
lución de problemas y los métodos simbólicos. En la década siguiente, el Departa-
mento de Defensa de los Estados Unidos comenzó a entrenar a las computadoras
para que imitaran el pensamiento humano. Al formalizar los procesos mentales
mediante el uso de modelos basados en árboles de decisión, estos estudios prepa-
raron el camino para la automatización inteligente.

16
Abogado e ingeniero civil, doctor en Derecho e Informática por la Universidad de Montpellier (Francia), socio del
estudio jurídico Martins Castro Monteiro Advogados, y miembro del Comité Gestor de Internet de Brasil (CGI.br).

8
 El uso de la Inteligencia Artificial en el ámbito jurídico: mitos y realidad

Desde entonces, gracias al aumento de la capacidad computacional – en tér-

minos de velocidad de procesamiento y memoria – y al abaratamiento de los cos-
tos, la IA ha adquirido un potencial excepcional, especialmente mediante el uso
del aprendizaje automático (machine learning). Además, la IA puede evolucionar
mediante algoritmos de aprendizaje progresivo, permitiendo que los propios da-
tos reprogramen el sistema (aprendizaje profundo o deep learning). Este nuevo
estándar de procesamiento permite analizar volúmenes crecientes de datos con
una profundidad cada vez mayor, una tarea de tal complejidad que sería difícil de
realizar para los seres humanos.
Por lo tanto, la IA tiene un gran potencial para su uso en varios segmentos de la
actividad humana, como la industria, la salud, el transporte y en el propio sistema
judicial. En relación con este último sector, cabe preguntarse: ¿Cómo deben incor-
porarse las técnicas de IA a la prestación de servicios judiciales? ¿Y cómo puede
guiarse su uso por los principios de la justicia, entendida aquí como la traducción de
los valores sociales relativos a lo correcto, lo equitativo y lo adecuado?

Resoluciones judiciales a cargo

de máquinas
La idea de que las máquinas puedan dictar resoluciones judiciales existe desde ¿Cómo deben
hace décadas – no es, por lo tanto, algo nuevo. La gran pregunta es: ¿Cómo intro-
ducir en los sistemas de IA las premisas y conocimientos que forman parte de la incorporarse
formación teórica de los jueces? las técnicas de
Entre los agentes del Poder Judicial, los magistrados son los encargados de to-
mar decisiones que sean justas y acordes con la ley. Es su deber resolver los conflic- IA a la prestación
tos reales que se les plantean y cumplir de forma coherente los valores éticos y prin-
cipios jurídicos que subyacen a la actividad jurisdiccional, como la transparencia, la
de servicios
legalidad, el derecho de contradicción y la plena defensa. Su labor debe basarse, no judiciales?
sólo en la doctrina jurídica, sino también en un conjunto de conocimientos, conso-
lidados a lo largo de siglos de experiencia, que estudian y consideran el fenómeno
¿Y cómo puede
judicial según diferentes aspectos – las llamadas “ciencias jurídicas”. guiarse su uso
A finales de los años ochenta, en la Universidad de Montpellier, en Francia, pude
conocer las iniciativas de construcción de sistemas de ayuda a la decisión, que se por los principios
consideraban la fase inicial de la IA en el ámbito judicial. Los mayores retos y limita- de la justicia,
ciones en ese momento provenían de la dificultad de procesar el lenguaje natural y
las redes semánticas, además de la limitada capacidad de almacenamiento y pro- entendida
cesamiento de datos.
Los sistemas surgieron a partir de árboles de decisión, que presuponían el cono-
aquí como la
cimiento previo de las normas jurídicas aplicables a un tema concreto y la identifica- traducción
ción de todas las hipótesis de hecho susceptibles de producirse en el mundo real.
Ante los hechos reales del caso analizado, el sistema debía indicar la decisión más de los valores
adecuada según las reglas que se le habían enseñado. sociales relativos
Estos programas se utilizaron ocasionalmente y se adoptaron para temas con
reglas e hipótesis claramente definidas. Sin embargo, incluso hoy en día, este tipo a lo correcto, lo
de escenarios se asocia al uso de sistemas de IA por parte del sistema judicial. Si
se tiene en cuenta la evolución de la capacidad de tratamiento de la información y
equitativo y
de las herramientas disponibles para el tratamiento del lenguaje natural, el tema lo adecuado?
adquiere una nueva forma.

9
 /Panorama Sectorial de Internet

En el primer lote,
Usos de la IA en el ámbito jurídico
el sistema [Elis] Seis décadas después de los primeros estudios sobre el uso de la Inteligencia
Artificial, se prevé la posibilidad de realizar el potencial del uso de la IA en el ámbito
procesó casi jurídico. En los últimos años, hemos asistido a la aparición de numerosas Lawtechs,
70.000 casos empresas que adoptan software y tecnologías de la información para impulsar la
productividad de los servicios legales, y que son prácticas más concretas que el
en 15 días – un mencionado sueño del “juez-robot”.
Una reciente encuesta realizada por expertos de la Universidad de Oxford indica
trabajo que que el 80% de los entrevistados utilizaba productos de Lawtechs para la gestión de
habría llevado a documentos y el 43% para la automatización de flujos de documentos17. Según el
estudio, el uso de sistemas que incorporan IA está todavía en una fase inicial. De los
un equipo de 11 entrevistados que utilizan estas herramientas, el 27% lo hace para investigación de
empleados 18 documentos, el 16% para la diligencia debida y el 12% para la búsqueda de pruebas
y evidencias.
meses – con un Existe un amplio abanico de posibilidades para utilizar la IA en el Poder Judicial,
índice de precisión pero las experiencias implementadas han sido escasas y limitadas en cuanto a los
recursos que ofrecen. Esto se está sofisticando con el uso del machine learning,
superior al 96%. en el que el algoritmo del software, al analizar las decisiones judiciales, identifica
los hechos, las reglas y el lenguaje aplicado en ellas, reconociendo la forma en que
se construyen dichas decisiones. Sin embargo, el uso de esta información también
depende de la interpretación que hagan los humanos.
Ya hay ejemplos en Brasil, como el software Elis, del Tribunal de Justicia de Per-
nambuco, que analiza la primera etapa de los procedimientos de ejecución fiscal,
realiza un cribado, identifica a las partes, verifica si ha prescrito (es decir, la pérdida
del derecho a la acción por vencimiento del plazo) y prepara la citación del deudor.
En el primer lote, el sistema procesó casi 70.000 casos en 15 días – un trabajo que
habría llevado 18 meses a un equipo de 11 empleados – con un índice de precisión
superior al 96%18.
El Supremo Tribunal Federal también utiliza el sistema Victor, desarrollado en
colaboración con la Universidad de Brasilia (UnB). Esta herramienta analiza si una
apelación enviada a esa Corte trata de un tema ya excluido de la apreciación del
tribunal por incumplimiento del requisito de repercusión general, es decir, por no re-
presentar un beneficio colectivo, ya sea en términos jurídicos, económicos, políticos
o sociales. En la práctica, una tarea que antes ocupaba, en promedio, 44 minutos
del tiempo de un empleado, se realiza ahora en sólo cinco segundos19. Según el
tribunal, el sistema se ocupa únicamente de 23 de los 1.065 asuntos o tesis posi-
bles, pero ya hay otros temas en entrenamiento, por lo que es razonable prever un
enorme crecimiento en su uso y ganancias de productividad.
Por parte de la abogacía, predominan las actividades de Lawtech que utilizan la
IA para buscar grandes volúmenes de documentos, como la recopilación de infor-
mación procesal y de decisiones dictadas por los tribunales e incluso por los jueces.
El análisis de esta importante cantidad de datos permite a los abogados y a las
partes prever las decisiones y gestionar los riesgos. Es lo que se denomina “justicia

17
El estudio Lawtech Adoption and Training: Findings from a Survey of Solicitors in England and Wales está
disponible en: www.law.ox.ac.uk/sites/files/oxlaw/oxford_lawtech_adoption_and_training_survey_report_18_
march_2.pdf
18
Más información: https://blog.juriscorrespondente.com.br/inteligencia-artificial-no-tjpe-agiliza-processos-de-
ejecución fiscal
19
Más información: http://www.stf.jus.br/portal/cms/verNoticiaDetalhe.asp?idConteudo=380038

10
 El uso de la Inteligencia Artificial en el ámbito jurídico: mitos y realidad

predictiva”, que permite elegir el argumento más adecuado y obtener las mejores
pruebas para sustentar la demanda.
Los ejemplos mencionados, así como muchos otros en uso y en desarrollo, dan
fe de enormes ganancias de productividad, especialmente en relación con las tareas
repetitivas o que implican la consulta de inmensas bases de datos. Las actividades
meramente burocráticas o las que requieren mucho tiempo y atención por parte de
los expertos pueden delegarse eficazmente en máquinas que las realizarán de for-
ma precisa y correcta en cualquier momento del día. Aparte de estas aplicaciones,
otros posibles usos de la IA por parte del sistema judicial son:
• Realización de rutinas notariales que no necesitan ser examinadas por un
juez, como citaciones, intimaciones y embargos, lo que elimina el tiempo de
espera de un caso para ser tramitado por un funcionario;
• Localización y bloqueo de los bienes de los deudores, que se sabe que es el
punto más crítico en la ejecución de las decisiones judiciales;
• Detección del fraude procesal (reparto defectuoso, litigantes contumaces y
de mala-fé, malversación de bienes por parte de los deudores, etc.);
• Apoyo a las decisiones de los jueces a partir del uso de bases de conoci-
miento proponiendo soluciones respaldadas por los precedentes;
• Dictamen en casos previsibles que pueden resolverse mediante la simple
validación de premisas establecidas por la ley;
• Control de la aplicación de las sanciones penales y las condiciones para la
reducción de sentencias de prisión;
• En casos electorales, para el registro de candidatos y la rendición de cuen-
tas de éstos, donde el sistema es más capaz de detectar el fraude que un
analista; Las actividades
• En casos de seguridad social, para analizar la concesión y revisión de meramente
beneficios.
burocráticas o
las que requieren
Parámetros éticos para el uso de mucho tiempo
la IA en el sistema judicial y atención por
Deben realizarse importantes preguntas sobre el uso de la IA en el sistema ju-
parte de los
dicial. De nada sirve que un sistema pueda agilizar el resultado de los procesos, si expertos pueden
no garantiza la plena defensa, el principio de contradicción, la libertad de criterio
de los jueces y un sistema con tribunales inferiores y de apelación, es decir, princi-
delegarse
pios básicos del derecho procesal, controlados y aplicados por el juez responsable eficazmente en
del caso. De ahí la preocupación por garantizar que los sistemas de IA incorporen
estas premisas. máquinas que
En este sentido, la Comisión Europea para la Eficacia de la Justicia adoptó, en las realizarán de
octubre de 2018, importantes directrices al aprobar la Carta Ética sobre el uso de la
Inteligencia Artificial en los sistemas judiciales y su entorno20. El documento estipula forma precisa
que el uso de estas herramientas por parte de los sistemas judiciales debe respetar:
y correcta
en cualquier
momento del día.
20
Más información: https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c

11
 /Panorama Sectorial de Internet

• Los derechos fundamentales de los ciudadanos;

• El principio de no discriminación, impidiendo específicamente el desar-
rollo o la intensificación de cualquier discriminación hacia individuos o gru-
pos de individuos;
• El principio de calidad y seguridad, de forma que las decisiones judicia-
les utilicen fuentes certificadas y que los modelos adoptados sean conce-
bidos de forma multidisciplinar, en un entorno tecnológico seguro;
• Los principios de transparencia, imparcialidad y equidad: hacer accesi-
bles y comprensibles los métodos de tratamiento de datos, autorizando
auditorías externas.
Aunque la IA se anuncia como un avance para hacer frente a la lentitud del
sistema judicial, está claro que la celeridad no es la única premisa para una bue-
na prestación de servicios judiciales. Los sistemas de IA deben ser construidos
con cuidado, y es imprescindible la participación de equipos multidisciplinares
compuestos por profesionales capacitados, para que las herramientas puedan
incorporar al máximo los principios mencionados, además de los conocimientos
consolidados durante siglos de estudios y a través de la práctica de las cien-
cias jurídicas. Sobre todo, aunque los magistrados lleguen a depender de la
ayuda de estos sistemas, nunca deben delegar sus funciones constitucionales
en máquinas.

Entrevista II

P.S.I._ Las soluciones de Inteligencia Artificial (IA) se utilizan cada vez más para
la toma de decisiones en diferentes sectores de la sociedad. ¿Cuáles son los prin-
cipales beneficios de su uso en el sistema judicial?

I.F._ En primer lugar, hay que diferenciar la IA de la automatización. El Poder

Judicial ya utiliza muchas herramientas asociadas a la automatización, como las
citaciones e intimaciones que se producen automáticamente en los sistemas
electrónicos, el control de los plazos, etc. Hasta hace poco, estas tareas eran rea-
lizadas por humanos y ahora son realizadas por programas, en situaciones pre-
determinadas, sin ninguna actividad “inteligente” por parte de estas herramien-
tas. Aun así, esta transferencia de tareas a las máquinas libera a los funcionarios
para que se centren en las áreas en las que el trabajo humano es esencial.
Las herramientas de IA han empezado a ser consideradas como una de las for-
mas de hacer frente al gran número de juicios existentes en Brasil. El uso de
software de IA, adoptado con las precauciones necesarias, podría generar un
salto de eficiencia sin precedentes en el sistema judicial, además de beneficios
como una mayor coherencia en las decisiones, aumentando así la seguridad
jurídica.

12
 Entrevista II

P.S.I._ ¿Cómo ha utilizado el sistema judicial brasileño los algoritmos para tomar
decisiones? ¿Existe alguna coordinación a nivel nacional, o estas iniciativas varían
según el tribunal o el estado/provincia?

I.F._ Existen iniciativas tanto nacionales como locales para implementar solucio-
nes de IA en el sistema judicial. La coordinación nacional es llevada a cabo por el
Consejo Nacional de Justicia (CNJ), que publicó en 2019 un manual sobre el tema,
titulado Inteligência Artificial no Poder Judiciário brasileiro. En él, el CNJ expuso las
principales herramientas en uso y en desarrollo, en particular las siguientes:
• Triagem de Casos de Grande Massa, para clasificar peticiones iniciales se-
gún áreas preestablecidas (energía, bancos, aerolíneas, etc.), facilitando así
el trabajo de los despachos de los jueces. El sistema fue desarrollado por el
Tribunal de Justicia de Rondônia (TJRO) y está en fase de aprobación. Dra. Isabela
• Movimento Processual Inteligente, para sugerir, de acuerdo con la Tabla Ferrari
Procesal Unificada del CNJ, qué movimiento deben adoptar los jueces en sus
sentencias (gratuidad de la justicia, decreto o concesión de amparo). Para Jueza federal,
ello, el sistema utiliza como base de datos las decisiones existentes en el
Proceso Judicial Electrónico (PJe). El modelo, que también fue desarrollado coordinadora
por el TJRO, está listo para ser utilizado en el PJe. académica del
• El Gerador de Texto Magistrado, que utiliza un modelo probabilístico para
producir sugerencias automatizadas de textos a partir de material similar en
Instituto New
la base de datos del Tribunal. Creado por el TJRO, ya ha sido aprobado para Law, magíster y
su producción.
• Elis, una solución asistida por IA diseñada para automatizar las activida-
doctoranda por la
des de los procesos de ejecución fiscal, como la fase de selección inicial. El Universidade do
software reduce las actividades manuales y repetitivas, agilizando así los
juicios y reduciendo los costos y las tasas de congestión. Desarrollado por el Estado do Rio de
Tribunal de Justicia de Pernambuco (TJPE), algunas de sus funcionalidades Janeiro (UERJ),
ya han sido implementadas.
• Corpus927, desarrollado por la Escuela Nacional de Formación y Perfec-
visiting researcher
cionamiento de Magistrados (Enfam) para consolidar en un solo lugar la ju- en la Harvard
risprudencia del Tribunal Supremo Federal (TSF) y del Tribunal Superior de
Justicia (TSJ), además de las decisiones vinculantes, declaraciones y orien- Law School.
taciones en relación con el artículo 927 del Código de Procedimiento Civil de
Brasil. El proyecto ya ha sido implementado.
• Victor, software multifuncional utilizado por el TSF para analizar las reper-
cusiones generales de los recursos extraordinarios presentados ante el Tri-
bunal. Para ello, el sistema “lee” todos los recursos y organiza y destaca
los principales documentos de las demandas, reduciendo así el tiempo de
análisis a una cuestión de segundos.

P.S.I._ ¿Cuáles son los principales riesgos asociados al uso de algoritmos para tomar
decisiones en el ámbito judicial? ¿Qué mecanismos podrían mitigarlos?

I.F._ El uso de algoritmos tiene riesgos que no son evidentes, especialmente deriva-
dos de los siguientes factores: el uso de bases de datos incompletas; la posibilidad
de promover la discriminación, incluso involuntaria, que se produce cuando las ba-
ses de datos utilizadas para entrenarlos reflejan sesgos presentes en la sociedad;
y, principalmente, la opacidad en su forma de funcionamiento, derivada de ciertas

13
 /Panorama Sectorial de Internet

técnicas de machine learning que dificultan la rápida identificación y corrección de

"Los algoritmos los problemas. En relación con el primer factor, cabe señalar que “un algoritmo es
tan bueno como los datos que lo alimentan”. Por lo tanto, una gestión inadecuada
diseñados de los datos puede dar lugar a decisiones o sugerencias imperfectas. Los algorit-
mos diseñados para clasificar acciones, entrenados con una base de datos que no
para clasificar es lo suficientemente rica, puede dar resultados inadecuados, lo que lleva a una
acciones, pérdida de tiempo y de eficiencia en el proceso.
Las consecuencias asociadas al segundo tipo de riesgo son más graves. Cabe re-
entrenados cordar, por su gravedad y simbolismo, el caso de Eric Loomis. Fue sorprendido en el
con una base acto de robar un vehículo, y se dictó una orden de prisión preventiva basada en los
resultados del software de análisis de riesgo de reincidencia. Cuando solicitó acce-
de datos so a las razones por las que se le consideró peligroso, su petición fue denegada en
primera instancia y por el Tribunal Supremo de Wisconsin (EE. UU.), que afirmaron
que no es lo que se trataba de un software patentado y, por lo tanto, no había obligación de re-
suficientemente velar el código. El equipo de defensa de Loomis recurrió al Tribunal Supremo de EE.
UU., que se negó a revisar la decisión, argumentando que, al tratarse de una tecno-
rica, puede logía novedosa, era prematuro pronunciarse sobre la cuestión. La situación es aún
dar resultados más preocupante por el hecho de que el software era una herramienta privada al-
quilada por el Estado para ayudar en el análisis de riesgo de los presos. Basándose
inadecuados, en una auditoría de sus resultados, la red de periodismo de investigación ProPublica
lo que lleva a concluyó que el software tenía un sesgo racial.
El ejemplo comentado anteriormente está directamente asociado al tercer riesgo de
una pérdida de utilizar algoritmos apoyados en técnicas de IA para tomar decisiones: la opacidad
característica de estos procesos de toma de decisiones. En estas hipótesis, las com-
tiempo y de putadoras “escriben” la propia programación basándose en una serie de correlacio-
eficiencia en el nes. Factores como la falta de articulación de las reglas de decisión, las enormes
cantidades de datos utilizados en su entrenamiento y el hecho de que los códigos
proceso." fuente sólo contienen las reglas de aprendizaje de los algoritmos, y no su forma de
funcionamiento, explican la dificultad de entender cómo funcionan realmente estos
algoritmos. Esto puede dar lugar a que cualquiera de los otros riesgos permanezca
oculto y retrase su descubrimiento, convirtiendo la opacidad en un meta riesgo.

P.S.I._ Gran parte del software utilizado para la toma de decisiones por el Poder
Judicial es desarrollada por empresas privadas. ¿Cuáles son las posibles implica-
ciones de este hecho en relación con los gobiernos y los particulares? ¿Cómo se
puede evitar?

I.F._ Existen dificultades, todas ellas sorteables mediante la adopción de buenas

prácticas. Las consignas deben ser: comprensibilidad y seguridad. La primera se
refiere a la necesidad de que las autoridades públicas comprendan los aspectos
fundamentales del funcionamiento de estos algoritmos. Esto incluye conocer, por
ejemplo, los datos utilizados para entrenarlos, las técnicas de IA empleadas – que

14
 Entrevista II

pueden ser más o menos opacas – y las estrategias adoptadas por los desarrolla-
dores para impartir controlabilidad al funcionamiento del software. Una vez que las
autoridades públicas empiecen a establecer requisitos en este sentido, el mercado
empezará a funcionar naturalmente sobre la base de estas premisas. Y puesto que,
para ello, el acceso a los códigos fuente no es necesario, no habrá problemas de
propiedad intelectual.
En cuanto a la seguridad, los responsables de los contratos o acuerdos deben preo-
cuparse por evitar otros usos de los datos públicos a los que acceden las empresas,
aunque sea de forma indirecta. Este tipo de preocupación – esencial en una econo-
mía donde los datos son el “nuevo petróleo” – es actualmente casi inexistente. Tam-
bién es necesario que estos acuerdos sean fácilmente accesibles para el público.

P.S.I._ ¿Existe un consenso sobre qué tipo de decisiones pueden delegarse en solu-
ciones de Inteligencia Artificial? ¿Las apelaciones contra las decisiones tomadas con
base en algoritmos estarán sujetas a revisión por parte del Poder Judicial?

I.F._ Considero productivo el uso de la tecnología en el sistema judicial, incluidas las

herramientas de IA. Existe una clara tendencia hacia la adopción de tribunales en
línea en países con sistemas jurídicos diferentes, impulsada por distintas escuelas
de pensamiento ideológico. Parece haber consenso en que el uso de la tecnología
puede ayudarnos a atender la demanda de prestación judicial de una manera más
eficiente, más accesible y menos litigiosa que los canales tradicionales.
Estas iniciativas generalmente comienzan con una etapa que automatiza las activi-
dades, después de lo cual la IA se inserta para ayudar a los agentes humanos – por
ejemplo, en la clasificación de las demandas, la indicación de la jurisprudencia, e
incluso en la redacción de decisiones de acuerdo con las bases de datos utilizadas "Más que nunca,
en el entrenamiento de los algoritmos. Las aplicaciones en el ámbito del derecho es importante
penal son más controvertidas, pero los defensores de estas medidas suelen hacer
hincapié en la responsabilidad subyacente de los jueces de examinar las decisiones que la sociedad
(lo que no ocurrió en el caso Loomis). civil esté atenta
De cara al futuro, líderes de los sistemas judiciales de todo el mundo ya están deba-
tiendo qué tipo de decisiones pueden delegarse definitivamente en los algoritmos, y exija una voz
sin intervención humana ni, a menudo, la posibilidad de apelación. La respuesta
de la mayoría indica que la adopción de este enfoque sería adecuada para tratar
en los debates
cuestiones pecuniarias de escaso valor, en las que el mantenimiento del acceso relacionados
al sistema judicial no estaría justificado en términos económicos, y en las que no
habría grandes riesgos en cuanto a los valores apreciados por la sociedad, como la con estas
vida y la libertad. Es posible imaginar, sin embargo, que esto sería sólo el primero de transformaciones
una serie de pasos futuros, en un camino de cambio acelerado aún más por la nue-
va pandemia del coronavirus. Más que nunca, es importante que la sociedad civil antes de que sea
esté atenta y exija una voz en los debates relacionados con estas transformaciones
antes de que sea demasiado tarde.
demasiado tarde."

15
 /Panorama Sectorial de Internet

Informe de Dominios
Dinámica del registro de domi-
nios en Brasil y en el mundo
El Centro Regional de Estudios para el Desarrollo de la Sociedad de la Informa-
ción (Cetic.br) realiza un seguimiento mensual del número de nombres de dominio
registrados en los 15 mayores dominios de alto nivel con código de país (del inglés,
country code Top-Level Domain – ccTLD) del mundo. En conjunto, superan los 100
millones de registros.
En mayo de 2020, los dominios registrados en .tk (Tokelau) alcanzaron los
31,31 millones, seguidos por China (.cn), Alemania (.de) y el Reino Unido (.uk), con
17 millones, 16,43 millones y 9,46 millones de registros, respectivamente21. Brasil
tuvo 4,18 millones de registros bajo el .br, ocupando el décimo lugar de la lista. Con
2,88 millones de registros, Canadá (.ca) ocupó el 15º lugar, como puede verse en
la Tabla 1.

Tabla 1 – REGISTRO DE NOMBRES DE DOMINIOS EN EL MUNDO – MAYO DE 2020

Posición ccTLD Dominios Fuente

1 Tokelau (.tk) 31.316.500 research.domaintools.com/statistics/tld-counts
2 China (.cn) 17.002.449 research.domaintools.com/statistics/tld-counts
3 Alemania (.de) 16.438.239 www.denic.de
4 Reino Unido (.uk) 9.468.306 www.nominet.uk/news/reports-statistics/uk-register-statistics-2020
5 Países Bajos (.nl) 5.960.565 www.sidn.nl
6 Gabón (.ga) 5.396.252 research.domaintools.com/statistics/tld-counts
7 África Central (.cf ) 5.195.239 research.domaintools.com/statistics/tld-counts
8 Rusia (.ru) 4.971.445 www.cctld.ru
9 Mali (.ml) 4.586.703 research.domaintools.com/statistics/tld-counts
10 Brasil (.br) 4.189.546 registro.br/estatisticas.html
11 Unión Europea (.eu) 3.556.502 research.domaintools.com/statistics/tld-counts
12 Francia (.fr) 3.506.685 www.afnic.fr/en/resources/statistics/detailed-data-on-domain-names
13 Italia (.it) 3.296.543 www.nic.it
14 Australia (.au) 3.170.464 www.auda.org.au
15 Canadá (.ca) 2.886.768 www.cira.ca

21
La Tabla 1 muestra el recuento de dominios ccTLD según las fuentes indicadas. Las cifras mostradas
corresponden al registro publicado por cada país. Para los países que no tienen o no publican estadísticas oficiales
actualizadas proporcionadas por la autoridad de registro de nombres de dominio, el total se obtuvo de
“https://research.domaintools.com/statistics/tld-counts/”. Es importante señalar que existe una variación entre el
periodo de referencia, aunque siempre es el más actualizado para cada país. Además, el análisis comparativo del
rendimiento de los nombres de dominio debe tener en cuenta los diferentes modelos de gestión de los registros de
ccTLD. Así, el análisis del ranking de registros totales bajo los ccTLDs debe considerar la diversidad de modelos de
negocio existentes.

16
 Informe de Dominios

El Gráfico 1 muestra el rendimiento del .br desde el año 2012.

Gráfico 1 – TOTAL DE REGISTROS DE DOMINIOS POR AÑO PARA .br – 2012 a 2020*

4.200.000

4.000.000
Número de dominios

3.800.000

3.600.000

3.400.000

3.200.000

3.000.000
2012 2013 2014 2015 2016 2017 2018 2019 2020

*Datos referidos a mayo de 2020.

Fuente: Registro.br

En mayo de 2020, los cinco dominios genéricos de alto nivel (del inglés, generic
Top-Level Domain – gTLD) sumaban más de 181 millones de registros. Con 147,75
millones de registros, el .com se destacó, como se muestra en la Tabla 2.

Tabla 2 – PRINCIPALES GTLDS – MAYO/2020

Posición gTLD Dominios

1 .com 147.753.231

2 .net 13.254.709

3 .org 10.146.646

4 .icu 6.215.213

5 .info 4.496.035

Fuente: DomainTools.com
Extraído de: research.domaintools.com/statistics/tld-counts/

17
 /Respuestas a sus preguntas

Análisis de Big Data

realizado por el Poder Judicial
22

Las soluciones de Entre los órganos del Poder Judicial

Inteligencia Artificial que contaban con áreas o departamentos
dedicados a las tecnologías de la información23,
basan su aprendizaje en el 26% realizó análisis de Big Data.
el análisis de grandes Los órganos del Poder Judicial que realizaron
bases de datos. análisis de Big Data utilizaron las siguientes
fuentes de datos24:

2k
53

5%
Medios de
14%
Dispositivos inteligentes
comunicación social, o sensores como el
como redes sociales, intercambio de datos
blogs y sitios web para entre máquinas, sensores
compartir contenidos digitales y etiquetas
multimedia de identificación por
radiofrecuencia,
entre otros

32%
Geolocalización
82%
Otras fuentes
resultante del uso de de Big Data
dispositivos portátiles, (no especificadas)
como teléfonos móviles,
conexiones inalámbricas o GPS
22
Basado en datos de la encuesta TIC Gobierno Electrónico 2019, realizada por Cetic.br|NIC.br. El período de referencia para los indicadores presentados es de 12
meses antes de la encuesta. Ver más en: https://cetic.br/es/pesquisa/governo-eletronico/indicadores/
23
De acuerdo con la encuesta TIC Gobierno Electrónico 2019, 98% de los órganos públicos federales y estatales del Poder Judicial reportaron contar con un área o
departamento de tecnologías de la información.
24
Cabe señalar que los órganos públicos pueden utilizar más de una fuente de datos para realizar análisis de Big Data.

18
/Créditos

TEXTO
ARTÍCULO I
Diogo Cortiz
(Ceweb.br|NIC.br)

ARTÍCULO II
Luiz Fernando Martins Castro
(Martins Castro Monteiro DISEÑO GRÁFICO E INFOGRAFÍA
Advogados y CGI.br) Giuliano Galves, Klezer Uehara
y Maricy Rabelo
(Comunicação|NIC.br)
INFORME DE DOMINIOS
José Márcio Martins Júnior
(Cetic.br|NIC.br) COORDINACIÓN EDITORIAL
Alexandre Barbosa,
TRADUCCIÓN AL ESPAÑOL Tatiana Jereissati y
Programa de Políticas de Stefania L. Cantoni
Ciencia, Tecnología e Innovación (Cetic.br|NIC.br)
Oficina Regional de Ciencias de la
UNESCO para América Latina y el Caribe AGRADECIMIENTOS
(Oficina de Montevideo, Uruguay) Diogo Cortiz
(Ceweb.br|NIC.br)
REVISIÓN DEL ESPAÑOL Nnenna Nwakanma
Stefania L. Cantoni y (World Wide Web Foundation)
Javiera F. M. Macaya Luiz Fernando Martins Castro
(Cetic.br|NIC.br) (Martins Castro Monteiro
Advogados y CGI.br)
MAQUETACIÓN EN ESPAÑOL Isabela Ferrari
Grappa Marketing Editorial (Tribunal Regional Federal – TRF2)

CREATIVE COMMONS
Atribución
NoComercial
SinDerivadas
(by-nc-nd)

19
POR UNA
INTERNET CADA
VEZ MEJOR
EN BRASIL
CGI.BR MODELO DE GOBERNANZA MULTISECTORIAL
www.cgi.br

FOTOS: RICARDO MATSUKAWA E SHUTTERSTOCK