See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/342865868

Inteligencia Artificial y Contratación Pública

Chapter · February 2020

CITATIONS READS

3 2,298

1 author:

Javier Miranzo Díaz

University of Castilla-La Mancha
32 PUBLICATIONS   25 CITATIONS   

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Environmental Law View project

Public Procurement View project

All content following this page was uploaded by Javier Miranzo Díaz on 11 July 2020.

The user has requested enhancement of the downloaded file.

 Inteligencia Artificial Y Contratación Pública1

Javier Miranzo Díaz

Doctor en Derecho
Universidad de Castilla-La Mancha

SUMARIO.- 1.INTRODUCCIÓN.- 2. LA INTEGRIDAD Y LA BUENA

ADMINISTRACIÓN COMO ÁMBITO APROPIADO PARA LA IA.- 3.
MODELOS DE APLICACIÓN E IMPLICACIONES JURÍDICAS.-
3.1.Aprendizaje automático vs criterios predefinidos.- 3.2.La relevancia del
algoritmo en la decisión final: de la fase de actuaciones previas al acto
administrativo.- 3.3.Fuentes de datos, permisos de acceso y gestión de la
información.- 4.LA CONTRATACIÓN PÚBLICA COMO HERRAMIENTA
DE APROVISIONAMIENTO DE IA.- 5.CONCLUSIONES

1.- INTRODUCCIÓN2

La inteligencia artificial (en adelante IA) remonta sus orígenes a las técnicas
computacionales desarrolladas por Alan Turing y otros grupos de investigadores en la
década de los cincuenta3. Sin embargo, su desarrollo ha sido irregular hasta años
recientes en los que esta tecnología ha ejercitado una atronadora entrada en la vida
diaria de los ciudadanos, en el funcionamiento empresarial y en la Administración

1
El autor de estas páginas desea agradecer a la profesora Dolors Canals i Ametller los valiosos
comentarios realizados a la versión provisional de este trabajo en el marco del Congreso INNOVAP,
celebrado en Toledo los días 14 y 15 de noviembre de 2019.
2
A lo largo del trabajo se utilizarán las siguientes siglas: Inteligencia Artificial (IA), Unión Europea
(UE), Tribunal de Justicia de la Unión Europea (TJUE), Tribunal Supremo (TS), Reglamento General de
Protección de Datos (RGPD), Fondo Europeo de Desarrollo Regional (FEDER), Dirección General de
Tráfico (DGT), Ley de Transparencia y Buen Gobierno (LTBG), Ley de Contratos del Sector Público
(LCSP), Transparencia Internacional (TI), International Organization for Standardization (ISO),
Objetivos para el Desarrollo Sostenible (ODS), Parallel Distributed Processing (PDP), Artificial Neural
Networks (ANNs)
3
BODEN, M.A. Artificial Intelligence: Avery short introduction. Oxford University Press, 2018, p. 1
[1]
Pública4. El derecho, que anteriormente había permanecido ajeno al fenómeno, se ha
visto obligado a voltear la mirada hacia una realidad que, por sus particulareidades,
ofrece tantas oportunidades como riesgos.

Esta tecnología está cambiando la forma en que opera nuestra sociedad, en la forma de
tomar decisiones judiciales, de realizar diagnósticos médicos o conducir automóviles,
etc. Y las instituciones públicas y políticas, así como la doctrina legal están comenzando
a ser conscientes de ello. Tanto es así que en fechas recientes se han publicado, tanto a
nivel europeo como nacional, diferentes documentos que tratan de elaborar una
estrategia de implantación y regulación de la IA en la Administración Pública, con el
objetivo de crear un entorno que estimule la inversión en I+D+i en esta materia. Así, la
Comunicación de la Comisión Europea sobre Inteligencia Artificial para Europa (2018)
hace hincapié en la necesidad de adaptar el sector público a esta nueva tecnología y
realidad en la gestión diaria del interés público, al tiempo que impone a las autoridades
públicas la obligación de velar por que los marcos normativos para el desarrollo y el uso
de las tecnologías de la IA estén en consonancia con los valores y los derechos
fundamentales5. Y del mismo modo, la Estrategia Española de I+D+I en Inteligencia
Artificial (2019) recoge expresamente entre sus prioridades la aplicación de este tipo de
tecnologías al sector administrativo:

“España, a través de su sistema de I+D+I, está preparada para contribuir en la

aplicación de la IA en áreas estratégicas alineadas con los ODS como son: la salud; la
administración pública; la educación; las ciudades y territorios inteligentes y
sostenibles; los recursos naturales, la energía y el medio ambiente; la industria
conectada 4.0; el turismo e industrias creativas y culturales y basadas en la
experiencia; y la seguridad”

4
Para mayores detalles sobre la evolución de la IA, véase McMAHON, C. C. Machines Who Think: A
Personal Inquiry into the History and Prospects of Artificial Intelligence. Nueva York: A K Peters/CRC
Press, 2004.
5
Artificial Intelligence for Europe, abril de 2018, COM(2018) 237 final; véase a su vez, el documento
más reciente EU guidelines on ethics in artificial intelligence: Context and implementation, de septiembre
de 2019. Sobre el papel de la ética en el desarrollo de la política de IA, véase COTINO HUESO, L. “Ética
en el diseño para el desarrollo de una inteligencia artificial robótica y big data confiables y su utilidad
desde el Derecho”. Revista Catalana de Dret Public, n 58, 2019, pp. 30-48.
[2]
La contratación pública, por su parte, no ha sido ajena a este proceso divulgativo que ha
tenido la Inteligencia Artificial, y los estudios y opiniones sobre su aplicabilidad en este
sector son cada vez más comunes. Y sin embargo, las aplicaciones de este tipo de
tecnologías en la práctica administrativa de la compra pública son, por el momento,
escasas, y en todo caso, dispersas y veladas6, lejos aún de lo que podría entenderse
como una verdadera estrategia de implantación y uso de la IA. En todo caso, la parcela
en la que quizá más incidencia haya tenido la IA hasta la fecha en materia de contratos
públicos sea el control del procedimiento y la detección de irregularidades relacionadas
con la corrupción, cuyas características particulares convierten en un fenómeno propicio
para erigirse como la génesis de la implantación de la IA en los procedimientos de
contratación pública, que puede actuar como marco ejemplificador de cara futuras
aplicaciones7.

2.- LA INTEGRIDAD Y LA BUENA ADMINISTRACIÓN COMO ÁMBITO

APROPIADO PARA LA IA

El fenómeno de la corrupción es tan antiguo como la propia humanidad, y sus raíces,

causas, consecuencias y patrones son tan complejos que a lo largo de la Historia han
permanecido, en uno u otro grado, inalcanzables para el Derecho8. La corrupción
permea de un sector a otro y presenta lazos complejos con diferentes tipos de
irregularidades y actividades delictivas que por sí mismas no pueden ser consideradas
constitutivas de corrupción. Estas características hacen que la corrupción no pueda ser
abordada ya (o al menos no exclusivamente) desde una aproximación negativa al
problema, a través de sanciones y una regulación que trate de impedir la corrupción.
Como algunos importantes juristas ya se han encargado de advertir, no se puede luchar
contra la corrupción simplemente luchando contra la corrupción9. Al contrario, el

6
Este es, como señala COTINO HUESO, uno de los problemas que nos encontramos en el estudio de la
IA en la Administración pública, la opacidad y dispersión en su utilización, que evidencia una falta clara
de estrategia y transparencia. “Ética en el diseño…” op. cit.
7
COTINO HUESO, L. “Ética en el diseño…” op. cit.
8
Para un estudio más detallado de las complejidades del fenómeno, véase: MIRANZO DÍAZ, J. “Causas
y efectos de la corrupción en las sociedades democráticas” Revista de la Escuela Jacobea de Posgrado,
n.º 14, 2018, pp. 1-26. https://www.jacobea.edu.mx/revista/numero14.php
9
KAUFMANN, D. “Back to the Basics – 10 Myths About Governance and Corruption” IMF Journal
‘Finance and Develop-ment’, vol. 3, n.º 42, 2005; véase a su vez TREPTE, P. “Transparency and
Accountability as Tools for Promoting Integrity and Preventing Corruption in Procurement: Possibilities
and Limitations.” Document prepared for the OECD Public Governance and Territorial Development
Directorate, Public Governance Committee, Expert Group Meeting on Integrity in Public Procurement.
[3]
fenómeno debe enfrentarse basándose en conceptos que permitan una acción positiva,
como el de integridad o buena administración, los cuales han de desempeñar un papel
central en la prevención y control de la actividad contratante del sector público,
contribuyendo a la creación de un entorno éticamente saludable que dificulte la
aparición de prácticas corruptas10.

A menudo las actuaciones corruptas se ocultan detrás de contratos innecesarios11,

procedimientos inadecuados12, la creación de necesidades ficticias o elementos sujetos a
discrecionalidad como los terrenos en los que se desarrolla una obra o las características
del bien o del servicio demandado –especificaciones técnicas o solvencia técnica13– que
pueden limitar en exceso la concurrencia y esconder contratos dirigidos ad hoc a
determinadas empresas o grupos de empresas14. En gran parte de las irregularidades que
dan lugar a casos de corrupción, el elemento determinante para apreciar su falta de
integridad se encuentra en el adjetivo que acompaña a la práctica, y no en la práctica en
sí. De esta forma, determinadas prácticas que violentan el principio de integridad y
buena administración cuando son constantes, excesivas, injustificadas, repetitivas, etc.,
pueden ser perfectamente justificadas si son proporcionales, necesarias, motivadas, etc.

OECD Document No: Unclassifed - GOV/PGC/ETH, 2005; en el mismo sentido, véanse, a modo de
ejemplo, los trabajos de GIMENO FELIÚ, J.M. “El necesario big-bang contra la corrupción en materia de
contratación pública y su modelo de control”. Revista Internacional Transparencia e Integridad, n.º 2,
2016, p. 6; PONCE SOLÉ, J. La prevención de riesgos de mala administración y corrupción, la
inteligencia artificial y el Derecho a una buena administración”. Revista Internacional Transparencia e
Integridad, n 6, 2018, p. 7.
10
GIMENO FELIÚ, J.M “Corrupción y seguridad jurídica. La necesidad de un marco normativo de las
decisiones públicas anclado en los principios de Integridad y de Transparencia.” Revista Internacional De
Transparencia E Integridad, nº 9, 2019; en el mismo sentido, véase el trabajo MIRANZO DÍAZ, J. “El
necesario cambio de paradigma en la aproximación a la corrupción en la contratación pública europea:
propuestas para su sistematización”, Revista General de Derecho Administrativo, 51, 2019.
11
FAZEKAS, M., JANOS TOTH, I. y KING L.P. “Corruption manual for beginners: “Corruption
techniques” in public procurement with examples from Hungary”. Corruption Research Center Budapest
Working Paper series: CRCB-WP/2013:01, 2013, p. 16.
12
GONZÁLEZ SANFIEL, A.M. “Integridad en la contratación pública: patologías al uso”. En: GIMENO
FELIÚ, J.M. et al. Observatorio de los contratos públicos. Las nuevas directivas de contratación pública.
Cizur Menor: Aranzadi, 2015, pp. 253-263.
13
MATECHAK, J.P. “Fighting corruption in public procurement”. Center for International Private
Enterprise, 2005. p. 2; MEDINA ARNÁIZ, T. “La necesidad de reformar la legislación sobre
contratación pública para luchar contra la corrupción: las obligaciones que nos llegan desde Europa”.
Revista Vasca de Administración Pública, 104, 2016, pp. 77-112; FAZEKAS, M., JANOS TOTH, I. y
KING L.P. “Corruption manual for…” op. cit. en p. 14; GALLEGO CÓRCOLES, I. “La prevención de la
corrupción en la contratación pública”. En: NIETO MARTÍN, A. y MAROTO CALATAYUD, M. Public
Compliance: Prevención de la corrupción en administraciones públicas y partidos políticos. Ediciones de
la Universidad Castilla-La Mancha, 2014, pp. 61-92.
14
JAREÑO LEAL, A. “La justificación del contrato público y el control del expediente de contratación
como formas de prevenir los delitos de corrupción”. Revista Internacional Transparencia e Integridad,
n.º 9, 2019, p. 3.
[4]
En muchas ocasiones el elemento concluyente en la corrupción tiene carácter adjetival y
no nominal, y su categorización como tal dependerá de una ponderación valorativa que
necesita conocer y combinar una multiplicidad de elementos, relaciones, y tendencias.

Así, un procedimiento de contratación idealmente íntegro debería, al menos cumplir con

las siguientes condiciones:

a) En la fase de preparación y diseño del contrato: (1) que en el diseño del contrato
no se creen necesidades innecesarias o manipuladas; no se seleccione el
procedimiento con el único objetivo de esquivar las normas de publicidad o
concurrencia; (2) que no se modifique artificialmente el valor estimado del
contrato para evitar determinadas obligaciones de control o publicidad15; (3) que
se de un correcto uso de las consultas preliminares de mercado, de la
participación de expertos externos en la elaboración del contrato y de la
información proporcionada a los licitadores, de manera que evite la aparición de
conflictos de intereses y ventajas indebidas16; (4) evitar y controlar la inclusión
de criterios de solvencia técnica y especificaciones técnicas poco claros o
excesivos que sean discriminatorios y generen distorsiones en el mercado o que
estén diseñados ad hoc para uno o varios operadores económicos17; (5) la
división en lotes debe realizarse teniendo en cuenta las condiciones del mercado
concreto para evitar una segmentación artificial del mismo o una reducción
artificial de la competencia que pudiera facilitar prácticas colusorias o
corruptas18; (6) evitar, en definitiva, cualquier característica del contrato que
limitase voluntariamente la competencia o el grado de transparencia de proceso.

b) En la fase de adjudicación del contrato: (1) que la publicidad sea suficiente y los
plazos de presentación de las ofertas no se acorten indebidamente19; (2) que no

15
FAZEKAS, M., JANOS TOTH, I. y KING L.P. “Corruption manual for…” op. cit. en p. 16.
16
En DE GUERRERO MANSO, M.C. “Las consultas preliminares al mercado: una herramienta para
mejorar la eficiencia en la contratación pública”. En: GIMENO FELIÚ, J.M. (dir.) Estudio Sistemático de
la Ley de Contratos del Sector Público. Cizur Menor: Aranzadi, 2018, pp. 1.047-1.072 en pp. 1.065 y ss.
17
Sobre los riesgos que este tipo de prácticas a través de criterios de las especificaciones técnicas pueden
esconder, véase: TJUE asunto C-288/08, Nordiska Dental, de 19 de noviembre de 2009; TJUE asunto C-
613/14, James Elliot Construction, de 26 de octubre de 2016.
18
TRYBUS, M. “Favouring Small and Medium Sized Enterprises with Directive 2014/24/EU?”. EPPPL,
n 3, 2017. p. 224-238.
19
FAZEKAS, M., JANOS TOTH, I. y KING L.P. “Corruption manual for…” op. cit. en pp. 38 y ss.
[5]
 existan porcentajes desproporcionados de los criterios de adjudicación que
pudieran esconder criterios dirigidos; (3) en el mismo sentido, una correcta
elaboración y publicación de los métodos de evaluación de los criterios,
evitando especialmente metodologías de evaluación relativas que pudieran
desvirtuar el porcentaje inicial publicado20; (4) que los métodos de valoración
sean sencillos y comprensibles por cualquier potencial licitador; (5) que se
eviten licitaciones basadas en un único criterio de adjudicación, pues ofrece
mayores facilidades de manipulación a través de criterios diseñados ad hoc
(especialmente cuando dicho criterio único es el precio)21.

c) En la fase de ejecución del contrato: (1) que se asegure que no existen

ineficiencias provocadas por una mala calidad de los materiales utilizados, una
deficiente prestación del servicio, o un retraso temporal en la entrega o
incumplimiento de plazos de ejecución; (2) que las eventuales modificaciones
del contrato cumplan con las prerrogativas legales y respondan a situaciones de
idoneidad y/o necesidad. (3) controlar adecuadamente la subcontratación, ya que
puede dar lugar a conflictos de interés o actos colusorios que no seencontraban
presentes durante el proceso de contratación, que se escondieron o se pasaron
por alto durante la fase de adjudicación.

En esta lista no exhaustiva de aspectos indeterminados que deben cumplirse para que se
respete el principio de integridad en la contratación pública se pone de manifiesto cómo
el número y tipología de las actividades que pueden dañar la integridad en un proceso
de licitación pública son prácticamente inabarcables, y en todo caso, su integridad
depende de aspectos que exceden lo meramente legal para entrar en conceptos más

20
Las entidades adjudicadoras están obligadas a publicar y mantener estables los porcentajes asignados a
cada criterio, pero ésta obligación no se extiende a las metodologías de evaluación (véase el considerando
90 y el artículo 67 de la Directiva 2014/24/UE), y sin embargo, como han puesto de manifiesto TELGEN
y MANUNZA, la metodología puede realmente dejar sin relevancia el porcentaje atribuido a cada uno de
los criterios. TELGEN, J. y MANUNZA, E.R. “Non-intentional price preferences” Working paper
presented at 12th June 2017 Global Revolution VII, University of Nottingham, 2017.; TELGEN, J. y
TIMMER, J. “Conditions for Rank Reversal in Supplier Selection” University of Twente working paper,
2016. Disponible en: https://www.researchgate.net/publication/307575475; TELGEN, J. y
SCHOTANUS, F. “The effects of full transparency in supplier selection on subjectivity and bid quality”
University of Twente working paper, 2010. Disponible en:
https://www.researchgate.net/publication/254860242
21
FAZEKAS, M., JANOS TOTH, I. y KING L.P. “Corruption manual for…” op. cit. en pp. 38 y ss.;
SADDY, A. “Front-line public…” op. cit.en p. 345.
[6]
subjetivos como la corrección en las actuaciones y en la toma de decisiones22. Podemos
categorizar una serie de irregularidades, riesgos de corrupción e indicadores que han
sido identificados en los diferentes estudios23, pero la naturaleza escurridiza y subjetiva
de las actividades corruptas implica, en la práctica, que las situaciones que pueden dar
lugar a casos de corrupción no pueden regularse de manera exhaustiva – especialmente
sin provocar una asfixia del sistema de contratación pública o eliminar el poder de
discrecionalidad de los órganos contratantes24.

En definitiva, durante todo este proceso de estudio en la materia por parte de las más
importantes organizaciones y expertos en la lucha contra la corrupción, se han
elaborado un gran número de indicadores, que sin embargo varían en su grado de
utilidad e impacto. Así, KENNY y MUSATOVA clasificaron en 2010, en un trabajo
para el Banco Mundial, los indicadores existentes hasta la fecha en cuatro tipos:25

- Indicadores inobservables: se trata de aquellas red flags que son difíciles o

imposibles de apreciar incluso realizando una supervisión “sobre el terreno” del
contrato. Es el caso de las presiones a los miembros de la mesa de contratación,
falsificación de currículums en prestación de servicios, etc.
- Indicadores irrecopilables: son aquellos que, si bien pueden observarse en un
proceso de supervisión o fiscalización estándar, no dejan un rastro palpable en
los documentos de contratación, y son difíciles de identificar en un examen “de
oficina”. En este tipo se podrían encuadrar, entre otros, la elaboración de

22
GIBERT ha puesto de manifiesto, con gran acierto, la levedad y la intangibilidad de las actuaciones
irregulares que él llama “pecados” de la Administración, y que sin embargo, generan dinámicas
clientelares basadas en la burocracia, la confianza y el falso mecenazgo, y que constituyen, en efecto, el
caballo de Troya de la gestión pública actual. GIBERT I BOSCH, A. “Administración Local y
competencia. Una visión económica (con "pecados" clasificados)”. En: CANEDO ARRILLAGA, M.P. y
GORDILLO, PÉREZ, L.I. La autonomía local en tiempos de crisis: (reformas, fiscalidad y contratación
pública). Cizur Menor: Aranzadi, 2015, pp. 307-322; en el mismo sentido, PIGA ha hecho hincapié sobre
la estrecha relación y, en ocasiones, las dificultades para diferenciar, entre corrupción e incompetencia, y
las múltiples facetas que puede adquirir su materialización. PIGA, G. “A fighting chance against
corruption in public procurement?”. En: ROSE-ACKERMAN, S. y SOREIDE, T. International
Handbook on the Economics of Corruption, Volume Two. Massachusetts: Edward Elgar, 2011, pp. 141-
181, concretamente en pp. 149-165.
23
Por todos, vése FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public Procurement:
Finding the Right Indicators”. Eur J Crim Policy Res, 2016.
24
TREPTE, P. “Transparency and Accountability…” op. cit.
25
KENNY, C. y MUSATOVA, M. “‘Red Flags of Corruption’ in World Bank Projects: An Analysis of
Infrastructure Contracts”, Policy Research Working Paper, n.º 5243, 2010, pp. 6-7; ANITA, N. y
TÜNDE, T. New warning systems for the identification of red flags in public procurements. Transparency
International Hungary, 2015, p. 6.
[7]
 especificaciones técnicas o criterios de selección en exceso limitadores de la
concurrencia.
- Indicadores irrelevantes: este tipo de red flags se encuentran en un gran número
de contratos, tanto corruptos como íntegros, y aunque pueden ser indicadores de
corrupción, su relación con el fenómeno es difusa y no puede afirmarse una
relación clara. Ej.: la falta de publicidad de determinados aspectos.
- Indicadores relevantes, detectables y recopilables: este tipo de indicadores son
aquellos que deben ser especialmente tenidos en cuenta a la hora de evaluar la
posibilidad de actos corruptos en un contrato, ya que se consideran directamente
relacionados con el fenómeno y son fácilmente observables.

Hasta ahora, aunque otro tipo de indicadores pueden complementar el estudio de un

contrato sospechoso de corrupción, lo cierto es que para que éstos puedan ser efectivos,
de cara a que las agencias de supervisión y fiscalización puedan seleccionar los
contratos a ser investigados, la función de supervisión humana se ha basado en red flags
visibles y relevantes. No obstante, la utilización de técnicas avanzadas de tratamiento y
26
análisis de datos como el data mining y la IA, puede ampliar el espectro de
indicadores visibles, permitiendo identificar anomalías que previamente era intangibles
al ojo humano. Del del análisis de la literatura científica en la materia se pueden llegar a
identificar algunas características que presentan un mayor peso específico como señal
de irregularidades, como el plazo para la presentación de ofertas;27 el uso del
procedimiento de urgencia u otro procedimiento no competitivo28; los contratos

26
La minería de datos es el proceso que permite la estracción de información de grandes cantidades de
datos, identificando patrones en grandes volúmenes de conjuntos de datos a través de diferentes técnicas
de extracción y análisis. MAIMON, O. y ROKACH, L. Data Mining and Knowledge Discovery
Handbook. Springer, New York, 2010.
27
KENNY, C. y MUSATOVA, M. “‘Red Flags of…” op. cit. en p. 8; WENSINK, W. y MAARTEN DE
VET, J. Identifying and Reducing… Op. Cit enp. 367-368; BANCO MUNDIAL. Fraud and Corruption
Awareness Handbook. How it Works and what to look for: a handbook for staff. Banco Mundial, 2013, p.
11; ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 15
28
FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public Procurement: Finding the Right
Indicators”. Eur J Crim Policy Res, 2016, p. 6; WENSINK, W. y MAARTEN DE VET, J. Identifying and
Reducing Corruption in Public Procurement in the EU. Bruselas: PwC EU services, 13 de junio 2013, pp.
367-368; ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 14; FERRANDO GAMIR, A.
“Mapping high-level corruption risks in Spanish public procurement”. Corruption Research Center
Budapest, 2015. p. 20 ; OLAF. Detección de conflictos de intereses en los procedimientos de
contratación pública en el marco de las acciones estructurales. Guía práctica para los responsables de la
gestión. Bruselas: Comisión Europea, 2014, p. 25; en España se ha producido en este sentido, durante
muchos años, un uso indiscriminado del procedimiento negociado por razón de cuantía que llegó a
alcanzar un uso del 60%, y que en ocasiones podía dar cobijo a prácticas irregulares y manipulaciones de
los contratos. CNMC. PRO/CNMC/001/15: Análisis de la contratación pública en España:
[8]
celebrados sutilmente por debajo de los umbrales que imponen obligaciones de
transparencia o competencia adicionales;29 la limitada concurrencia de licitadores;30 la
celebración de acuerdos marco con grandes sumas de dinero, que celebra con tres o
menos operadores económicos o que tiene una duración extensa en el tiempo;31 la
existencia de un gran porcentaje de ofertas declaradas excluidas por no cumplir con
alguno de los requisitos expuestos en los pliegos de condiciones o pocas empresas de
las que solicitaron información se presentan a la licitación;32 el excesivo el tiempo
invertido en la evaluación de las ofertas;33 diferencias positivas entre las ofertas
presentadas y el presupuesto del contrato, que pueden implicar presupuestos inflados y
prácticas anticompetitivas;34 las características técnicas o de solvencia que definen el
objeto del contrato que se ajustan únicamente a una de las empresas proveedoras en el
mercado;35 el tamaño del contrato que parece excesivamente grande y/o incluye
prestaciones muy diversas;36 una duración del contrato que se renueva de manera

oportunidades de mejora desde el punto de vista de la competencia. Comisión Nacional de los Mercados
y la Competencia. 5 de febrero de 2015, p. 16; BELMONTE, E. “El 60% de los contratos de los
ministerios en 2014 se adjudicaron sin concurso”. En Quién cobra la obra. Consultado el 31 de marzo de
2016. Disponible en: http://quiencobralaobra.es/el-60%25-de-los-contratos-de-los-ministerios-en-2014-
se-adjudicaron-sin-concurso/
29
BANCO MUNDIAL. “Most Common Red Flags of Fraud and Corruption in Procurement”. Acceso el
19 de octubre de 2017. Disponible en:
http://siteresources.worldbank.org/INTDOII/Resources/Red_flags_reader_friendly.pdf ; BANCO
MUNDIAL. Fraud and Corruption… op. cit. en p. 11; en este sentido, cabe destacar cómo, en España, se
ha detectado a través de los datos proporcionados por la Plataforma de Contratos del Sector Público un
elevado número de contratos que se celebran apenas unos euros por debajo de los umbrales del contrato
menor, con las exenciones de publicidad, transparencia y control que ello supone. RIAÑO, M. “Contratos
menores: 12.228 adjudicaciones a dedo para esquivar el concurso público”. El Independiente, 21 de
Febrero de 2017. Acceso el 20 de octubre de 2017. Disponible en:
https://www.elindependiente.com/politica/2017/02/21/contratos-menores-12-228-adjudicaciones-a-dedo-
para-esquivar-el-concurso-publico/
30
KENNY, C. y MUSATOVA, M. “‘Red Flags of…” op. cit. en p. 8; FERWERDA, J., DELEANU, I. y
UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK, W. y MAARTEN DE VET, J.
Identifying and Reducing… op. cit enp. 367-368; ANITA, N. y TÜNDE, T. New warning systems… op.
cit. en pp. 6 y 17.
31
ANITA, N. y TÜNDE, T. New warning… op cit. en p. 11.
32
OLAF. Detección de conflictos... op. cit. en p. 27.
33
Ibidem; véase a su vez ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 18.
34
KENNY, C. y MUSATOVA, M. “‘Red Flags of…” op. cit. en p. 8; WENSINK, W. y MAARTEN DE
VET, J. Identifying and Reducing… op. cit. enp. 367-368; ANITA, N. y TÜNDE, T. New warning
systems… op. cit. en pp. 12 y 18.
35
Aunque tradicionalmente ha sido catalogado como un indicador imperceptible, recientemente el Banco
Mundial, no obstante, aporta algunos subindicadores, como la presencia de especificaciones innecesarias
o inapropiadas, de descripciones e informaciones vagas y/o escasas, o la exclusión de un gran número de
licitadores. FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6;
OLAF. Detección de conflictos... op. cit. en p. 26, BANCO MUNDIAL. Fraud and Corruption… op. cit.
en p. 12.
36
FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en 6; MOODY-
DTUART, G. How business bribes damage developing countries. UK: World View Publishing, 1997;
WENSINK, W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 367; BANCO
[9]
periódica de manera indefinida;37 la existencia recursos u otro tipo de reclamaciones por
parte de los licitadores;38 la existencia relaciones entre las empresas licitadoras, ya sean
organizativas o de otro tipo;39 comportamientos extraños entre las ofertas presentadas;40
la obtención por parte de la misma empresa de contratos sucesivos celebrados por la
misma entidad adjudicadora;41 inexistencia de publicidad adecuada a los documentos de
adjudicación del contrato;42 modificaciones sustanciales en un corto lapso de tiempo tras
la adjudicación del contrato, o de forma claramente beneficiosa para el licitador, etc.43

La elaboración de este tipo de indicadores supone sin duda un gran paso adelante en lo
relativo al control de la integridad en la contratación pública. Sin embargo, conviene
subrayar que estas herramientas no identifican casos de corrupción y no suponen
irregularidades en sí mismas, sino que sirven para localizar situaciones o contratos que
presentan un cierto riesgo dibujando un mapa de riesgos44, y en todo caso tendrán que
ser evaluados e investigados con detalle por parte de los organismos competentes para
esclarecer la existencia o no de irregularidades, lo cual afecta al tipo de aplicación que
se está dando a las tecnologías en este sentido.45

Pues bien, tras lo expuesto, se debe tener en cuenta que un mero listado de indicadores
no puede ser eficaz si no se proporciona un medio eficiente de análisis contractual a que

MUNDIAL. “Most Common Red…” op. cit.; BANCO MUNDIAL. Fraud and Corruption… op. cit. en
pp. 12 y 16; ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 12.
37
ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 12.
38
FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK,
W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 367; BANCO MUNDIAL. “Most
Common Red…” op. cit.
39
FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK,
W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 367.
40
En los resultados de la evaluación las empresas están muy cerca o muy lejos unas de otras, existen
ofertas anormalmente altas o con cifras redondas (lo que puede implicar falsas ofertas para cumplir con
los requisitos de competencia), rotación de los ganadores en contratos sucesivos, los licitadores
perdedores se convierten en subcontratistas, etc. BANCO MUNDIAL. “Most Common Red…” op. cit. ;
BANCO MUNDIAL. Fraud and Corruption… op. cit. en pp. 14-15.
41
BANCO MUNDIAL. “Most Common Red…” op. cit.
42
FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK,
W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 368; ANITA, N. y TÜNDE, T.
New warning systems… op. cit. en p. 17.
43
FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public…” op. cit. en p. 6; WENSINK,
W. y MAARTEN DE VET, J. Identifying and Reducing… op. cit. enp. 367; BANCO MUNDIAL. “Most
Common Red…” op. cit.
44
MEDINA ARNÁIZ, T. “El mapa de la corrupción en la contratación pública”. En: Los nuevos desafíos
del Derecho Público Económico. Homenaje al Profesor José Manuel Sala Arquer, pendiente de
publicación. Madrid: Cortes Generales, 2019, pp. 779 y ss. (pendiente de publicación).
45
ANITA, N. y TÜNDE, T. New warning systems… op. cit. en p. 28.
[10]
permita manejar, reutilizar y cruzar información de diferentes bases de datos, filtrar
parámetros, comprobar la concurrencia de estas situaciones y comparar contratos
administrativos de diversa índole en todo el ámbito nacional, europeo o global46. Por
ello, iniciativas como la desarrollada en Hungría por Trancpasencia Internacional (TI) y
la UE, o el sistema de algoritmos puesto en funcionamiento en la Comunidad
Valenciana, sobre los que profundizaremos más adelante, unido a la implantación
efectiva de la Administración electrónica que permita crear bases de datos útiles,
pueden resultar de notable interés para dotar a estos indicadores de funcionalidad.

Deben configurarse, en este sentido, como una herramienta para dotar de funcionalidad
a las actuaciones de los órganos de auditoría o de supervisión externa a la hora de
seleccionar los contratos objeto de análisis y poner fin a la excesiva formalidad que
caracteriza a dichos procesos y que afecta a la eficiencia final de las actuaciones de
fiscalización.

Como se ha mencionado, existen diversos aspectos que hacen especialmente compleja

la aplicación de una política anticorrupción efectiva en el sector de los contratos
administrativos. El primero de ellos es la imposibilidad de regular de forma exhaustiva
y burocrática la actividad contractual de la administración sin eliminar la
discrecionalidad de la Administración esencial en un sector que demanda agilidad y
flexibilidad como la contratación pública, debido la incapacidad de prever la aparición
de corrupción como consecuencia de la mencionada complejidad del fenómeno y la
forma esquiva y multiforme en que se materializan los actos de corrupción en los
procesos contratación pública47. Además, una aproximación tal implicaría el riesgo de
someter a las entidades adjudicadoras a una sobrerregulación, que afectaría
directamente a la eficiencia de la compra pública al incrementar la carga burocrática y
anular la discrecionalidad, aspecto esencial para el diseño de los contratos de acuerdo a
las necesidades específicas de los ciudadanos y las administraciones48.

46
PONCE SOLÉ, J. “La prevención de riesgos…” op. cit. p. 10.
47
GONZÁLEZ SANFIEL, A.M. “Integridad en la…” op. cit. pp. 2453-263.
48
TEJEDOR BIELSA, J. La contratación pública en España ¿sobrerregulación o estrategia?. Civitas,
2018.
[11]
Unido al hecho de que las irregularidades se cometen frecuentemente, como se ha
puesto de manifiesto, en abuso de un poder discrecional que no tiene por qué dejar
rastro visible para una fiscalización puramente legal (ej. criterios, condiciones de
solvencia o especificaciones técnicas a medida), las medidas de detección y control
deben poder individualizarse e ir un paso más allá para abordar la corrección en la
actuación de las Administraciones Públicas, de forma que no debe ser la corrupción,
sino sus alrededores y sus rastros, el objeto de supervisión. Por todo ello, unido a un
correcto sistema de incentivos y reparto de responsabilidades, que deben configurar una
arquitectura institucional que convierta a los actores participantes en verdaderos
supervisores del sistema49, se requieren herramientas que permitan a esos actores, en
particular a los organismos de supervisión, pero también a los propios gestores del
contrato y a la sociedad civil, que con la nueva regulación adquieren un peso importante
en estas tareas, para dotarles de una capacidad de supervisión efectiva.

Así, la utilización de indicadores en la elaboración de un programa de control efectivo

es esencial para una actuación eficiente de los agentes de supervisión. Un sistema de
control que, sin embargo, debe configurarse cuidadosamente con el objetivo de no poner
en riesgo los principios de legalidad y de seguridad jurídica que deben gobernar todas
las normas de Derecho Público.

3.- MODELOS DE APLICACIÓN E IMPLICACIONES JURÍDICAS

En la actualidad, como se ha mencionado y debido a las particularidades del fenómeno

expuestas, las principales aplicaciones de sistemas de IA en contratación pública se
localizan en actividades de la supervisión y de control de la integridad. Así, en España,
la Comunidad Valenciana fue pionera en la materia al desarrollar un sistema de
algoritmos que es capaz de analizar grandes cantidades de datos y, en base a
determinados criterios e indicadores preestablecidos, señalar el nivel de riesgo que
presenta cada contrato celebrado por la Generalitat. Otros sistemas, como ARACHNE
(UE)50 y Red Flags (Hungría)51, así como otros más novedosos desde el punto de vista

49
CANALS AMETLLER, D. “El sistema administrativo de control interno y de supervisión de la
contratación pública”, Revista Galega de Administración Pública, 55, 2018, pp. 409-446.
50
ARACHNE, una herramienta especifica de prospección de datos ofrecida por la Comisión para detectar
proyectos que puedan tener riesgo de conflicto de intereses que puede aumentar la eficacia de los
controles de gestión y selección de proyectos y ayudar a reforzar la identificación, la prevención y la
[12]
tecnológico por sus uso de IA de red neuronal, como el algoritmo DoZorro utilizado en
Ukrania52, son buenos ejemplos de las aplicaciones que estas tecnologías pueden tener
para la integridad en la contratación pública53.

Todos ellos, sin embargo, presentan características diferenciadas y determinados puntos

que, desde el punto de vista legal, conviene tener en consideración.

3.1.- Aprendizaje automático vs criterios predefinidos

El artículo 27 de la Ley 22/2018, de 6 de noviembre, de Inspección General de

Servicios y del sistema de alertas para la prevención de malas prácticas en la
Administración de la Generalitat y su sector público instrumental, prevé que se
desarrollará un sistema de indicadores con el objetivo de detectar la presencia de
posibles irregularidades o malas prácticas, en cada uno de los ámbitos de gestión, y que
los resultados de las actuaciones de investigación serán objeto de una codificación
estandarizada, con la finalidad de que el sistema disponga de información estructurada
que permita su retroalimentación. Es decir, se trata de un sistema que tiene
predeterminados y codificados los indicadores, y por tanto, los criterios y su peso
específico, y que realiza las evaluaciones en base a dicha información.

Este sistema actúa por tanto, como un modelo de gestión y cruce de datos que, cuando
se cumplen unos determinados requisitos, atribuye un riesgo específico al contrato. Se
trata de un sistema de red flags automatizado que se sirve de sistemas de procesamiento
de big data o data mining54, pero que no lleva a cabo proceso de aprendizaje
automático. Operan, en su inmensa mayoría, como herramientas de identificación de

detección del fraude. Desarrollada por la Comisión Europea y la OLAF, puede hacer uso de ella cualquier
entidad que gestiones Fondos Estructurales (FSE y FEDER)50. Esta herramienta de gestión de big data
recoge, enriquece, y pone a disposición de las entidades adjudicadoras datos tratados en base a unos
indicadores de riesgo, de forma que contribuye a la compleja labor de identificar posibles situaciones de
fraude, conflicto de interés, manipulación del contrato, etc.
51
ANITA, N. y TÜNDE, T. New warning systems… op. cit.
52
Véase https://dozorro.org
53
Existen otras experiencias transoceánicas al respecto, como es el caso de la Controloría General de
Brasil, que analiza VALLES BENTO en su trabajo “Aplicación de inteligencia artificial y big data en el
control de la administración pública y en el combate a la corrupción: la experiencia del gobierno
brasileño”, Revista General de Derecho Administrativo, 50, 2019.
54
CAPDEFERRO VILLAGRASA, O. “Las herramientas inteligentes anticorrupción: entre la aventura
tecnológica y el orden jurídico”. Revista General de Derecho Administrativo, n50, 2019; PONCE SOLÉ,
J. La prevención de riesgos de…” op. cit. en p. 12.
[13]
riesgos, las cuales maniobran en base a unos criterios o indicadores más o menos
definidos y estáticos, que pueden ser reemplazados o actualizados de forma externa,
pero no de forma autónoma por parte de los algoritmos55. Se trata de funcionamientos
automatizados pero que, en ningún caso, utilizan tecnologías de deep learling o
aprendizaje automático. Esta predeterminación del sistema facilita, por un lado
identificar cualquier posible error o disfunción en el algoritmo, y por otro lado,
repararlo mediante la modificación de los indicadores con los que trabaja para que actúe
de forma diferente. La Ley 22/2018, que regula su funcionamiento, incluso prevé que
los propios trabajadores puedan proponer nuevos indicadores, y del mismo modo, los
indicadores pueden ser modificados por el sistema de revisión propuesto.

En este punto, DoZorro, el algoritmo ucraniano, presenta importantes adelantos

tecnológicos on respecto al resto de algoritmos analizados que le hacen particularmente
interesante, pero que al tiempo acarrean nuevos retos y riesgos jurídicos56. A diferencia
del resto de sistemas de análisis citados, la inteligencia artificial DoZorro es muy
diferente de los tradicionales indicadores de riesgo, en los cuales un sistema analiza una
serie de datos y los clasifica conforme a una combinación de factores previamente
establecida en su lenguaje de programación o código fuente.

Cabe destacar que la Administración ucraniana ya había desarrollado previamente un

sistema de análisis basado en indicadores preestablecidos denominado ProZorro. En él,
el Servicio Estatal de Auditoría de Ucrania gestionaba desde 2018 la verificación
automática de las ofertas en ProZorro sobre la base de 35 indicadores de riesgo.
Incluyen violaciones del procedimiento de licitación, licitadores que no tengan
facultades para participar, ausencia de firmas digitales, violaciones de plazos de
revisión, ausencia del acuerdo concluido, ausencia de documentación de licitación
cargada electrónicamente, ausencia de la descripción del artículo adquirido, una gran
cantidad de lotes incluidos en una licitación, etc. Cuantos más indicadores se
identifiquen por el programa concurriendo al mismo tiempo en un contrato, mayor será
el riesgo asignado, y por tanto mayor la posibilidad de que la oferta sea inspeccionada
por los auditores.

55
CAPDEFERRO VILLAGRASA, O. “Las herramientas inteligentes…” op. cit.
56
COMISIÓN EUROPEA. EU guidelines on ethics in artificial intelligence: Context and
implementation, septiembre de 2019.
[14]
El sistema DoZorro, no obstante, es más flexible y no tiene una lista exhaustiva de
indicadores. Se trata de un sistema de red neuronal de aprendizaje automático –en otras
palabras, lo que se viene considerando IA, en sentido estricto–, el cual comenzó a
aprender a –o a ser entrenado para– identificar violaciones en las adquisiciones en julio
de 2018. Los desarrolladores enviaron a 20 expertos alrededor de 3.500 ofertas para
analizar. Se les pidió que respondieran a una sola pregunta, si tienen algún riesgo o no.
Los expertos no conocían los importes ni los nombres de las entidades contratantes para
que su evaluación fuera lo más objetiva posible. Finalmente, todas las respuestas se
introdujeron en el algoritmo de IA.

En un sistema de deep learning como DoZorro, por tanto, el sistema es “entrenado” y

aprende de forma experimental, desarrollando sus propios indicadores y criterios, lo que
hace especialmente difícil su corrección. Este cambio, más allá del interés tecnológico
que pueda tener, presenta algunos riesgos jurídicos que no están presentes en un sistema
automatizado que utiliza criterios predeterminados.

Si bien se percibe que los sistemas de IA son imparciales, en ocasiones, los algoritmos,
si no son programados con los debidos filtros, pueden identificar patrones que les lleven
a desarrollar nuevos criterios de evaluación originariamente no incluidos o previstos
que, bajo una decisión administrativa llevada a cabo por humanos, nunca hubieran sido
tenidos en cuenta –por ejemplo, un sistema de IA puede identificar, como factor de
riesgo para corrupción, elementos como el origen étnico de los gestores, su sexo,
orientación sexual, etc.57 Existe, por tanto, un riesgo de ponderación de variables que en
un contexto de decisión humano hubieran sido consideradas irrelevantes para la toma de
decisiones, e incluso improcedentes conforme a otros estándares de Derechos Humanos,
discriminación, etc58.

La Ley 22/2018 valenciana prevé, en este sentido, en su artículo 29 un sistema

evaluación periódica del sistema con el objeto de corregir errores en las alertas,
identificar y prevenir nuevos riesgos. Para ello, anualmente la Inspección General de

57
COTINO HUESO, L. “Ética en el diseño…” op. cit. en pp. 30-48.
58
COTINO HUESO, L., “Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico
desde los derechos fundamentales”, DILEMATA, 24, 2017, pp. 131-150.
[15]
Servicios elaborará un informe que incluirá propuestas de mejora. Al mismo tiempo, se
prevé que el sistema pueda ser evaluado por organismos externos a la Inspección
General de Servicios, que es la encargada de su gestión, con la finalidad de verificar su
adecuado funcionamiento. En este sentido, la ley menciona expresamente la Agencia de
Prevención y Lucha contra el Fraude como organismo auditor, sin excluir la posibilidad
de que esta verificación se realice por agentes externos a la Administración Pública.

Sin embargo, los sistemas de toma de decisiones por medio de algoritmos como
DoZorro han sido criticados por ser opacos en sus procesos de toma de decisiones, y
este tipo de evaluaciones de funcionamiento pueden ser considerablemente más
difíciles. Y es que los usuarios del sistema de IA, e incluso los programadores, a
menudo tienen dificultades para entender la lógica de los sistemas de IA de deep
learning que tienen la capacidad de programar sus propios algoritmos. Esta cuestión es
del todo fundamental, por un lado, para motivar las posibles decisiones administrativas
tomadas de este modo, ya que de ello depende la capacidad de los posibles afectados
para impugnar las decisiones y poder fundamentar ante los tribunales sus pretensiones,
y por otro, para poder corregir e identificar los fallos en el sistema.

Los sistemas de IA tienen dificultades en la motivación y revisión de sus resultados

debido a al efecto denominado “black box”59. Fruto de la ausencia de causalidad entre
los inputs y los outputs del algoritmo, es imposible discernir qué criterios específicos ha
seguido para determinar su decisión en un sentido u otro60. A grandes rasgos, los
algoritmos de IA deep learning están fundados sobre sistemas de Artificial Neural
Networks (ANNs), o Red Neuronal Artificial, que a su vez utilizan un método
denominado Parallel Distributed Processing (PDP) o conexionismo. Se trata de
máquinas virtuales compuestas por una multiplicidad de unidades o nodos, cada una de
ellas capaz de procesar una sola cosa. La IA convencional o simbólica se centra
generalmente en la estructura de símbolos explícitos (modelos mentales) y reglas
sintácticas para su manipulación a nivel interno (lenguaje de programación), mientras
que el PDP se centra en el aprendizaje mediante estímulos procedentes del medio y en

59
BATHAEE, Y. “The Artificial Intelligence Black Box and the Failure of Intent and Causation”.
Harvard Journal of Law & Technology, 31(2), 2018, pp. 890 y ss. HILDEBRANDT, M. Smart
technologies and the end(s) of law, Chetlenham: Elgar, 2016, pp. 72 y ss.
60
COGLIANESE, C., LEHR, D. “Regulatory by Robot: administrative decision-making in the machine-
learning era”. Faculty Scholarship, University of Pennsylvania Law School, 2017, p. 1734 y ss.
[16]
el almacenamiento de esta información en forma de –o a imitación de– las conexiones
entre las neuronas del cerebro humano61. Estos sistemas son capaces de corregir pruebas
o fuentes parcialmente inconsistentes aportadas por sus unidades, así como de tolerar la
inconsistencia como parte de su solución a una pregunta o problema concreto, ya que el
output que proporcionan es el resultado de la red de nodos una vez que las
inconsistencias o contradicciones han sido minimizadas. Además, es capaz de
autocorregirse en base a los errores que haya cometido, enmendando las unidades que
participaron en la decisión otorgándoles una responsabilidad proporcional a cada una.
Un sistema PDP está formado por, al menos, tres capas de unidades: una capa de input,
otra de output y otra intermedia, denominada “capa oculta”. Cada capa está compuesta
de multitud de unidades interconectadas entre sí (lateralmente), y del mismo modo,
existe interconexión entre unidades de las tres capas (verticalmente). Estas tres capas
imitan la sinapsis cerebral, de forma que los nodos o unidades se comunican entre ellos
por medio de conexiones y condicionamientos excitatorios o inhibitorios, para lo cual,
en IA se utilizan unos pesos con valor de entre +1 (excitación) y -1 (inhibición) en las
conexiones. Cuanto más alto sea el peso recibido por un nodo, mayor probabilidad de
que éste se active y que, por tanto, participe o tenga relevancia en la respuesta final.

Inicialmente, como hemos mencionado, estos sistemas utilizaban modelos con una sola
capa oculta, pero recientemente cada vez se opera más con sistemas multinivel, en los
que hay numerosas capas ocultas entre las de entrada y de salida. Además, no todos los
sistemas de ANNs son fijos, sino que, por el contrario, cada vez más frecuentemente, el
aprendizaje o evolución implica no sólo una modificación en los pesos asignados a las
relaciones entre nodos, sino que el sistema es capaz de crear nodos y conexiones nuevas
y eliminar otras, alterando la fisionomía de la red. Por último, existen incluso otros
avances como los gases simulados que, a imagen de las interacciones gaseosas que se
producen en el cerebro, modulan las propiedades intrínsecas de los nodos y conectan
nodos inicialmente inconexos de forma diferente62.

Todas o algunas de estas características derivan en lo que se ha denominado aprendizaje

automático. Este sistema cambiante, multidireccional e impredecible hace que, a pesar

61
BODEN, M.A. Artificial Intelligence… op. cit.
62
BODEN, M.A. Artificial Intelligence… op. cit en p. 80.
[17]
de los mecanismos de backprop63, sea prácticamente imposible rastrear y entender el
proceso que tiene lugar entre un input y un output, ya que el software mencionado trata
de recrear, aunque aún con limitaciones, una suerte de inconsciencia humana, que por
tanto no responde de manera directa al raciocinio y al razonamiento lógico64.

A menudo, los errores en los resultados o las acciones erróneas se producen por el
conflicto entre dos o varias de las reglas lógicas con las que funciona el algoritmo.
Cuando un mecanismo basa su actuación en un número limitado de reglas lógicas, en
sistemas primitivos, es relativamente sencillo identificar cuál de ellas ha provocado el
conflicto, pero sin embargo, en los sistemas actuales, que operan con un amplio número
de cánones lógicos, dichos conflictos son virtualmente indescifrables65. Las relaciones
entre las variables, la lógica y los factores utilizados son, en este sentido, inaccesibles al
usuario del algoritmo. En este tipo de herramientas subyace la premisa de que es la
precisión y la exactitud del resultado, y no la razonabilidad y la causalidad, el parámetro
de medición que determina su utilidad. Es decir, es el resultado o la decisión, y no el
proceso o razonamiento, lo que la IA maximiza. Con los resultados de aprendizaje
automático, las relaciones causales entre los inputs y los outputs pueden simplemente no
existir, no importa cuán intuitiva pueda parecer dicha relación. Si un algoritmo de
aprendizaje automático tiende a pronosticar que las personas mayores cometen menos
delitos que las personas más jóvenes, o las mujeres menos que los hombres, por
ejemplo, no se puede afirmar sobre la base del proceso de aprendizaje automático que la
edad avanzada o el sexo tiene una relación causal en la propensión a cometer crímenes,
y el algoritmo será incapaz de explicarlo en términos científicos o causales66.

Esto, que en el sector privado no ha parecido representar ningún problema –Netflix,

Google, Amazon u otras grandes empresas hacen descansar sus principales decisiones

63
Para aquellos casos en los que la respuesta es insatisfactoria total o parcialmente, esos sistemas cuentan
con un mecanismo de autocorrección denominado backprop (back propagation) que actualiza los pesos
asignados a cada nodo. Para ello, el algoritmo necesita saber el estado de la capa de output cuando se da
la respuesta correcta. Este algoritmo traza la responsabilidad del error o el acierto en una determinada
situación desde las capas de salida o outputs hasta la capa oculta, identificando individualmente los nodos
responsables del error cuyos pesos deben ser adaptados o modificados. Y del mismo modo, cambios
proporcionales en el peso se llevan a cabo en las capas precedentes hasta llegar a la capa de entrada o
input.
64
BODEN, M.A. Artificial Intelligence… op. cit en p. 80
65
BODEN, M.A. Artificial Intelligence… op. cit en p. 28.
66
COGLIANESE, C., LEHR, D. “Regulatory by Robot: administrative decision-making in the machine-
learning era”. Faculty Scholarship, University of Pennsylvania Law School, 2017, p. 1734 y ss.
[18]
estratégicas en estos sistemas– genera determinadas reservas en el ámbito del derecho
público y la toma de decisiones administrativas, ya que genera un marco de opacidad
que puede derivar en una falta de legitimidad democrática de las instituciones e incluso
en una utilización de criterios que bajo un prisma de razonamiento jurídico-humano
deberían ser considerados irrelevantes o improcedentes por ser discriminatorios o
atentar contra los derechos individuales67.

La Ley 39/2015, en este sentido, señala en su artículo 35, establece que todas las
decisiones discrecionales deben estar en disposición de explicarse68. En determinados
supuestos decisiorio complejos, especialmente aquellos estratégicos o de planifiación –
diseño de programas de conservación ambientales, priorización de zonas de protección
o de asignación de recursos de protección ambiental, o en el caso de la contratación, el
diseño del contrato, análisis de mercados previos a la contratación, etc– la IA puede
entrar a sustituir o complementar la actividad de los técnicos expertos de la
administración que informan sobre determinadas necesidades, tendencias o realidades, y
en base a los cuales, aunque no tengan carácter vinculante, la Administración conforma
la voluntad administrativa y toma la decisión final. Pues bien, incluso en estos
supuestos, el Tribunal Supremo ha establecido que la discrecionalidad técnica, si bien
admite un importante margen en la toma de decisiones, también se impone la necesidad
de justificar los juicios técnicos que la fundamentan en aquellos casos en los que sean el
fundamento principal de un eventual recurso69. En particular, en materia de contratación
pública, se hace especialmente relevante que la justificación del gasto público y la
conformación del objeto del contrato responda a determinadas necesidades y criterios
racionales70, así como que los criterios de adjudicación sean comprensibles por el
licitador, con el objetivo, por un lado, de permitirle elaborar su oferta en base a unos
criterios preestablecidos y cuya valoración sea suficientemente previsible71, y por el

67
Este riesgo relacionado con la legitimidad es lo que algunos autores han denominado algocracia. Véase
DANAHER, J. “The Threat of Algocracy: Reality, Resistance and Accommodation”. Philos Technol, 29,
2016, pp. 245-268.
68
En el mismo sentido, véase NAVARRO GONZÁLEZ, R. M. La motivación de los actos
administrativos. Thompson Reuters Aranzadi, 2017, pp. 474.
69
STS de 10 de mayo de 2007, recurso 545/2002.
70
JAREÑO LEAL, A. “La justificación del contrato público y el control del expediente de contratación
como formas de prevenir los delitos de corrupción”. Revista Internacional Transparencia e Integridad,
n.º 9, 2019.
71
BERNAL BLAY, M. A. “La Motivación de las resoluciones de adjudicación de contratos públicos”
Revista de estudios locales. Cunal, n. extra 161, 2013, pp. 189-216.
[19]
otro, de fundar un posible recurso y, en su caso, cuestionar la presunción de validez de
la que gozan los informes o conclusiones técnicos en la Administración72.

Del mismo modo, el TJUE ha tenido oportunidad de pronunciarse sobre escenarios

similares en los asuntos C‑293/17 y C‑294/17 Coöperatie Mobilisation for the
Environment, de 7 de noviembre de 2018, en los que el TJUE parecía exigir, como
requisito de aplicación de sistemas informáticos, la necesidad de demostrar que el
software cumple con las exigencias científicas o técnicas necesarias y de que el juez
tenga la certeza de que cumple dichas exigencias73. Pues bien, por las razones expuestas
anteriormente en cuanto al funcionamiento de los sistemas de IA como DoZorro, que
limitan su capacidad de verificación y motivación, podrían encontrarse importantes
dificultades para dar cumplimiento a este requisito que ha sido denominado por la
doctrina principio de explicabilidad74.

3.2.- La relevancia del algoritmo en la decisión final: de la fase de actuaciones

previas al acto administrativo

Sin embargo, más allá de lo expuesto en al apartado anterior, el papel que juega el
algoritmo en el procedimiento administrativo para la conformación de la voluntad
administrativa o para la emisión de actos administrativos adquiere también una
relevancia capital, y puede entrañar una modulación relevante de los requisitos legales
exigibles al algoritmo. Así, actualmente, y al igual que ocurre en el resto de esferas
administrativas75, el papel de los mecanismos de inteligencia artificial citados en el
presente trabajo dentro de las actividades de control y supervisión de actividades
administrativas se encuadra esencialmente en la fase de actuaciones previas del artículo

72
Resolución 092/2019, de 26 de abril, del Tribunal Administrativo de Contratos Públicos de la
Universidad de Canarias.
73
TJUE, asuntos acumulados asuntos acumulados C-293/17 y C-294/17, Coöperatie Mobilisation for the
Environment, de 7 de noviembre de 2018, párrafo 106: si bien corresponde a los órganos jurisdiccionales
nacionales realizar un examen minucioso y completo de la solidez científica de la «adecuada
evaluación», en el sentido del artículo 6, apartado 3, de la Directiva «hábitats», que acompañe a un
enfoque programático y a las diversas modalidades de aplicarlo, incluido, en particular, el recurso a un
software, como el controvertido en el litigio principal, destinado a contribuir al proceso de autorización.
Solo en el caso de que el juez nacional tenga la certeza de que esta evaluación previa cumple dichas
exigencias, estarán facultadas las autoridades nacionales competentes para autorizar ese proyecto
individual sobre la base de tal evaluación
74
PONCE SOLÉ, J. La prevención de…” op. cit. p. 7; COTINO HUESO, L. “Ética en el diseño…” op.
cit..
75
CAPDEFERRO VILLAGRASA, O. “Las herramientas inteligentes…” op. cit.
[20]
55 de la Ley 39/2015, de forma que no se les ha asignado a estos sistemas, por el
momento, poder decisorio como autoridad administrativa76. Sin embargo, tal y como
señala el grupo de investigación Derecho Administrativo e Inteligencia Artificial
(DAIA) en sus conclusiones de octubre de 2019, el hecho de que los algoritmos se estén
usando para asistir o apoyar decisiones públicas, especialmente en fases previas
o preparatorias, no elimina el riesgo que estos mecanismos entrañan para una correcta
observancia de las normas de Derecho Administrativo. Y es que “este tipo de usos
quedan fuera de la actuación formal y por ello se facilita una huida del
Derecho: garantías de transparencia, respeto del derecho a una buena administración,
garantías del procedimiento, etc. Debe haber una clara trazabilidad y transparencia
del uso de sistemas algorítmicos en cualquier fase y tipo de actuación administrativa –
formal o informal– que, entre otras cosas, permita determinar el grado
real de intervención humana en la toma de decisiones”77.

El nivel y los tipos de garantía jurídica exigibles, así como la trazabilidad y audibilidad
necesaria, deben permitir, en efecto, una salvaguarda suficiente de los derechos de una
buena administración y las garantías de transparencia y procedimientales mínimas, pero
los grados legales de exigibilidad serán variables, y dependerán en todo caso de
factores como la relevancia del acto administrativo o decisión final y su afectación a
derechos individuales78. Sistemas que se utilizan para influir en las decisiones que
afectan a derechos individuales, como la elección de un tratamiento médico, precisan
una mayor rigidez jurídica y unas exigencias de motivación mucho mayores que
aquellos que realizan tareas de menor incidencia directa en las personas, como las
recomendaciones de películas o de música que utilizan algunas plataformas de servicios,
pues la capacidad de asumir las consecuencias de un posible error difieren notablemente
en un caso u otro. Y del mismo modo, producción reglamentaria, la adopción de
disposiciones administrativas (discrecionales y no discrecionales) y actividades
administrativas en el ejercicio de facultades administrativas (por ejemplo, inspección,

76
PONCE SOLÉ, J. La prevención de…” op. cit p. 15.
77
Declaración final II Seminario internacional derecho administrativo inteligencia artificial en el sector
público: la importancia de las garantías jurídicas celebrado en la Facultad de Derecho de la Universitat
de Valencia, Jueves 10 y viernes 11 de octubre de 2019. Disponible en:
https://www.dropbox.com/s/zlth1wq0n2z8c0b/DAIA_Valenciadeclaracion.pdf?dl=0
78
MARTÍNEZ MARTÍNEZ, R. “Inteligencia artificial, derecho y derechos fundamentales”. En: DE LA
QUADRA-SALCEDO, T. y PIÑAR, J. L. (dirs.), Sociedad digital y Derecho. Madrid: BOE- Red.es,
2018, pp. 259-278.
[21]
organización de la labor de los funcionarios públicos, publicación de información para
cumplir con las obligaciones de transparencia...) precisarán de niveles y formas de
garantía diferenciados79.

En un segundo estadio, encontramos el grado de facilidad de impugnar una decisión y

reparar el posible daño, así como la disponibilidad de alternativas sin perjuicio grave,
que actúan como factores relevantes a la hora de determinar hasta qué punto aspectos
como la motivación de las decisiones representan un papel central80. Por ejemplo, si un
sistema de IA fuera utilizado por un restaurante para asignar mesas, una explicación de
la decisión podría no ser trascendental en caso de error, ya que los comensales
insatisfechos podrían simplemente solicitar una mesa diferente o ir a otro lugar. Por el
contrario, un sistema de IA utilizado en las necesidades de audiencias de libertad
condicional81 requiere una capacidad de explicación mucho mayor, pues las potenciales
lesiones de derechos son mayores, y la capacidad de repararlo menor.

Finalmente, otro aspecto apreciable es la relevancia del juicio emitido por el software de
IA con respecto a la decisión final. Existen casos en los que los algoritmos son
utilizados como fundamento o fuente científica para evaluar un aspecto concreto o
específico que, sin embargo, únicamente tiene un peso relativo reducido en la decisión
administrativa final. Así, un software de IA puede ser utilizado para recopilar opiniones
de la ciudadanía82, o para predecir las emisiones de CO2 de un determinado operador
económico o proceso productivo. En estos casos, la IA determina el resultado de dicha
sub-valoración, pero en ninguno de los casos el resultado del juicio computacional
implica una decisión administrativa final o acto administrativo en un sentido u otro, sino
que tendrá que ser contrapuesto y combinado con otros múltiples factores o sub-
valoraciones que, una vez ponderados en base a los criterios jurídicos y administrativos,

79
MARTÍN DELGADO, I. “Automazione, intelligenza artificiale e pubblica amministrazione: vecchie
categorie concettuali per nuovi problemi?”, Istituzioni del Federalismo: Rivista di studi giuridici e
politici, 3, 2019, pp. 643 y ss.
80
COTINO HUESO, L. “Ética en el diseño…” op. cit. en p. 38; ZALNIERIUTE, M.; BENNETT
MOSES, L. y WILLIAMS, G. “The Rule of Law and Automation of Government Decision-Making”. The
Modern Law Review, 82(3), 2019, pp. 425-455.
81
Como se ha mencionado supra, este problema ya ha tenido lugar con el sistema de evaluación de riesgo
de reincidencia COMPAS, en EEUU. Véase: https://medium.com/thoughts-and-reflections/racial-bias-
and-gender-bias-examples-in-ai-systems-7211e4c166a1
82
CANALS AMETLLER, D. “El proceso normativo ante el avance tecnológico y la transformación
digital (inteligencia artificial, redes sociales y datos masivos)”, Revista General de Derecho
Administrativo, n 51, 2019.
[22]
darán lugar a una decisión final. Por otro lado, sin embargo, encontramos aquellos
supuestos en los que la integridad de la decisión administrativa, o buena parte de ella,
recae sobre un algoritmo, los cuales requerirán de una mayor exigencia de garantías
jurídicas para su funcionamiento. Pero, incluso en estos supuestos, los requerimientos
jurídicos en materias de transparencia, responsabilidad e igualdad, y los posibles riesgos
a considerar, dependerán en buena medida de si existe un filtro humano o las decisiones
son tomadas y ejecutadas de forma automatizada –y en el mismo sentido, en qué medida
ese filtro humano tiene capacidad efectiva de revisar la decisión informática.

Actualmente, las divergencias en el marco normativo aplicable a decisiones con y sin

intervención humana son notables. Así, tal y como lo ha expuesto Valero Torrijos, de la
jurisprudencia europea parece desprenderse que “la legitimación para el tratamiento de
datos personales a través de un algoritmo, sin intervención humana, solo sería
admisible previa la oportuna regulación que, además, ha de establecer garantías
adecuadas a la luz de los mecanismos y principios ue contempla el propio RGPD”83,
exigiendo por tanto determinadas garantías a las decisiones automatizadas, al tiempo
que las previsiones del artículo 41 de la Ley 40/2015 relativas a la actuación
administrativa automatizada recogen ciertas garantías y exigencias de transparencia y
publicidad84. Pues bien, una interpretación literal de estas disposiciones derivaría, como
afirma el propio Valero Torrijos, en la inaplicación de los principios y garantías
contenidos en estos preceptos a aquellos casos en los que la actividad digital debiera ser
validada, en cualquier sentido, bien por el titular del órgano o bien por personal al
servicio de la entidad85. Una regulación específica de aquellas situaciones en las que el
algoritmos no automatiza por completo el procedimiento, sino que tiene incidencia
parcial o previa, debe ser abordada para una adecuada seguridad jurídica.

Ejemplo de uso de inteligencia artificial con filtro humano lo componen, por ejemplo, el
uso de drones para detectar infracciones en el uso del teléfono móvil en la carretera

83
VALERO TORRIJOS, J. “Las garantías jurídicas de la inteligencia artificial en la actividad
administrativa desde la perspectiva de la buena administración”, Revista Catalana de Dret Public, n 58,
2019, pp. 83-96 en p. 90.
84
Deberán publicarse las especificaciones, programación, mantenimiento, supervisión y control de
calidad y, en su caso, auditoría del sistema de información y de su código fuente. Para un mayor
desarrollo del concepto de administración automatizada, véase MARTÍN DELGADO, I. “Naturaleza,
concepto y régimen jurídico de la actuación administrativa automatitzada”. Revista de Administración
Pública, n.º 180, 2009, pp. 353-386.
85
VALERO TORRIJOS, J. “Las garantías jurídicas…” op. cit. en p. 87.
[23]
utilizado en España por la Dirección General de Tráfico (DGT)86. En este caso, para que
la denuncia sea tramitada, la cámara detecta la matrícula y el modelo del coche
grabándolo desde la parte delantera. Las imágenes, enviadas a un centro de tratamiento
de denuncias, son analizadas por un programa informático capaz de discriminar entre
las imágenes que podrían ser constitutivas de una infracción y las que no. Una vez
realizada la distinción entre las fotografías, las susceptibles de ser utilizadas como
prueba en una denuncia son enviadas a los técnicos que evalúan si en la imagen se ve,
efectivamente, al conductor manipulando el teléfono móvil. En caso de que esto sea así,
la imagen se envía a la jefatura provincial de Tráfico correspondiente para que denuncie
los hechos.

No obstante, esta verificación no siempre se presenta de forma tan evidente o tan

sencilla como en el ejemplo expuesto. Cuando la IA es utilizada para desarrollar
métodos de optimización para la planificación de la conservación de la vida silvestre,
por ejemplo, o para, a través de datos históricos, crear modelos de comportamiento de
cazadores furtivos y utilizarlos para optimizar las estrategias de vigilancia, debido a la
limitada capacidad del ser humano para identificar aquellos factores que han sido
tomados como determinantes por el sistema informático, es en esencia imposible que
exista una auténtica verificación o examen de las decisiones sugeridas87. En este tipo de
casos, en la práctica, el algoritmo o sistema de IA estará tomando las decisiones de
facto, independientemente de que haya una intervención humana última de carácter
formal.

Es interesante, en este sentido, el doble papel o el doble uso que se les ha otorgado al
algunos sistemas de identificación por IA, por un lado como mecanismo al servicio de
un control ex post o de carácter sancionador, y por el otro, como herramienta de
asistencia y prevención. Así pues, la Ley 22/2018 de la Generalitat recoge que
“asimismo, se estima necesario reforzar por ley la estructura, potestades y funciones de
la Inspección General de Servicios, que, además de investigar las posibles

86
DGT. Tráfico pone en marcha la II Operación especial del verano y comenzará a denunciar las
infracciones captadas por drones, 2019. Disponible en: http://www.dgt.es/es/prensa/notas-de-
prensa/2019/Trafico-pone-en-marcha-la-II-Operacion-especial-del-verano-y-comenzara-a-denunciar-las-
infracciones-captadas-por-drones.shtml
87
DANAHER, J. “The Threat of Algocracy… “ op. cit.
[24]
irregularidades, se implicará de manera directa en tratar de evitar que se produzcan
malas prácticas mediante su detección y corrección temprana”.

El sistema desarrolla, de manera interesante, dos posibilidades de actuación. Por un

lado, encontramos una funcionalidad de asistencia en relación a una eventual incoación
de expediente sancionador o disciplinario88. En estos casos, la regulación que lleva a
cabo la Generalitat garantiza una “reserva de humanidad”89, de forma que el
procedimiento de investigación será llevado a cabo de forma tradicional. Así, la
Inspección General de Servicios podrá iniciar las investigaciones basándose, entre otros,
en los datos obtenidos a través del sistema de alertas, pero la iniciación de un ulterior
procedimiento sancionador, disciplinario o penal, debería fundarse en las deducciones y
resultados derivadas de la labor de investigación IGS, y no en los resultados del
algoritmo, si bien la norma no se pronuncia sobre el rol que pueden o no tener los
resultados del software como prueba o como elemento determinante de cara al informe
final de la Inspección.

Esta forma de iniciación del procedimiento no implica, a priori, ningún automatismo en

el desarrollo del procedimiento, recayendo la carga de la prueba sobre los propios
servicios de inspección. El sistema de alertas basado en IA funciona aquí, pues, a
imagen de lo que ocurre en otros ámbitos, como algunos ejemplos usados por la
inspección de sanidad o de trabajo, que ya utilizan indicadores que dirigen su actuación
hacia los focos de riesgo identificados.

De manera similar, el sistema ARACHNE utilizado por la UE para la ejecución de

fondos europeos, excluye de forma expresa la posibilidad que se produzcan sanciones o
se tome cualquier medida administrativa de forma automatizada a partir de las
conclusiones o resultados del software. No tiene por objeto evaluar la conducta
individual particular de los beneficiarios de los fondos y, como tal, no sirve para excluir
automáticamente a los beneficiarios o tomar cualquier otra medida que afecte a
derechos individuales. La herramienta proporciona alertas de riesgos muy valiosas para

88
PONCE SOLÉ, J. La prevención de…” op. cit. en p. 14.
89
COTINO HUESO lo denomina también autonomía humana, frente a una posible injerencia o una
autonomía artificial. COTINO HUESO, L. “Ética en el diseño…” op. cit. en p. 38.
[25]
enriquecer las verificaciones de gestión, pero no suministra ninguna prueba de error,
irregularidad o fraude.

No se establece, como hace la Comunidad Valenciana, un sistema específico de

investigación o el peso concreto que deberán tener las informaciones algorítmicas en la
misma –esto corresponderá, en todo caso, a los procedimientos previstos en el derecho
nacional–, pero fija un límite claro a su uso que trata de evitar posibles riesgos
mencionados que los algoritmos presentan en la toma de decisiones. El sistema
ARACHNE, por tanto, en ningún caso podrá tomar decisiones o usarse como criterio
único de las mismas, y requerirá, en todo caso, de una intervención humana para
generar cualquier efecto administrativo90.

Pero, por otro lado, como se ha mencionado, en un primer lugar, fruto del carácter
inicialmente preventivo de la herramienta, la Ley 22/2018 de la Generalitat Valenciana
prevé el personal de la Inspección General de Servicios podrá elaborar recomendaciones
e informes para determinados tipos contractuales o servicios de la Generalitat que en los
que se estén detectando vicios o anomalías recurrentes, y en los que se podrá estimular
la adopción de nuevos hábitos de contratación que respondan de manera más fiel a los
estándares de buenas prácticas de contratación. En este punto, si bien el algoritmo no
dicta de forma directa las recomendaciones, y no pueda utilizarse como prueba en un
procedimiento sancionador91, su influencia de cara a su elaboración, como fuente
justificativa de la misma, será probablemente mayor. En aquellos casos dirigidos a
sanciones, las exigencias del principio de legalidad y tipicidad exigen una labor humana
probatoria considerable, de forma que los inspectores deberán probar que en efecto
concurren una serie de hechos que dan lugar a un ilícito administrativo o penal. Sin
embargo, en una recomendación, las medidas propuestas y los fundamentos que las
justifican pueden encontrarse, en gran medida, basados en los resultados del

90
Esto es especialmente relevante a la hora de impugnar posibles decisiones, como manifiestan
ZALNIERIUTE, M.; BENNETT MOSES, L. y WILLIAMS, G. “The Rule of Law…” op. cit. pp. 425-
455.
91
El algoritmo, o más bien sus resultados e informaciones, podrán utilizarse como medio de prueba y
pasar a formar parte del procedimiento administrativo, pero en ese caso, deberán serle de aplicación todas
las garantías de dicho procedimiento. MONTOYA MARTÍN, E. “Consideraciones sobre las actuaciones
previas y su incidencia en el procedimiento administrativo sancionador y en las garantías del
administrado”, Documentación Administrativa, n 280-281, 2008.
[26]
algoritmo92. Y en este sentido, si bien este tipo de actos administrativos no afectan de
forma tan evidente los derechos individuales como las sanciones, conviene tener
presente que el TS, en sus sentencia de 6 de mayo de 2011, estableció que “los valores
que subyacen a los derechos fundamentales en juego exigen a las diligencias de prueba
en el orden administrativo unas mínimas condiciones objetivas y subjetivas que hagan
posible su fiabilidad”.

Si analizamos todos estos factores para el caso de los sistemas de alertas estudiados,
podemos entender que:

(1) Una eventual sanción o condena por corrupción o mala praxis afecta, sin duda, a
derechos individuales de los ciudadanos (empleados públicos) de forma notablemente
grave;
(2) El grado o la efectividad de revisión humana en los sistemas de IA utilizados como
ejemplo se antoja significativo, ya que los inspectores o encargados de iniciar y tramitar
el procedimiento administrativo deben llevar a cabo sus investigaciones de forma
autónoma, sin que los resultados del sistema de IA puedan entenderse más que como
indicios. El peso relativo de la decisión del algoritmo en la decisión final por parte del
órgano supervisor de sancionar o no, o de realizar las instrucciones o recomendaciones
oportunas, es por tanto, o al menos formalmente, considerablemente reducido;
(3) Una conclusión o resultado erróneo del algoritmo dará lugar, por tanto, y en todo
caso, a una investigación infructuosa o que deba ser archivada. No obstante, esta
investigación crea ya, per se, ciertos efectos negativos sobre el empleado que la recibe,
esencialmente relacionados con la posible crítica o condena social, inversión de tiempo
en la defensa o justificación de su actuación en el procedimiento, y otros posibles
problemas en el trabajo. Un error por parte del algoritmo, por tanto, es subsanable, pero
acarrea determinados perjuicios para el o los afectados;
(4) En el mismo sentido, un a condena o sanción final que posteriormente se demostrase
errónea no podría ser atribuida al algoritmo, ya que la norma hace recaer la
responsabilidad de investigación en los encargados del procedimiento de inspección.

92
Las personas en general, y los empleados públicos en particular, se encuentran, en este sentido,
condicionados por los resultados de los algoritmos de forma que existe cierta tendencia a seguir sus
recomendaciones, engendrando el riesgo de no verificación de las mismas. OSWALD, M. “Algorithm-
assisted decision-making in the public sector: framing the issues using administrative law rules governing
discretionary power”. Philosophical Transactions, n. 379, 2018.
[27]
3.3.- Fuentes de datos, permisos de acceso y gestión de la información

Otro de los elementos esenciales para una correcta implantación de la IA en la

contratación pública es la disponibilidad de datos de calidad que permitan un procesado
efectivo de las solicitudes o de los criterios a potenciar en base a contratos ya ejecutados
o adjudicados, con el objetivo de que software pueda maximizar los resultados en el
análisis93. Los problemas relacionados con la disponibilidad de datos relevantes y
utilizables por un sistema de IA pueden derivar en una brecha aún mayor entre
administraciones, ampliando la distancia operativa entre aquellas que han sido capaces
de instaurar procesos totalmente digitalizados y las que no. Y en todo caso, incluso en
aquellas administraciones con datos digitalizables y estandarizables suficientes, las
posibilidades y variantes que la IA abre en torno a la utilización de datos no oficiales
puede plantear problemas adicionales.

Uno de los problemas, en este sentido, es qué bases de datos son utilizables
legítimamente por el sistema. El sistema Satán, de la Comunidad Valenciana, prevé en
este sentido que los datos tratados por el software pueden provenir, por un lado, de una
base de datos de la propia Administración que debe crearse y mantenerse actualizada a
tal efecto, y por otro, de determinadas bases de datos externas de otros organismos y
entidades “respecto a la actividad mercantil y financiera de contratistas, proveedoras
de servicios y beneficiarias de subvenciones y ayudas públicas, así como de las
personas o entidades que mantengan o hayan mantenido una relación laboral o
contractual con la administración de la Generalitat y su sector público instrumental y
siempre que que quede garantizado que han sido obtenidos legítimamente por parte del
cesionista de los mismos”.

Esto nos plantea algunas cuestiones en un hipotético uso de IA de red neuronal o deep
learning (recordemos que el sistema Valenciano no posee estas características, pero sí el
DoZorro ukraniano), especialmente en lo que se refiere a fuentes informales de
información que, si bien de forma indiciaria, pueden desempeñar una función esencial a

93
SÁNCHEZ-GRAELLS, A. “Data-driven and digital procurement governance: Revisiting two well-
known elephant tales”. Communications Law - Journal of Computer, Media and Telecommunications
Law, 2019.
[28]
la hora de alertar de posibles situaciones de riesgo, en especial en lo que se refiere al
conflicto de interés. Y es que, tal y como ha expuesto CAPDEFERRO VILLAGRASA,
determinadas informaciones contenidas en medios de comunicación digitales, e incluso
las publicaciones realizadas por una persona en sus redes sociales, pueden ser
especialmente útiles a la hora de dar visibilidad a conflictos de interés no formalistas94.

En este sentido, es interesante citar cómo la herramienta ARACHNE, que la UE pone a

disposición de las entidades que ejecutan fondos FEDER para la detección de riesgos en
la contratación pública, utiliza la base de datos World Compliance, que cuenta con una
base de datos de empresas que han sido objeto de acusaciones relacionadas por
corrupción en los medios de comunicación a través de un rastreo de noticias (más de 35
mil fuentes), así como de un importante registro de las personas que tienen influencia o
vínculos políticos (más 1,3 millones de personas, familiares y personas relacionadas) y
de aquellas empresas que tienen relaciones con el sector público95. Cabría plantearse,
por tanto, en qué medida podrían extenderse las fuentes de los sistemas de IA a bases de
datos con información no oficial o no reglada, y en qué medida estos sistemas de
aprendizaje automático podrían ayudar a visualizar lo que hasta el momento han sido
elementos intangibles. Estos sistemas potencian un giro hacia el antiformalismo y un
control efectivo y eficaz de las relaciones entre empleados y licitadores. Pero al tiempo,
plantea serias dudas sobre la legitimidad de una Administración para utilizar como
elemento de motivación en la decisión administrativa elementos no reglados y, en
particular, aspectos tan estrechamente ligados a la privacidad como las redes sociales96.

En este mismo sentido, un elemento trascendental cuando se utiliza IA para asistir en la

identificación de irregularidades es determinar quién está legitimado para su uso. Es
decir, a qué órganos servirá y por tanto dónde se fijan los límites de acceso a la misma.
En el caso de la herramienta Satán de la Generalitat, el organismo central en el modelo
de supervisión propuesto es el servicio de Inspección General de Servicios. Esto
delimita, por un lado, la responsabilidad que pueda derivar de su uso y, por otro lado,

94
CAPDEFERRO VILLAGRASA, O. “Las herramientas inteligentes…” op. cit. en p. 13; en el mismo
sentido, sobre la posible utilidad de las redes sociales para las fases de información pública en la
producción normativa, véase CANALS AMETLLER, D. “El proceso normativo…” op. cit.
95
La información mencionada se encuentra accesible en la página. Disponible en:
https://risk.lexisnexis.com/global/en/products/worldcompliance-data-global
96
COTINO HUESO, L., “Big data e inteligencia artificial…” op. cit. en pp. 131-150.
[29]
subraya el carácter confidencial de los datos procesados por el mismo, que se subraya
en el artículo 4.297. De esta forma, el artículo 26.2 de la misma ley prevé que el sistema
de alertas garantizará el control de acceso a la información, mediante mecanismos que
permitan la identificación, autenticación y autorización de las personas usuarias,
permitiendo el acceso a la información en función de los derechos asociados al perfil del
mismo y mantendrá un registro de los accesos realizados, tanto para consulta, como
para la actualización de información, en su caso, con la finalidad de gestionar la
trazabilidad de los datos.

Del mismo modo, para el uso de ARACHNE, la entidad beneficiaria de los fondos
europeos debe nombrar un responsable de la herramienta, que será el encargado de
acceder a la información, y que debe ser parte del equipo encargado del control o la
supervisión del órgano de contratación.

En cuanto a la posible responsabilidad, generalmente este tipo de herramientas

requieren responsabilidades sobre a la información relativas a su actualización y a su
protección. El artículo 24.1 de la norma valenciana establece que el sistema de alertas
rápidas estará adscrito a la Conselleria competente en materia de inspección general de
servicios. Es responsabilidad de dicha Conselleria mantener y aplicar el sistema,
asegurar su integridad y la fiabilidad de su funcionamiento. Asimismo, tendrá la
consideración de responsable del tratamiento de datos de carácter personal. En cuanto a
la seguridad de las informaciones, el artículo 26.1 impone la obligación de que el
sistema de alertas será sometido a revisión periódica con el fin de verificar el
cumplimiento de la política de seguridad, de los procedimientos de protección de datos
de carácter personal y de las medidas de seguridad que se definan para el sistema.

Por su parte, ARACHNE desarrolla un sistema de responsabilidad de gestión

compartido entre la Comisión Europea –que asume la mayor carga de responsabilidad
en cuanto a la calidad y fiabilidad de los datos– y las entidades ejecutoras de los fondos
–a quienes se impone la responsabilidad de enviar datos actualizados de sus

97
Por otra parte, se prevé que la información que genere el sistema lógico e informático de procesamiento
de datos tendrá carácter reservado y únicamente podrá ser accesible para el personal adscrito a la
Inspección General de Servicios.
[30]
procedimientos y que asumen la responsabilidad en materia de tratamiento y protección
de datos en el marco de sus actividades.

4. LA CONTRATACIÓN PÚBLICA COMO HERRAMIENTA DE

APROVISIONAMIENTO DE IA

El avance de la técnica en la materia y los conocimientos técnicos necesarios para

asegurar su funcionamiento y mantenimiento hacen difícil que el sector público pueda
generar sistemas de IA propios, debiendo por tanto recurrir, a menudo, a prestadores de
servicios privados. En consecuencia, el uso de tecnologías de IA para la toma de
decisiones administrativas exige, irremediablemente, una participación activa del sector
privado en la toma de decisiones públicas, que en muchos casos pueden ser “decisiones
de autoridad” que tienen un importante efecto en el interés público. Esta participación
de actores privados en lo público no constituye, sin embargo, una nueva realidad98, ya
que tanto a nivel internacional –véase los estándares internacionales o normas ISO, que
actúan en la práctica con carácter normativo, y que responden a una producción
esencialmente privada99– como a nivel nacional –en materia de contratación pública,
por ejemplo, es una práctica habitual que, para adaptarse a las exigencias de la
contratación electrónica, los municipios y entidades públicas recurran a plataformas del
sector privado, y de las cuales dependen directamente aspectos relacionados con la
transparencia, la integridad de los datos, etc.– se vienen observando diversos escenarios
de colaboración privada en la toma de decisiones públicas100. No obstante, la IA
presenta, en este punto, importantes retos acerca de los métodos de legitimación de
actividad administrativa en la que la formación voluntad administrativa no responde a
las configuraciones procedimentales tradicionales. A imagen de lo que ocurre en otros
ámbitos, y dado que este tipo de tecnologías pueden tener una incidencia importante en

98
El problema de la gestión de intereses públicos por actores privados ya ha sido abordado por la doctrina
en relación con otros usos de la tecnología. Por todos, véase ESTEVE PARDO, J. “La Administración
garante. Una aproximación”. Revista de Administración Pública, 197, 2015, pp. 11-39; y CANALS
AMETLLER, D. El ejercicio por particulares de funciones de autoridad: (control, inspección y
certificación), Comares, 2003.
99
Este tipo de fuentes normativas o reguladores no reglados dan lugar a lo que parte de la doctrina ha
denominado derecho o regulador nebuloso, que luego es incorporada por cauces formales tradicionales a
los Estados soberanos. COTINO HUESO, L. “Riesgos e impactos del big data, la inteligencia artificial y
la robótica. Enfoques, modelos y principios de la respuesta del Derecho”. Revista General de Derecho
Administrativo, 50, 2019, p. 24.
100
MORENO MOLINA, J.A. “Administración electrónica y contratación pública”. En: PIÑAR MAÑAS,
J.L. (dir.) Administración electrónica y ciudadanos. Cizur Menor: Aranzadi, 2011, pp. 743 y ss
[31]
el procedimiento administrativo, se antoja un elemento trascendental el asegurar que el
software cumple determinadas características, y que por tanto se les exige a los
proveedores privados, el cumplimiento de determinados principios de derecho público o
el respeto de determinadas garantías de transparencia o ética pública.

Y en el mismo sentido, una correcta implementación de softwares privados en la esfera

pública dependerá, en gran medida, del adecuado diseño y adaptación de los
procedimientos de compra pública que permitan articular este tipo de relaciones
público-privada. La contratación pública actúa, en este sentido, no como ámbito, sino
como instrumento de aplicación de la IA en el sector público.

Esta realidad ha hecho que el World Economic Forum haya aprobado, en colaboración
con la Oficina para la Inteligencia Artificial de Reino Unido el documento “Guidelines
for AI procurement”101. En él se establecen una serie de estándares, parámetros y
consideraciones que deben seguirse a la hora de diseñar contratos encaminados a la
provisión de servicios y suministros de IA. Así, de entre los factores que deben
considerarse, destaca el ámbito del dominio público o privado de la información de
funcionamiento del algoritmo, así como de los datos tratados y la información de él
derivada. Dos aspectos esenciales, como la transparencia y la rendición de cuentas, por
un lado, y los derechos económicos de competencia de las empresas, por el otro,
dependen de –y al tiempo deben servir para modelar– la configuración de estos
extremos.

En lo que se refiere a la confidencialidad, la guía citad concluye que para evaluar

significativamente las soluciones de IA propuestas, los funcionarios gubernamentales
deben encontrar el equilibrio adecuado entre preservar la rendición de cuentas a través
de la transparencia y asegurar a los proveedores que los secretos comerciales asociados
con sus productos y servicios, así como su confidencialidad empresarial, no se verá
comprometida. Adicionalmente, establece que en aquellas circunstancias en las que una
merma en confidencialidad y la protección del secreto comercial pueden justificarse a la
luz de consideraciones de interés público, se investiguen las posibilidades de facilitar la
transparencia mediante la divulgación parcial, las opciones de revisión limitadas y otras

101
WOELD ECONOMIC FORUM. Guidelines for AI procurement, 2019. Disponible en:
http://www3.weforum.org/docs/WEF_Guidelines_for_AI_Procurement.pdf
[32]
medios de aumentar la confianza pública que no impliquen una difusión total de la
información.

En el caso de la Comunidad Valenciana, el desarrollo del mencionado sistema Satán se

llevó a cabo a través de un convenio firmado en diciembre de 2016 entre la Generalitat
y la Fundación Internacional Baltasar Garzón por un importe de 30.000 euros para
desarrollar el proyecto, que se complementó con otros dos convenios, esta vez
celebrados con la Universidad Politécnica de Valencia, por importe de 55.000 euros
para 2017 y 70.000 euros para 2018. Se trata, por tanto, de un sistema en el que la
elaboración de los algoritmos es pública, y, por tanto, parece eludir la problemática que
puede surgir en aquellos supuestos en los que los prestadores de servicios de IA son
entidades privadas, ya que la propiedad intelectual de los algoritmos, se entiende, se
traslada a la Generalitat y es de titularidad pública. Este tipo de desarrollo público de la
IA, sin embargo, no es sencillo si pretende extenderse su uso a toda la Administración
Pública, pues, en primer lugar, el contrato de desarrollo no incluye servicio de
mantenimiento o gestión del sistema, así como tampoco de formación de empleados
públicos en el uso de la herramienta, aspectos que, tal y como afirman las “Guidelines
for AI procurement” del WEF, deben incluirse cuando los usuarios del algoritmo son
determinadas Administraciones que no disponen del expertise necesario, y en segundo
lugar, su coste es difícilmente asumible por determinadas Administraciones de pequeño
y mediano tamaño. En consecuencia, el recurso al sector privado para adquirir servicios
de IA puede ser una opción que probablemente goce de una notable popularidad entre
los gestores.

Ya existen, en todo caso, determinadas resoluciones acerca del grado de transparencia

que debe dársele a los algoritmos. En este sentido, las Resolución de 21 de septiembre
de 2016 de la Comisión de Garantía del Derecho de Acceso a la Información Pública de
Cataluña sobre las Reclamaciones 123/2016 y 124/2016, estableció que los algoritmos,
así como todas las informaciones que los componen y les dan funcionalidad, tienen
carácter de información pública de acuerdo con lo expuesto en el artículo 13 de la Ley
de Transparencia y Buen Gobierno, y por tanto debe asegurarse la transparencia de los

[33]
mismos102. Dicha resolución se funda en el artículo 13 de la Ley de Transparencia y
Buen Gobierno (LTBG), que establece que “se entiende por información pública los
contenidos o documentos, cualquiera que sea su formato o soporte, que obren en poder
de alguno de los sujetos incluidos en el ámbito de aplicación de este título y que hayan
sido elaborados o adquiridos en el ejercicio de sus funciones”, lo cual incluiría, por
tanto, aquellos elementos de software o algoritmos que la Administración adquiere.

Esto conllevaría la aplicación de la Ley de Transparencia, pero también de los límites

del artículo 14 de la norma. Así, en el caso de algoritmos utilizados para la
investigación de ilícitos que se han usado como ejemplo en el presente trabajo, su
contenido, o al menos buena parte de él, puede mantenerse velado en base al límite de
acceso a la información impuesto por el artículo 14.e) –la prevención, investigación y
sanción de los ilícitos penales, administrativos o disciplinarios– o g) –las funciones
administrativas de vigilancia, inspección y control–103.

El artículo 308 de la LCSP, por su parte, prevé que “los contratos de servicios que
tengan por objeto el desarrollo y la puesta a disposición de productos protegidos por
un derecho de propiedad intelectual o industrial llevarán aparejada la cesión de este a
la Administración contratante. En todo caso, y aun cuando se excluya la cesión de los
derechos de propiedad intelectual, el órgano de contratación podrá siempre autorizar
el uso del correspondiente producto a los entes, organismos y entidades pertenecientes
al sector público”. La norma general, por tanto, establece que, para aquellos contratos
que lleven aparejada la creación de productos algorítmicos, la propiedad intelectual se
cede a la Administración Pública, lo cual viene siendo una práctica habitual en las
licitaciones que incluyen la realización o producción de nuevos sistemas por el
adjudicatario104.

102
MIR PUIGPELAT, O. “El acceso a la información pública en la legislación española de transparencia:
crónica de un cambio de paradigma”, Revista Catalana de Dret Public, 55, 2017.
103
VALERO TORRIJOS, J. “Las garantías jurídicas…” op. cit. en p. 89
104
Véanse, a modo de ejemplo, el contrato de Reavio Televisión Madrid (RTVM) “Pliego de condiciones
jurídicas para la contratacion del servicio de implantación y mantenimiento de una plataforma de gestión
electrónica de licitaciones”, Expediente 2018/03/IT y el de Entidad Pública Empresarial Local (EPEL)
Centros de Arte, Cultura y Turismo de Lanzarote “pliego de cláusulas administrativas particulares que
regirán el contrato ordinario de servicio dividido en lotes smart island Lanzarote reserva inteligente de la
biosfera”, expediente SVC-2018/48.
[34]
No obstante, conviene remarcar que el artículo habla de aquellos casos en los que el
contratista “desarrolla” un sistema para la Administración. No cubre, o no prevé,
aquellos casos en los que lo que se lleva a cabo es una puesta a disposición de un
sistema informático o software preexistente, sobre el que la empresa proveedora tiene
con carácter previo al contrato derechos d propiedad intelectual y que la empresa
proveedora utiliza de forma repetida en otras relaciones comerciales. En el caso de una
puesta a disposición de un algoritmo o sistema preexistente –véase, Watson, de IBM– y
su adaptación para servir a los objetivos de una Administración en concreto, ¿supone
realmente una creación o producción de elementos de propiedad intelectual, o más bien
se trata de una puesta a disposición de un sistema preexistente y previamente protegido
por propiedad intelectual?

La cuestión no es baladí, y el quid de la cuestión puede encontrarse aquí en la

consideración de este tipo de contratos como contratos de suministro o de prestación de
servicios, y el diferente trato de la propiedad intelectual en una y otra modalidad105. Así,
el artículo 16.b) de la LCSP prevé que “se considerarán contratos de suministro, los
que tengan por objeto la adquisición y el arrendamiento de equipos y sistemas de
telecomunicaciones o para el tratamiento de la información, sus dispositivos y
programas, y la cesión del derecho de uso de estos últimos, en cualquiera de sus
modalidades de puesta a disposición, a excepción de los contratos de adquisición de
programas de ordenador desarrollados a medida, que se considerarán contratos de
servicios”.

A su vez, el artículo 9 establece que “quedan, asimismo, excluidos de la presente Ley

los contratos de compraventa, donación, permuta, arrendamiento y demás negocios
jurídicos análogos sobre bienes inmuebles, valores negociables y propiedades
incorporales, a no ser que recaigan sobre programas de ordenador y deban ser
calificados como contratos de suministro o servicios, que tendrán siempre el carácter
de contratos privados y se regirán por la legislación patrimonial”.

Por tanto, y en línea con lo que señaló la Junta Consultiva de Contratación del Estado en
su informe 58/2018, los contratos que tienen por objeto la adquisición de programas de

105
VALCÁRCEL FERNÁNDEZ, V. “La delimitación de los tipos contractuales”. En GIMENO FELIÚ,
J. M. (dir.) Estudio sistemático de la ley de contratos del sector público. Arandazi, 2018, pp. 411-475.
[35]
ordenador son contratos de suministro con una excepción, que se trate de programas de
ordenador confeccionados a medida, en cuyo caso constituyen contratos de servicios,
sujetos ambos a la Ley 9/2017, de 8 de noviembre, de Contratos del Sector Público, y a
los que serían de aplicación las previsiones señaladas del artículo 308.

Para el caso de contratos de servicios de IA, en los que se diseña un sistema virtual
algorítmico ad hoc, las disposiciones del artículo 308 contemplan, como ya se ha
mencionado, como regla general la transmisión íntegra de los derechos de propiedad
intelectual, y por tanto, al igual que sucede en el caso de la Comunidad Valenciana,
todas las informaciones contenidas en el algoritmo constituirán información pública
sujeta a los límites del artículo 14 de la LTBG. No obstante, aquellos casos que no
supongan una creación o desarrollo de un sistema nuevo, sino la puesta a disposición, o
adaptación, de un sistema de IA preexistente, debería ser, por lo expuesto, calificado
como contrato de suministros. En estos supuestos, la norma no ofrece regla general
sobre la transmisión o no de los derechos de propiedad intelectual, de forma que, tal y
como recoge el artículo 122.2 LCSP, los pliegos podrán también especificar si va a
exigirse la transferencia de derechos de propiedad intelectual o industrial. Con carácter
general, en este tipo de contratos de suministro, la cesión de derechos de propiedad
intelectual no se lleva acabo, pues el suministro del software únicamente incluye
licencias y servicios profesionales de instalación, configuración e interacción con resto
de aplicaciones/plataformas utilizadas106. Se antoja, pues, como un elemento sustancial
incluir de forma expresa en los pliegos cómo y en qué medida se producirá la cesión de
los derechos de propiedad intelectual, con el objetivo de evitar futuras complicaciones
durante la ejecución o en la finalización del contrato.

No es sencillo, no obstante, encontrar el debido equilibrio en este punto. Y es que la no

transmisión de este tipo de derechos podría derivar, en primer lugar, en la captura de las
instituciones por parte de la entidad privada107. Este hecho, que está ocurriendo ya en
materia de contratación electrónica, se da cuando una parte importante del

106
Véase, a modo de ejemplo, el Expediente de contratación de una plataforma de licitación pública
electrónica para sistemas dinámicos de adquisición en el servicio canario de la salud, disponible en:
https://contrataciondelestado.es/wps/wcm/connect/548dcfc2-8846-4bad-9a84-
8d8693b3e3cd/DOC20190812123758Memoria+inicio.pdf?MOD=AJPERES
107
RAMIÓ, C. Inteligencia artificial y Administración pública. Robots y humanos compartiendo el
servicio público. Madrid: Catarata, 2018.
[36]
funcionamiento de la Administración depende del prestador de servicios y los sistemas
informáticos que éste pone a disposición. Una finalización del contrato, e incluso un
cambio de contratista, podría derivar en todo un trabajo de adaptación al nuevo sistema
informático de todas las actuaciones administrativas afectadas para asegurar su
compatibilidad108.

En segundo lugar, la cesión o no de derechos de propiedad intelectual, y por tanto la

titularidad de aspectos como el código fuente del algoritmo, debe ser un aspecto central
de todo contrato público de IA, ya que la titularidad privada de estos aspectos puede
derivar en una incapacidad de la Administración para justificar, motivar y dotar de la
debida transparencia a sus decisiones.

Y sin embargo, conviene tener en cuenta que una cesión total de derechos de propiedad
intelectual sobre el algoritmo a la Administración, convirtiéndolo en una cuestión de
dominio público, puede derivar en una apertura al público de información que podría ser
particularmente sensible para los intereses comerciales del licitador en relación con sus
competidores directos, provocando el consiguiente desincentivo en la concurrencia a
este tipo de contratos109. Así lo advirtió el Ministerio de Economía y Competitividad, al
elaborar sus recomendaciones sobre la compra pública de innovación recuerda que, de
cara a asegurar un equilibrio que permita garantizar al tiempo la concurrencia y los
principios administrativos, “conviene que los documentos que se utilicen para la
licitación del contrato contemplen ya la titularidad y la forma de reparto de los
posibles derechos de propiedad industrial e intelectual, cuidando no restringir los
derechos de los poderes públicos ni de las empresas adjudicatarias más allá de lo
necesario”110, y de hecho viene a sugerir que, con carácter general, la regla residual del
artículo 308 LSCP debe invertirse cuando afirma que “cuando se refiere a los nuevos
bienes y tecnologías desarrolladas con ocasión de la ejecución del contrato, […] lo

108
En este sentido, es importante resaltar la disposición adicional vigésima quinta de la LCSP, que
impone que “cuando finalice la prestación contractual los datos de carácter personal deberán ser
destruidos o devueltos a la entidad contratante responsable, o al encargado de tratamiento que esta
hubiese designado”.
109
ZALNIERIUTE, M.; BENNETT MOSES, L. y WILLIAMS, G. “The Rule of Law…” op. cit.
110
MINISTERIO DE ECONOMÍA Y COMPETITIVIDAD. Guía 2.0 para la compra pública de
innovación, 2019, p. 66
[37]
ordinario debe ser que los derechos de propiedad los retenga la empresa que
desarrolla los bienes y tecnologías”111.

En este sentido, la normativa de contratación pública –tanto la Directvia 2014/24 como

la Ley 9/2017– realizan una interpretación extensiva del principio de transparencia que
se aplica también a las informaciones de titularidad privada –por ejemplo, el contenido
las ofertas de los licitadores–, lo que permite en principio su aplicación libre salvo en
determinados supuestos, y prevé como límite o excepción principal la confidencialidad
de la información en relación a posibles perjuicios o vulneraciones para con los
licitadores112. Extremo éste, el de la confidencialidad de cierta información, que deberá,
a priori, ser declarado por el licitador en concreto con carácter previo para tener tal
consideración, aunque en la práctica muchos licitadores no hacen declaración expresa
de confidencialidad en confianza de que dicha información nunca saldrá del ámbito del
órgano de contratación113, y por tanto el propio poder adjudicador puede verse obligado
a realizar una ponderación de principios e intereses ante una posible reclamación de
información.

En este sentido, en su artículo 22 la Directiva 2014/24 establece, como excepción a la

publicación de información, que el poder adjudicador no divulgará la información
facilitada por los operadores económicos que estos hayan designado como
confidencial, por ejemplo, los secretos técnicos o comerciales y los aspectos
confidenciales de las ofertas. Y de manera similar se pronuncia la ley nacional que la
transpone, 9/2017, en su artículo 133, en el que pone especial énfasis en el respeto a las
disposiciones de la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos
Personales y garantía de los derechos digitales.

111
Ibidem en p. 67.
112
Cuestión ésta que ha sido identificado como un subprincipio dentro del de transparencia, denominado
el principio de máxima publicidad. DICKSON MORALES, R. “La transparencia en la contratación
pública”. En: RODRÍGUEZ-ARANA, J. Contrataciones públicas en el marco de los derechos sociales
fundamentales. Madrid: INAP, 2017, pp. 165-189 en p. 173.
113
MESA VILA, M. “La legitimidad para ejercer el derecho de acceso a la información en
procedimientos de contratación pública: la Resolución R/0086/2015 del Consejo de Transparencia y Buen
Gobierno”. En: GIMENO FELIÚ, J.M. Observatorio de los Contratos Públicos 2015. Cizur Menor:
Aranzadi, 2016, pp. 493-501 en p. 500.
[38]
Esta misma interpretación parece extraerse de la jurisprudencia del TJUE114, que
establece como principal límite del derecho europeo de los contratos a la divulgación de
información la posible distorsión de la competencia:

34 El objetivo principal de las normas comunitarias en materia de contratos públicos

comprende la apertura a la competencia no falseada en todos los Estados miembros
(véase, en este sentido, la sentencia de 11 de enero de 2005, Stadt Halle y RPL Lochau,
C‑26/03, Rec. p. I‑1, apartado 44).

35 Para alcanzar dicho objetivo, es necesario que las entidades adjudicadoras no

divulguen información relativa a procedimientos de adjudicación de contratos públicos
cuyo contenido pueda ser utilizado para falsear la competencia, ya sea en un
procedimiento de adjudicación en curso o en procedimientos de adjudicación
ulteriores115

Una información detallada sobre el funcionamiento de los algoritmos utilizados

conlleva un indudable riesgo de falseamiento de competencia si se desvelan a
competidores directos secretos comerciales o know how sobre el desarrollo de los
algoritmos –y en consecuencia, una posible reducción de la concurrencia en este tipo de
contratos por falta de interés comercial. En el caso de la contratación de sistemas de IA,
por tanto, sería conveniente clarificar, en cada tipo contractual, qué derechos específicos
de propiedad intelectual se transfieren a la entidad adjudicadora y cuáles no, y, en el
mismo sentido, asegurar el complejo equilibrio debido entre la debida transparencia y
capacidad de explicación del funcionamiento del algoritmo, por un lado –especialmente
en caso de recurso basado en su funcionamiento–, y la necesidad de asegurar la
confidencialidad de los secretos técnicos y comerciales que garanticen una debida
competencia en el mercado.

Quizá sería, en este sentido, deseable el diseño de un sistema de contratación específico

para IA que respondiera a sus particularidades, o al menos la elaboración de
documentos y recomendaciones guía por parte de la UE y las autoridades nacionales

114
Véase, además de la sentencia citada, la Sentencia del Tribunal General de la UE European Dynamics
Luxembourg vs Comisión Europea, asunto T-536/11.
115
TJUE, asunto C-450/06, Varec SA Vs État belge, de 14 de febrero de 2008, apartados 34 y 35
[39]
que incluyera criterios específicos para un correcto diseño de las especificaciones
relativas a la titularidad de la propiedad intelectual y las informaciones del algoritmo, de
forma que permitiera el adecuado equilibrio entre intereses.

5. CONCLUSIONES

Los usos de la IA en contratación pública pueden ser especialmente prometedores en

muchos aspectos, si bien actualmente se plantean esencialmente en cuestiones
relacionadas con la integridad, la buena administración y la supervisión de la actuación
administrativa. Estas herramientas permite a los operadores públicos optimizar sus
actuaciones en relación a la investigación de posibles irregularidades. El uso intuitivo de
este tipo de plataformas ofrece facilidades para poder llevar a cabo estas tareas a
aquellos entes públicos que de otro modo no podrían desarrollarlas por falta de medios,
al tiempo que su funcionalidad permite una actuación más eficiente en aquellas
entidades adjudicadoras mejor dotadas. Ya que se trata de construir medios de
prevención y control “no formales”, centrados por el contrario en una aproximación
funcional al caso, es esencial que los poderes adjudicadores cuenten con los métodos y
medios adecuados de evaluación de su actividad de manera que puedan realizar una
correcta asignación de recursos para estas actividades de supervisión y control.

En este ámbito, actualmente, y al igual que ocurre en el resto de esferas administrativas,

el uso de mecanismos de inteligencia artificial se focaliza esencialmente en las fases
preparatorias o previas que no forman parte del acto administrativo, y en todo caso los
algoritmos se encuentran lejos aún de llevar a cabo actuaciones automatizadas. No se les
ha asignado a estos sistemas, por el momento, poder decisorio como autoridad
administrativa. Esto, no obstante, no implica necesariamente que no tengan peso
específico en determinados actos administrativos finales, especialmente en lo relativo a
instrucciones internas, recomendaciones, etc. La problemática jurídica propia de los
algoritmos, como la falta de transparencia, por tanto, no desaparece, si bien puede verse
modulada.

Elementos como la capacidad de motivación de la decisión final o la necesaria certeza

de operatividad del algoritmo exigen que las tecnologías de IA utilizadas por la

[40]
administración cuenten con ciertos estándares de garantía para su uso. Las garantías
exigibles a los algoritmos dependerán de diversos factores como la incidencia del
procedimiento administrativo sobre derechos individuales, la relevancia del algoritmo
en relación con la decisión final, la existencia o no de filtro humano, etc. Elementos de
publicidad, como la creación de un procedimiento administrativo de validación de
algoritmos o de evaluación de impacto previa, pueden contribuir a dar visibilidad,
transparencia y legitimidad a estas herramientas incluso en casos de uso como parte de
los actos preparatorios.

En todo caso, se antoja esencial determinar ex ante qué partes del algoritmo, y en qué
medida, serán públicas y cuáles no. Los algoritmos desarrollados de forma pública han
sido clasificados como información pública, y por tanto sujetos a la Ley 19/2013, de
forma que únicamente cuando concurran algunas de las excepciones previstas en la
norma podrán declararse confidenciales partes del mismo. Sin embargo, el liderazgo del
sector privado en esta materia –así como la experiencia reciente en cuestiones de
administración electrónica– hace previsible que, de forma más o menos habitual, el
sector público acuda al privado para proveerse de este tipo de herramientas. La
regulación de contratación pública, en este sentido, es notablemente básica a la hora de
determinar cuestiones como la cesión o no de derechos de propiedad intelectual. La
clarificación de elementos relativos a la contratación de IA, especialmente en lo que se
refiere al equilibrio de transparencia y confidencialidad y a la titularidad de las
informaciones, sería conveniente. De esta forma, los mecanismos de soft law pueden ser
una herramienta aprovechable para proporcionar mayor seguridad jurídica a este tipo de
aprovisionamientos, al tiempo que se aseguran ciertos estándares mínimos de
transparencia y explicabilidad y se evita el temido fenómeno de la captura de las
instituciones por parte del sector privado fruto de un reparto erróneo de derechos y
responsabilidades.

No obstante, este antiformalismo debe embeberse, al menos en aquello estrictamente

imprescindible, en el necesario formalismo garantista de la ley administrativa.

BIBLIOGRAFÍA CITADA

[41]
ANITA, N. y TÜNDE, T. New warning systems for the identification of red flags in
public procurements. Transparency International Hungary, 2015.
BATHAEE, Y. “The Artificial Intelligence Black Box and the Failure of Intent and
Causation”. Harvard Journal of Law & Technology, 31(2), 2018, pp. 890 y ss.
BERNAL BLAY, M. A. “La Motivación de las resoluciones de adjudicación de
contratos públicos” Revista de estudios locales. Cunal, n. extra 161, 2013, pp.
189-216.
BODEN, M.A. Artificial Intelligence: Avery short introduction. Oxford University
Press, 2018.
CANALS AMETLLER, D. El ejercicio por particulares de funciones de autoridad:
(control, inspección y certificación), Comares, 2003
–– “El sistema administrativo de control interno y de supervisión de la contratación
pública”, Revista Galega de Administración Pública, 55, 2018, pp. 409-446.
–– “El proceso normativo ante el avance tecnológico y la transformación digital
(inteligencia artificial, redes sociales y datos masivos)”, Revista General de
Derecho Administrativo, n 51, 2019.
CAPDEFERRO VILLAGRASA, O. “Las herramientas inteligentes anticorrupción:
entre la aventura tecnológica y el orden jurídico”. Revista General de Derecho
Administrativo, n50, 2019.
COGLIANESE, C., LEHR, D. “Regulatory by Robot: administrative decision-making
in the machine-learning era”. Faculty Scholarship, University of Pennsylvania
Law School, 2017, p. 1734 y ss.
COTINO HUESO, L., “Big data e inteligencia artificial. Una aproximación a su
tratamiento jurídico desde los derechos fundamentales”, DILEMATA, 24, 2017,
pp. 131-150.
––. “Ética en el diseño para el desarrollo de una inteligencia artificial robótica y big data
confiables y su utilidad desde el Derecho”. Revista Catalana de Dret Public, n
58, 2019, pp. 30-48.
–– “Riesgos e impactos del big data, la inteligencia artificial y la robótica. Enfoques,
modelos y principios de la respuesta del Derecho”. Revista General de Derecho
Administrativo, 50, 2019.

[42]
DANAHER, J. “The Threat of Algocracy: Reality, Resistance and Accommodation”.
Philos Technol, 29, 2016, pp. 245-268.
DE GUERRERO MANSO, M.C. “Las consultas preliminares al mercado: una
herramienta para mejorar la eficiencia en la contratación pública”. En:
EGIMENO FELIÚ, J.M. (dir.) Estudio Sistemático de la Ley de Contratos del
Sector Público. Cizur Menor: Aranzadi, 2018, pp. 1.047-1.072 en pp. 1.065 y ss.
DICKSON MORALES, R. “La transparencia en la contratación pública”. En:
RODRÍGUEZ-ARANA, J. Contrataciones públicas en el marco de los derechos
sociales fundamentales. Madrid: INAP, 2017, pp. 165-189.
ESTEVE PARDO, J. “La Administración garante. Una aproximación”. Revista de
Administración Pública, 197, 2015, pp. 11-39.
FAZEKAS, M., JANOS TOTH, I. y KING L.P. “Corruption manual for beginners:
“Corruption techniques” in public procurement with examples from Hungary”.
Corruption Research Center Budapest Working Paper series: CRCB-
WP/2013:01, 2013.
FERRANDO GAMIR, A. “Mapping high-level corruption risks in Spanish public
procurement”. Corruption Research Center Budapest, 2015.
FERWERDA, J., DELEANU, I. y UNGER, B. “Corruption in Public Procurement:
Finding the Right Indicators”. Eur J Crim Policy Res, 2016.
GALLEGO CÓRCOLES, I. “La prevención de la corrupción en la contratación
pública”. En: NIETO MARTÍN, A. y MAROTO CALATAYUD, M. Public
Compliance: Prevención de la corrupción en administraciones públicas y
partidos políticos. Ediciones de la Universidad Castilla-La Mancha, 2014, pp.
61-92.
GIBERT I BOSCH, A. “Administración Local y competencia. Una visión económica
(con "pecados" clasificados)”. En: CANEDO ARRILLAGA, M.P. y
GORDILLO, PÉREZ, L.I. La autonomía local en tiempos de crisis: (reformas,
fiscalidad y contratación pública). Cizur Menor: Aranzadi, 2015, pp. 307-322.
GIMENO FELIÚ, J.M. “El necesario big-bang contra la corrupción en materia de
contratación pública y su modelo de control”. Revista Internacional
transparencia e Integridad, n.º 2, 2016.

[43]
–– “Corrupción y seguridad jurídica. La necesidad de un marco normativo de las
decisiones públicas anclado en los principios de Integridad y de Transparencia.”
Revista Internacional De Transparencia E Integridad, 9, 2019.
GONZÁLEZ SANFIEL, A.M. “Integridad en la contratación pública: patologías al
uso”. En: GIMENO FELIÚ, J.M. et al. Observatorio de los contratos públicos.
Las nuevas directivas de contratación pública. Cizur Menor: Aranzadi, 2015,
pp. 253-263.
HILDEBRANDT, M. Smart technologies and the end(s) of law, Chetlenham: Elgar,
2016.
JAREÑO LEAL, A. “La justificación del contrato público y el control del expediente de
contratación como formas de prevenir los delitos de corrupción”. Revista
Internacional Transparencia e Integridad, n.º 9, 2019.
KAUFMANN, D. “Back to the Basics – 10 Myths About Governance and Corruption”
IMF Journal ‘Finance and Develop-ment’, vol. 3, n.º 42, 2005.
KENNY, C. y MUSATOVA, M. “‘Red Flags of Corruption’ in World Bank Projects:
An Analysis of Infrastructure Contracts”, Policy Research Working Paper,
n5243, 2010.
MARTÍN DELGADO, I. “Naturaleza, concepto y régimen jurídico de la actuación
administrativa automatitzada”. Revista de Administración Pública, n.º 180,
2009, pp. 353-386.
–– “Automazione, intelligenza artificiale e pubblica amministrazione: vecchie categorie
concettuali per nuovi problemi?”, Istituzioni del Federalismo: Rivista di studi
giuridici e politici, 3, 2019, pp. 643 y ss.
MARTÍNEZ MARTÍNEZ, R. “Inteligencia artificial, derecho y derechos
fundamentales”. En: DE LA QUADRA-SALCEDO, T. y PIÑAR, J. L. (dirs.),
Sociedad digital y Derecho. Madrid: BOE- Red.es, 2018, pp. 259-278.
MATECHAK, J.P. “Fighting corruption in public procurement”. Center for
International Private Enterprise, 2005.
McMAHON, C. C. Machines Who Think: A Personal Inquiry into the History and
Prospects of Artificial Intelligence. Nueva York: A K Peters/CRC Press, 2004.
MEDINA ARNÁIZ, T. “La necesidad de reformar la legislación sobre contratación
pública para luchar contra la corrupción: las obligaciones que nos llegan desde
Europa”. Revista Vasca de Administración Pública, 104, 2016, pp. 77-112.

[44]
–– “El mapa de la corrupción en la contratación pública”. En: Los nuevos desafíos del
Derecho Público Económico. Homenaje al Profesor José Manuel Sala Arquer,
pendiente de publicación. Madrid: Cortes Generales, 2019, pp. 779 y ss.
(pendiente de publicación).
MESA VILA, M. “La legitimidad para ejercer el derecho de aceso a la información en
procedimientos de contratación pública: la Resolución R/0086/2015 del Consejo
de Transparencia y Buen Gobierno”. En: GIMENO FELIÚ, J.M. Observatorio
de los Contratos Públicos 2015. Cizur Menor: Aranzadi, 2016, pp. 493-501.
MIR PUIGPELAT, O. “El acceso a la información pública en la legislación española de
transparencia: crónica de un cambio de paradigma”, Revista Catalana de Dret
Public, 55, 2017.
MIRANZO DÍAZ, J. “Causas y efectos de la corrupción en las sociedades
democráticas” Revista de la Escuela Jacobea de Posgrado, n.º 14, 2018, pp. 1-
26.
–– “El necesario cambio de paradigma en la aproximación a la corrupción en la
contratación pública europea: propuestas para su sistematización”, Revista
General de Derecho Administrativo, 51, 2019.
MONTOYA MARTÍN, E. “Consideraciones sobre las actuaciones previas y su
incidencia en el procedimiento administrativo sancionador y en las garantías del
administrado”, Documentación Administrativa, n 280-281, 2008.
MORENO MOLINA, J.A. “Administración electrónica y contratación pública”. En:
PIÑAR MAÑAS, J.L. (dir.) Administración electrónica y ciudadanos. Cizur
Menor: Aranzadi, 2011, pp. 743 y ss.
NAVARRO GONZÁLEZ, R. M. La motivación de los actos administrativos.
Thompson Reuters Aranzadi, 2017.
OSWALD, M. “Algorithm-assisted decision-making in the public sector: framing the
issues using administrative law rules governing discretionary power”.
Philosophical Transactions, n. 379, 2018
PIGA, G. “A fighting chance against corruption in public procurement?”. En: ROSE-
ACKERMAN, S. y SOREIDE, T. International Handbook on the Economics of
Corruption, Volume Two. Massachusetts: Edward Elgar, 2011, pp. 141-181.

[45]
PONCE SOLÉ, J. La prevención de riesgos de mala administración y corrupción, la
inteligencia artificial y el Derecho a una buena administración”. Revista
Internacional Transparencia e Integridad, n 6, 2018.
RAMIÓ, C. Inteligencia artificial y Administración pública. Robots y humanos
compartiendo el servicio público. Madrid: Catarata, 2018.
SÁNCHEZ-GRAELLS, A. “Data-driven and digital procurement governance:
Revisiting two well-known elephant tales”. Communications Law - Journal of
Computer, Media and Telecommunications Law, 2019.
TEJEDOR BIELSA, J. La contratación pública en España ¿sobrerregulación o
estrategia?. Civitas, 2018.
TELGEN, J. y MANUNZA, E.R. “Non-intentional price preferences” Working paper
presented at 12th June 2017 Global Revolution VII, University of Nottingham,
2017.
TELGEN, J. y SCHOTANUS, F. “The effects of full transparency in supplier selection
on subjectivity and bid quality” University of Twente working paper, 2010.
Disponible en: https://www.researchgate.net/publication/254860242
TELGEN, J. y TIMMER, J. “Conditions for Rank Reversal in Supplier Selection”
University of Twente working paper, 2016. Disponible en:
https://www.researchgate.net/publication/307575475
TREPTE, P. “Transparency and Accountability as Tools for Promoting Integrity and
Preventing Corruption in Procurement: Possibilities and Limitations.” Document
prepared for the OECD Public Governance and Territorial Development
Directorate, Public Governance Committee, Expert Group Meeting on Integrity
in Public Procurement. OECD Document No: Unclassifed - GOV/PGC/ETH,
2005.
TRYBUS, M. “Favouring Small and Medium Sized Enterprises with Directive
2014/24/EU?”. EPPPL, n 3, 2017. p. 224-238.
VALCÁRCEL FERNÁNDEZ, V. “La delimitación de los tipos contractuales”. En
GIMENO FELIÚ, J. M. (dir.) Estudio sistemático de la ley de contratos del
sector público. Arandazi, 2018, pp. 411-475.
VALERO TORRIJOS, J. “Las garantías jurídicas de la inteligencia artificial en la
actividad administrativa desde la perspectiva de la buena administración”,
Revista Catalana de Dret Public, n 58, 2019, pp. 83-96.

[46]
 VALLES BENTO en su trabajo “Aplicación de inteligencia artificial y big data en el
control de la administración pública y en el combate a la corrupción: la
experiencia del gobierno brasileño”, Revista General de Derecho
Administrativo, 50, 2019.
WENSINK, W. y MAARTEN DE VET, J. Identifying and Reducing Corruption in
Public Procurement in the EU. Bruselas: PwC EU services, 13 de junio 2013.
ZALNIERIUTE, M.; BENNETT MOSES, L. y WILLIAMS, G. “The Rule of Law and
Automation of Government Decision-Making”. The Modern Law Review, 82(3),
2019, pp. 425-455.

[47]

View publication stats