Algoritmos, predicción criminal y debido proceso[1]
Por Marcelo
Alfredo Riquert[2]
Sumario: 1. Introducción: tecnología y su impacto en lo
fondal y en lo procesal. 2. Forensia digital y “machine learning”. 3.
Prevención proactiva, provocación por “chatbots” y un derecho penal operativo
“sin sospechas”. 4. Algoritmos y sesgos ideológicos. 5. Tecnología de
predicción criminal (crime prediction tech). 6. Algunas observaciones finales.
“…no todos somos iguales ante los algoritmos…”
(Kate Crawford y Cathy O’Neil)[3]
1. Introducción: tecnología y su impacto en lo
fondal y en lo procesal
En
momentos en que la conectividad sigue aumentando en forma geométrica y casi el
60% de la población mundial tiene acceso a Internet y el 50% usa redes
sociales, que además la cantidad de horas de conexión también crece (más aun
cuando se transita una pandemia que acentuó esta necesidad suplantando
actividades presenciales por telemáticas), es claro que ese factor criminógeno
que la tecnología conlleva tiene un campo de incidencia que también crece. Y,
correlativo, se incrementa la cibervigilancia o ciberpatrullaje en procura de
la detección de contenidos de naturaleza delictiva. Como ilustra Cherñavsky,
para esto se desarrollan herramientas capaces de analizar grandes volúmenes de
datos. Inicialmente centradas en el análisis de palabras clave en las redes y, luego,
en el análisis de los metadatos, como son los
de creación de dichas imágenes y datos, las fuentes de estos, etc., que
se han mostrado de una gran capacidad para la prevención de “ciberdelitos”[4].
Como
apunta Carlos Christian Sueiro, la década pasada es en la que se verificó, en
términos de inteligencia artificial (IA), el pasaje de ser un sistema “in
vitro”, en los laboratorios dedicados a la investigación de nuevas tecnologías,
a un sistema “in vivo”, a partir de su uso por parte de la población a través
de variados dispositivos electrónicos que los que se desarrolla la vida
cotidiana[5].
Siguiendo a Stephen Hawking postula que ello se debe esencialmente a la
convergencia de seis factores: 1) macrodatos o big data; 2) poder de
procesamiento; 3) interconexión mundial; 4) software y datos de dominio
público; 5) mejores algoritmos; 6) rendimientos acelerados. Ello genera el
establecimiento de marcos teóricos compartidos, combinado con la disponibilidad
de datos y poder de procesamiento, que ha producido éxitos notables en diversas
tareas de componentes como el reconocimiento de voz, la clasificación de
imágenes, vehículos autónomos, traducción automática, locomoción articulada y
sistemas de preguntas y respuetas. Se verá, de algunas de estas cuestiones nos
ocuparemos más adelante[6].
Retomando,
a la observación de la incidencia de la tecnología en clave fondal sigue
entonces que, paulatinamente, se verifica cómo el proceso penal se va nutriendo
de lo que se ha dado en llamar técnicas forenses de segunda generación que,
como puntualiza Polansky, consisten en análisis de ADN, rastreo satelital y
geolocalización, análisis biométrico (reconocimiento facial y de iris), minería
de datos, entre otras. Pueden producir evidencia en la gran mayoría de las
investigaciones penales ya que tienen un campo de aplicación extremadamente
amplio y encuentran su fundamento en saberes considerados científicos
requiriendo de hecho conocimientos sumamente especializados[7]. En
muchos de estos casos, las herramientas de asistencia para la producción de la
respuesta o asistencia experta se basan en la capacidad de procesamiento de una
masiva cantidad de datos e información mediante hardware y software que
evolucionan vertiginosamente[8].
Y
esto último, en ocasiones, se produce con prescindencia de una posterior
intervención humana como, por ejemplo, en los sistemas que usan técnicas de
“machine learning” o, en general, cuando la hay, el problema es que a
diferencia de la forensia de primera generación (tradicional diríamos hoy), con
las técnicas de segunda generación el operador no es un especialista o experto
del área de conocimiento de que se trate (no es un “perito”) y no puede dar
cuenta de la metodología que llevó a la herramienta al resultado, sino que su
tarea se reduce a colocar los inputs de la forma adecuada y retirar los
resultados del análisis que la herramienta genera automáticamente. Así, su
idoneidad se limita a su experiencia operando la herramienta y no
necesariamente debe estar relacionada con la disciplina sobre la cual se
realiza el peritaje[9].
También se ha llamado la atención sobre la carencia de revisión de pares, lo
que ha llevado a que algunos académicos propongan generar laboratorios
estatales que controlen que los programas de segunda generación produzcan
resultados confiables[10].
2. Forensia digital y “machine learning”
Si
volvemos sobre el primer supuesto indicado en el último párrafo de la
introducción, el uso del “machine learning”, en estos casos, se nutre el
algoritmo “de aprendizaje” de toda la información disponible (si fuera
destinado a reconocimiento facial, la que tengamos sobre rostros similares, o
sea, todas las fotografías de esa clase que dispongamos) para que, por sí
mismo, encuentre los patrones comunes (por ej., distancia entre ojos o
pómulos). Como señala Polansky, el programa va modificando su comportamiento en
la medida en que es expuesto a más y más información: cuantas más fotografías
se le otorguen para que “aprenda”, mejor será su capacidad de reconocer
personas. Así, el comportamiento de programa no es estático sino dinámico, se
modifica en la medida que aprende. Su característica central es que se ajustan
a su entorno, al igual que los seres humanos, aprenden de su contexto y se
adaptan a los cambios en este, se perfeccionan en la medida en que reciben más
datos. Un programa avanzado de reconocimiento facial reconoce miles de puntos
invisibles de los rostros de las personas, lo que le permite distinguir una de
otra, y lo hace mejor cuanto más se lo use y amplíe su base de datos[11].
Se verá, esta característica cobrará interesante incidencia en discusiones
acerca de la extensión del acceso al algoritmo de IA, a su diseño, en confronte
con el ejercicio del derecho de defensa en juicio (en síntesis, si no conozco
la metodología no puedo controlar el resultado)[12].
Lo
que no debe perderse de vista es que a través de “machine learning” se han
desarrollado numerosos algoritmos de reconocimiento no sólo facial sino también
de voz e imágenes en general, de predicción de conductas, de recomendación de
productos (baste pensar en nuestra diario experiencia en redes sociales y
sistemas de entretenimiento en streaming), entre otros. Polansky trae el
ejemplo de “Facebook”, que ha desarrollado un algoritmo que permite predecir
con un alto grado de probabilidad si se formará o se romperá una pareja o si
una persona intentará suicidarse en un corto periodo de tiempo[13].
Por
supuesto, en todos los casos, un punto de suma importancia es la cota o nivel
de afectación tolerable para la privacidad que puede permitirse en el
procesamiento de datos sensibles. No puede soslayarse la observación de
Zaffaroni en el sentido que la acelerada tendencia a acumular información que
permite orientar el consumo mediante cibervigilancia, deviene en mercancía,
clasifica personas y genera un doble informático de ellas, las identifica en
grupos y termina anunciando un nuevo medio de control social de conducta, sin
olvidar que eventualmente estos datos se intercambian con servicios secretos
para detectar disidentes y, en definitiva, la privacidad tiende a desaparecer [14].
En
la misma línea, Dupuy resalta que se debe brindar transparencia a la ciudadanía,
que debe poder controlar cómo son utilizados sus datos personales tanto por
aparatos estatales como empresas privadas, para qué fines. En el primer
aspecto, llama la atención sobre el uso de tecnología por las fuerzas de
seguridad y los Estados para “patrullar” Internet con el objeto de predecir y
detectar tempranamente casos de ciberdelincuencia. No obstante su utilidad para
iniciar una investigación penal, su puesta en práctica ofrece como problema
posible la transgresión de la privacidad de los usuarios, por lo que debe
debatirse seriamente su uso, que debe ser “muy
cauto y precavido”[15].
3. Prevención proactiva, provocación por “chatbots”
y un derecho penal operativo “sin sospechas”
También
debe llamarse la atención sobre el uso de programas que constituyen verdaderos
“agentes provocadores” de delitos bajo manto de una proactiva tarea de
prevención y que, por lo tanto, resultan pasibles de las mismas críticas que
merece el instituto de la provocación en términos generales. Ilustrativo
ejemplo nos trae Cecilia C. Danesi al referirse a los llamados “agentes conversacionales” o “chatbot” para la “caza” de un posible
delito. Se trata de programas informáticos que simulan y procesan
conversaciones humanas escritas o habladas, permitiendo a los humanos interactuar
con dispositivos digitales como si se estuvieran comunicando con una persona
real. Uno de ellos es “Negobot”, un agente conversacional creado por la
Universidad de Deusto, que simula ser una niña (“Lolita”) y busca detectar
pedófilos en Internet y redes sociales utilizando procesamiento de lenguaje
natural (NLP, por sus siglas en inglés), recuperación de información
(information retrieval, IR) y aprendizaje automático. Indica la nombrada que el
sistema aplica la “Teoría de los juegos”, creada por el matemático John Nash
(Nobel de Economía en 1994), área de la matemática que a partir del uso de
modelos estudia la toma de decisiones y las interacciones en lo que se conoce
como estructuras formalizadas de incentivos, los juegos[16].
María E. Bavio hace referencia a otro proyecto similar para perseguir pedófilos
online utilizado por la ONG holandesa “Terre des Hommes”, que creó un avatar
llamado “Sweetie”. Se trata de una representación de una niña de diez años
manejada por un agente de la organización, que interactúa en foros posibles de
ser concurridos por pedófilos que toman contacto con la supuesta niña con fines
ilícitos y, luego, ello es puesto en conocimiento de las autoridades para ser
investigados[17].
Con
la mirada en este orden de aspectos en los que priman factores negativos, José
F. Arce postula que la utilización de las TIC en la investigación de hechos
delictivos, supone una nueva forma de violencia que tiene el Estado para
conseguir finalidades sociales definidas en las políticas públicas, de allí que
la denomina “violencia digital estatal”.
Aclara que la contracara es que sirve asimismo como política de derechos
humanos, ya que debe ser utilizada también como política que busca restringir
el uso de la violencia[18].
Sin ánimo de
extenderme ahora innecesariamente sobre el punto, desde una mirada general, es
importante no perder de vista que la problemática en tratamiento enmarca dentro
de un cuadro general en el que es dable observar, como desde hace más de una
década enfatizara John A.E. Vervaele, están cambiando los mecanismos
desencadenantes o los umbrales mínimos para el uso de medidas coactivas para
luchar contra delitos graves, para anticipar la intervención penal. Se trata de
la instalación de un verdadero derecho penal “sin sospechas”[19]
que se legitima por la necesidad de prevenir hechos de manifiesta gravedad.
Ciertamente, la tecnología se está volcando en esta dirección y, otra vez, la
inquietud es por los límites que deben marcarse al esfuerzo anticipatorio.
Desde esta perspectiva
luce de interés la observación acerca de la necesidad de que el concepto de domicilio deba actualizarse[20].
Apunta Juan Molinas que hoy en día un alto porcentaje de “Big Data” es generada
desde los teléfonos celulares y computadoras personales que, en virtud de la
información que reúnen (papeles privados, documentos, fotografías, etcétera),
bien podrían ser equiparadas a un domicilio. Si se actualiza este concepto
habría de reformularse inevitablemente su protección. Y el nombrado encuentra
la que califica como “una primera y
saludable aproximación” en la opinión de Orin Kerr, quien ha estudiado la “Teoría del Mosaico” de la Cuarta
Enmienda de la Constitución de los Estados Unidos de América. Informa así que,
a partir del estudio de los precedentes “Maynard” y “Jones” de la Suprema Corte
de aquel país, propone que aquella garantía de inviolabilidad del domicilio no
debe activarse frente a la intromisión de un agente policial, sino que
actualmente existen numerosas secuencias (mosaico) vinculadas a la
geovigilancia, cibervigilancia, etcétera, que debieran hacer disparar la
protección constitucional en igual sentido que lo pensó el constituyente
originariamente. Afirma, en consecuencia, que “De este modo es importante analizar y cuestionar hasta qué punto o en
qué términos sería válido obtener información de estos dispositivos sin
colisionar, en primer lugar, con el principio de inviolabilidad de domicilio,
pero también con la indispensable y tan cara libertad de expresión (receptados,
por ejemplo, en los arts. 14 y 18 dela CN)"[21].
Ciertamente podría abrirse espacio a una amplia discusión en torno a la
corrección de esta propuesta o enunciar otras alternativas que, sobre base
diversa, postularían soluciones de límites similares (por ejemplo, no se
trataría del domicilio sino de la intimidad lo que hay que proteger). De
momento, baste la información sobre la importancia del interrogante y su
eventual línea de abordaje.
Retomando
el tópico específico en consideración, Cherñavsky ha planteado, con razón, que
la aplicación de los sistemas de IA para las investigaciones policiales y el
proceso penal (por ejemplo, utilización de algoritmos predictivos y valoración
de riesgos), ofrece un panorama en el que, por sobre las afirmaciones, priman
los interrogantes[22].
Por cierto, como se ha resaltado, no escapa en la poliédrica consideración que
estas herramientas también pueden facilitar y potenciar la concreción de
conductas disvaliosas que tienen o merecen tener recepción típica.
Al
identificar las cuestiones problemáticas de mayor interés actual, la profesora
de la UBA, enuncia las siguientes: a) la atribución de responsabilidad en los programados sistemas de
conducción autónoma[23]; b) la afectación de la privacidad mediante el
procesamiento de grandes volúmenes de información (big data y data mining [24]);
c) la discriminación algorítmica en distintos campos (habilitación o censura de
contenidos, sesgo ideológico en programas, preferencia de oferta de resultados)[25].
4. Algoritmos y sesgos ideologicos
Cerraba
el punto anterior mencionando una cuestión que no es otra que aquella que
sintetizaba la cita con la que abrió el trabajo: la discriminación algorítmica.
Respecto de esta, José E. Toto, con remisión a la opinión de Gillespie
puntualiza que: “Más que simples
herramientas, los algoritmos son también estabilizadores de confianza,
garantías prácticas y simbólicas de que sus evaluaciones son justas y precisas,
y libres de la subjetividad, el error, o el intento de influencia. Pero, aunque
los algoritmos pueden parecer ser automáticos y sin mancha por las
intervenciones de sus proveedores, esto es una ficción cuidadosamente diseñada”.
Lo que profundiza seguidamente con cita concordante a Kitchin, en cuanto
expresa que: “Los algoritmos son creados con
propósitos que son a menudo lejanos de ser neutrales: la creación de valor y el
capital; para empujar a las preferencias de comportamiento y estructura de una
determinada manera; e identificar, ordenar y clasificar a las personas”[26].
Por cierto, esta nota es singularmente trascendente cuando de lo que se trata
es de algoritmos que apoyan decisiones en materia penal.
En
coincidencia, Dupuy sostiene que la evolución de las técnicas de recolección,
entrecruzamiento y tratamiento masivo de los datos personales ha otorgado de
hecho a la policía facultades de vigilancia, investigación y control sin
precedentes y que, si bien es cierto que es fundamental una buena actividad de
prevención e investigación del delito, no lo es menos ocuparse acerca de los
límites para no vulnerar las garantías propias del Estado de derecho. Así, debe
someterse su actividad a criterios transparentes de proporcionalidad y
razonabilidad, evitando violar derechos como la privacidad y la no
discriminación, en pos de predicciones algorítmicas que podrían estar sesgadas[27].
Desde
una mirada general que, por supuesto, comprende lo penal, esto ha llamado a que
se aconseje extremar la prudencia al establecer los lineamientos para la
incorporación de herramientas de IA en apoyo de distintos campos de la gestión
judicial. En ese sentido, Danesi recuerda que la “Carta ética europea sobre el uso de la inteligencia artificial en los
sistemas judiciales y su entorno” (del 3/12/2018) establece cinco
principios para el uso de la IA en el ámbito judicial:
1)
principio de respeto de los derechos fundamentales: asegurar que el diseño y la
implementación de las herramientas y servicios de IA son compatibles con los
derechos fundamentales;
2)
Principio de no discriminación: específicamente prevenir el desarrollo o la
intensificación de cualquier discriminación entre individuos o grupos de
individuos;
3)
Principio de calidad y seguridad: con respecto al procesamiento de decisiones
judiciales y datos, usar fuentes certificadas y datos intangibles con modelos
concebidos en un sistema multidisciplinario de manera, en un entorno
tecnológico seguro;
4)
Principio de transparencia, imparcialidad y equidad: hacer métodos de
procesamiento de datos accesibles y comprensibles y autorizar auditorías
externas; y,
5)
Principio “bajo control del usuario”:
precluir un enfoque prescriptivo y asegurarse de que los usuarios estén
informados y en control de sus elecciones[28].
A
su vez, Muñoz Rodríguez indica que el Supervisor Europeo de Protección de datos
señala que en el entorno digital actual ha de tenerse en cuenta la dimensión
ética del tratamiento de datos. Asimismo, que la Comisión Europea recuerda que
la IA ha de desarrollarse y aplicarse en un marco adecuado, que promueva la
innovación y respete los valores y derechos fundamentales de la Unión, así como
principios éticos tales como la obligación de rendir cuentas y la
transparencia, que están relacionadas con riesgos de la IA, como son la
opacidad, impredecibilidad y autonomía de algunos sistemas complejos, así como
los riesgos para la seguridad y efectivo funcionamiento del régimen de
responsabilidad[29].
Teniendo
en cuenta la incidencia de tales baremos, en lo que sigue se pasará revista a
una de las cuestiones centrales en la discusión sobre los usos de IA en materia
penal: la tecnología de predicción criminal (otra sería la gestión judicial,
que llevaría a exceder la pauta fijada para esta colaboración).
5. Tecnología de predicción criminal (crime prediction tech)
Dentro
del campo específico del derecho punitivo señala Cherñavsky la existencia y uso
de sistemas de
IA, como son los algoritmos de predicción que, a partir de un conjunto de datos
existentes, realizan o imparten recomendaciones para actuar. Se trata de
tecnología útil tanto en la prevención e investigación del delito (procesando,
analizando y sistematizando grandes volúmenes de información), como la adopción
de decisiones como las cautelares, la verificación de plazos o la progresión de
la ejecución de la pena, dentro del proceso[30].
Podría
decirse que los programas predictivos están siendo utilizados tanto para la
tarea de prevención policial –con distintas perspectivas y alcances-, como para
apoyar la gestión de algunas fases del proceso en las que la decisión debe
tomarse haciendo ponderación de riesgos. Con alusión a la experiencia
estadounidense, Miró Llinares habla de “inteligencia artificial policial” (IAP)
e “inteligencia artificial judicial”
(IAJ), respectivamente[31].
Veamos.
Desde
el punto de vista de la prevención del delito, su investigación o, incluso, de
la ubicación de sospechosos, imputados y condenados que evaden su vinculación
al sistema judicial, se han desarrollado numerosas iniciativas de ayuda
tecnológica que ofrecen diferentes grados de interés y discusión. Básicamente,
esto ha sucedido allende nuestras fronteras y, al presente, podría decirse que
las que se han incorporado y usado en investigaciones argentinas han recibido
escasa o nula consideración en la jurisprudencia nacional. De allí que, al
presentarlas, la referencia de dicho orden estará primariamente ceñida a
menciones de derecho y precedentes foráneos.
En
este sentido, a modo de anticipar y solucionar cuestiones previsiblemente
judicializables en un futuro cercano, luce oportuna la sugerencia que hace
Jonathan A. Polansky. En concreto, propone como altamente beneficioso para el
sistema de justicia nacional contar con un comité científico independiente,
conformado por expertos reconocidos en sus disciplinas, miembros del Ministerio
Público Fiscal y de la Defensa, así como también representantes de los colegios
de abogados (agregaría que también debería haber alguien del segmento de la
Magistratura), que corroboren el correcto funcionamiento de los diferentes
programas que se utilizan en el sistema judicial penal nacional (nuevamente
agrego: sea federal o provincial), para determinar el grado de confianza que se
debe tener en la evidencia que producen. Este comité podría aplicar ingeniería
inversa para intentar descifrar los códigos fuente que las empresas
desarrolladoras se niegan a mostrar, o realizar pruebas testigo para conocer el
margen de error o las cuestiones que resultaren relevantes para evaluar las
herramientas. Por último, otra alternativa sería que los productos fueran
desarrollados por entes estatales que pusieran a disposición de la Justicia y
de las partes los algoritmos[32].
Puede acotarse que algo de esto último viene realizando el MPF de la provincia
de Buenos Aires con sus propios peritos informáticos. Sentado ello, entre las
diferentes alternativas que ofrece el punto, nos centraremos ahora en lo
relativo a la vigilancia predictiva y dejaremos para una futura contribución lo
atinente a las herramientas de reconocimiento facial.
Como
se anticipó, la información predictiva permite hacer cálculos probabilísticos
sobre diversas cosas que, en lo que nos interesa, pueden ir desde que alguien
realice en el futuro un delito hasta que las autoridades policiales sepan dónde
es más probable que suceda y, para hacerlo, los programas se nutren de una
enorme cantidad de datos y variables. Apunta Dupuy que pueden incluirse los
reportes criminales y denuncias, las estadísticas, llamados de emergencia,
reportes comunitarios, informes de modus operandi, actividad criminal reciente
en zonas determinadas previamente mapeadas, vinculaciones con modalidades
frecuentes y sectores con alta probabilidad de ocurrencia de robos, tráfico de
estupefacientes, ejercicio de violencia con fechas y horas, entre otros datos e
información. Todo esto se procesa sobre la base de algoritmos de aprendizaje
automatizado y se brindan predicciones en tiempo real, ofreciendo a las fuerzas
de seguridad un mapa del delito que les permite distribuir sus recursos y
organizar la prevención de focos conflictivos en una ciudad o barrio
determinado[33].
Se puede implementar una “vigilancia
predictiva” que, aclara la nombrada, es una tendencia creciente que ya se
utiliza en distintos departamentos de Los Ángeles, Miami y Nashville, y en
algunas fiscalías de distrito en Manhattan y Filadelfia[34].
Pero
no sólo eso, en ocasiones, la herramienta de IA lo que permite es procesar una
enorme cantidad de información que circula en redes sociales con el objeto de
individualizar contenidos delictivos. Si bien se volverá sobre esto con más
detalle al momento de tratar su uso en el marco de la actual emergencia
sanitaria, vale anticipar que algo que nunca puede perderse de vista en estos
instrumentos es la consideración ética. Fernando Miró Llinares destaca la
presencia de este factor en el desarrollo de “ModeRad”[35],
usado para detectar mensajes potencialmente radicales en Twitter. No se trata
de una herramienta que nos ofrezca un “policía artificial”, sino de una que
ahorre tiempo de trabajo, reduciendo sustancialmente el número de mensajes que
la policía tiene que leer antes de tomar la decisión de hacer una investigación
jurídica o no hacerla. Es clave, resalta Miró, no perder de vista que es el
humano quien analiza la posible amenaza y toma de decisiones, ayudado por la
IA, que se limita a reducir significativamente la muestra[36].
Pero,
por cierto, no es sólo eso, sino que debe atenderse a que la información sobre
la actividad delictiva –que siempre ha existido- se ha multiplicado conforme el
incremento del uso de novedosas fuentes tecnológicas. Así, los datos que
proveen el sistema de cámaras públicas y privadas en la vía pública y en
recintos de símil acceso, las corporales que llevan encima los agentes de
policía en muchos casos, la facilidad para obtener imágenes y filmaciones con
drones o por vía satelital, los registros de nuestros teléfonos inteligentes y
aplicaciones que utilizamos, mensajería y demás publicaciones en las más
diversas redes sociales. Todo esto, como enfatiza el propio Miró, ha cambiado
la cultura del “performance” policial, invirtiéndose cada vez más dinero para
tener recursos que permitan almacenar y procesar la creciente información.
Menciona como ejemplo paradigmático al “predictive
policing” o “PredPol”, conjunto
de IAP basado en la aplicación de técnicas cuantitativas para identificar
objetivos de interés policial con el propósito de reducir el riesgo delictivo
mediante la prevención de futuros delitos o la resolución de otros pasados[37].
En términos preventivos, puede observarse cómo se va expandiendo el uso de
herramientas de valoración de riesgo, por ejemplo, de violencia doméstica o
también de género, para proporcionar información útil para la actuación de
equipos de atención temprana. En España, informa Miró, se ha desarrollado el
sistema de seguimiento integral “VioGen” para, a través de un algoritmo que
analiza la información actuarial disponible en el protocolo de valoración del
riesgo (VPR), intentar la identificación de aquellos casos en los que la
victimización por violencia doméstica es más probable[38].
Nora
Cherñavsky, en términos críticos, señala que el problema de los sistemas
predictivos policiales es que parten de los propios sesgos de los datos previos
relevados por la propia institución y, luego, se utiliza big data. Así, con
base en las estadísticas y análisis de datos, se pueden determinar con cierta
precisión la existencia de lugares que predisponen más a ciertos delitos (los
llamados puntos calientes o “hot spots”,
por ej., sitios donde por la venta de alcohol se producirán más choques)[39].
O incluso anticipar su probable frecuencia y, en función de ellos, tomar
decisiones acerca de la intensidad de la presencia de las fuerzas de seguridad
en el sector[40].
Pero, ciertamente, aquel inicial sesgo incide en los análisis predictivos,
cuyas respuestas estarán teñidas por la ideología humana creadora del algoritmo[41].
Esto deja claro el riesgo cierto de que se termine facilitando y profundizando
un determinado diseño político criminal selectivo que, si se mantienen
parámetros históricos (porque nada haría pensar lo contrario), sería más
criminalización de los delitos comunes a cargo de los sectores socialmente más
excluidos.
En
algunos casos, como los sistemas predictivos para detener personas, se nutren
del historial policial de los individuos y estudian, por ej., a las personas
con quienes se relacionan aquellos que se busca para capturar[42].
Esto, apunta la nombrada, es de dudosa constitucionalidad[43],
sin perjuicio de que pueda ser aceptado en alguna circunstancia excepcional,
como sería en la actualidad si se resigna la privacidad de personas en función
de detectar si se junta con personas infectadas por Covid 19 en el marco de la
emergencia por una pandemia mundial (lo que ha efectivamente sucedido en
algunos países asiáticos)[44]. En
este sentido, es correcta –y necesario no olvidar- la genérica advertencia de
Leonardo P. Palacios en cuanto a que el desarrollo tecnológico puede crear una
nueva serie de afectaciones masivas a los derechos humanos[45].
Coincide
Dupuy en que el acceso a una enorme cantidad de datos debería ser evaluado y
analizado bajo el alcance legal de una razonable expectativa de privacidad, lo
que en el caso concreto permitiría determinar si se requiere una orden
específica emanada del juez competente. Por detrás, claro está, se trata de no
perder de vista que la información predictiva sobre aspectos como la propensión
a cometer delitos pone en riesgo el respeto de derecho fundamentales y, por
eso, acierta la nombrada cuando indica que “la
adopción de innovaciones tecnológicas superadoras debería ser compatible con
las normativas vigentes en materia de protección de datos”[46].
El
nombrado Palacios llama la atención sobre algo de sumo interés en torno al
problema de los “sesgos”. Recuerda que la
“Declaración de Toronto sobre
protección de igualdad y no discriminación en los sistemas de aprendizaje
automático”[47],
redactada por numerosas ONG en el año 2018, advierte sobre su impacto en
sistemas de vigilancia policial, sistemas de bienestar social, provisión de
asistencia médica, plataformas en línea, y concientiza sobre la promoción del
derecho positivo al disfrute de los avances en ciencia y tecnología, y la
responsabilidad de los Estados y de las empresas, en torno al desarrollo de la
inteligencia artificial[48].
Esta
Declaración, suerte de guía para regulaciones futuras, basada en el derecho a
la igualdad y no discriminación, resalta Palacios, asume la universalidad,
indivisibilidad, interdependencia e interrelación de los derechos humanos, y
sobre estas características afirma que los sistemas de aprendizaje automático
deben poner sumo énfasis en prevenir la discriminación de cualquier tipo, como
así también que los “Estados deberían
promover el derecho positivo al disfrute de los avances en ciencia y tecnología
como afirmación de los derechos económicos, sociales y culturales”[49].
Otro dato de interés vinculado es que nuestro país también ha participado como
co-sponsor en la “Declaración sobre ética
y protección de datos en inteligencia artificial”[50].
Conforme
se ha ido presentando el punto, se vio que hay un amplio marco de críticas por
los sesgos ideológicos presentes en el tipo de algoritmos de los que nos
venimos ocupando. Sin embargo, no faltan voces que relativizan el problema.
Así, Bonet Navarro señala que no debe sorprender que estos sistemas resulten
imperfectos y que produzca sesgos tan excesivos como inaceptables, pero que
esto no excluye su futuro potencial para ayudar o incluso sustituir la decisión
del ser humano. En su consideración, sólo se requiere para superarlos un mayor
avance tecnológico y un especial control que limite los posibles sesgos o
desviaciones que pueda producir. En particular reclama debemos ser objetivos en
esto, en el sentido de que no le parece adecuado negar el potencial de la AI
por el mero hecho de que no es –ni tal vez nunca lo sea- un sistema perfecto; o
porque pueda producir, aunque sea minimizados, determinados sesgos. Entiende el
nombrado que mediaría una exigencia de perfección que, en paralelo, no tenemos
cuando admitimos la imperfección del ser humano como algo natural y le
toleramos decisiones basadas prácticamente en la mera intuición, cuando no en
el prejuicio más o menos disimulado. Desde esta perspectiva lo que se propone,
en definitiva, es que el potencial de la AI se valore con criterios y
exigencias equivalentes a las que exigimos al ser humano. Si así fuera,
arriesga el nombrado que, no duda, en un futuro no lejano, los sistemas de AI
no perderán la partida en lo referente a fiabilidad y corrección frente a la
tradicional resolución por el ser humano[51].
Mientras
tanto, en muchos lugares se seguirá conviviendo con sistemas de policía
predictiva con las características antes criticadas. Juan Molinas llama la
atención sobre el de "lista
estratégica de sujetos” (strategic subjet list o SSL) de la ciudad de
Chicago, que vivió para el año 2016 un fuerte brote de violencia armada en sus
calles, por lo que la Policía decidió afrontar el problema apelando a la IA
partiendo de la base que un pequeño grupo de individuos era responsable por un
gran número de delitos asociados a armas de fuego. Se trabajó con la mentada
lista que, mediante algoritmos capaces de procesar grandes volúmenes de datos,
identifican tanto posibles víctimas como victimarios y permiten intervenciones
tempranas, ya sea con investigaciones policiales o por intermedio de los servicios
sociales. Esta mirada de quienes favorecieron la iniciativa se desdibujó
rápidamente porque las autoridades policiales no ofrecieron precisiones
respecto de cómo estaba programado este algoritmo y en qué medida se decidía
que para un determinado individuo en la SSL le correspondería arresto
preventivo o intervención de los servicios sociales. Hubo una disputa legal por
la que se obligó a publicar esta “watchlist" en el periódico “Chicago Sun
Times”[52].
Señala
Molinas que, como consecuencia, se conocieron datos que califica como
estremecedores: a) muchos de los arrestos efectuados obedecían a los datos que
arrojaba la SSL; b) la cantidad de gente arrestada fue mayor a la que fue
abarcada por los servicios sociales; c) el 56% de la población de hombres afroamericanos
de entre 20-29 años se encontraba incluida en la lista; d) se computaban como
antecedentes negativos los simples arrestos (no condenas); e) la mayoría de los
arrestos efectuados en virtud de este algoritmo fueron en áreas donde la
policía ya trabajaba fuertemente[53].
Asimismo,
apunta el nombrado que, en nuestro país, obedeciendo probablemente a
dificultades presupuestarias y de capacitación, las fuerzas de seguridad aún no
cuentan con un gran desarrollo en lo atinente a la IA, porque no abundan las
investigaciones de este tipo. No obstante, menciona como un ejemplo claro un
estudio realizado en la ciudad de Mar del Plata, donde mediante la utilización
de los software ArcGIS y Crimestat IV ser relevaron los datos asociados a robos
de viviendas, comercios y automotores en períodos de mayo y octubre del año
2016, tomando como fuente los llamados efectuados al servicio de emergencias
911; y así determinar cuáles son las zonas calientes de aquel conglomerado[54].
Explica
Mariana A. Cirese que la premisa de la experiencia fue, justamente, asumir la
existencia de un componente espacial en las conductas delictivas que genera su
concentración en un determinado lugar y no en otro, lo que se da principalmente
por la relación entre una víctima, ofensor y oportunidad. El enfoque se basa
tanto en estudios que indican que no puede pensarse el análisis criminal sin la
ubicación de los datos en el territorio usando sistemas de información
geográfica al servicio de la planificación policial para la distribución de recursos
y generación de políticas públicas, como en las implicancias de la testeada por
dos décadas con trabajos empíricos “teoría
de la revictimización” de Chainey, conforme a la que quien haya sufrido un
robo corre mayor riesgo de ser robado nuevamente que quienes no lo hayan
padecido; lo que no significa que vaya a ser víctima del mismo delito de nuevo,
sino que el riesgo de lo que sea es del doble; aumento del riesgo que decae por
el paso del tiempo (desaparece entre uno y dos meses luego de ser victimizado).
Así, el “mapeo criminal” se convirtió
en una de las principales herramientas gubernamentales para gestionar la
seguridad: al advertirse la concentración de hechos en determinadas zonas
pueden destinarse recursos estatales que eviten la pérdida de control o dominio
del espacio público[55].
Habiendo
quedado expuestas las líneas generales del problema concretamente asumido,
antes de cerrar valga recordar que varias de las observaciones ensayadas en
torno a las herramientas útiles para la predicción delictual en manos
policiales pueden extenderse al campo de los sistemas de IA aplicados a la
actividad judicial para valoración de riesgos (IAJVR[56]),
que hemos dejado fuera de este trabajo. Baste señalar que nos referimos a las
implicancias que pueden asumir el mismo tipo de sesgos en el marco de los
procesos de toma de decisiones relacionados con la valoración del riesgo de
aquellos individuos que se ven envueltos en una causa judicial, tanto durante los
momentos iniciales, como puede ser para la aplicación de medidas cautelares, pero
también tras la condena. Es decir, se trata de herramientas con base en el
historial de comportamiento del procesado o condenado y datos estadísticos,
informan un pronóstico para la toma de decisiones tan importantes como la
concreción del régimen penitenciario, la concesión la libertad condicional, la
reubicación del reo en uno u otro régimen penitenciario, entre otras[57].
6. Algunas observaciones finales
Naturalmente,
han de ser provisorias, nota que deviene de las dificultades para sacar
conclusiones sobre una realidad en constante y rápida transformación. Es claro,
los avances tecnológicos, singularmente lo relativo a la IA, tienen un impacto
significativo para la materia penal, tanto en lo fondal como en lo procesal. En
lo primero, por sus eventuales repercusiones como factor criminógeno, pero
también, de revés, por su probable utilidad en sentido preventivo que, a su vez,
plantea arduas cuestiones en torno a sus límites en conexión con derechos
fundamentales (basta pensar en la videovigilancia, el ciberpatrullaje o los
agentes provocadores virtuales). En lo segundo, porque proporciona al proceso
penal los resultados de la aplicación de técnicas forenses de segunda
generación –con sus singulares características, que incluyen el uso de “machine
learning”- para analizar la cada vez mayor incidencia de la evidencia de fuente
digital.
Estamos
en un momento de acelerada evolución de lo relativo al arsenal técnico que
facilita la recolección, el
entrecruzamiento y el tratamiento masivo de datos personales. El Estado y sus
agencias policiales comienzan a disponer de posibilidades de vigilancia,
investigación y control hasta hace poco sólo imaginadas. En términos ideales,
nos ubica ante la posible optimización de la labor de prevención e
investigación. En términos reales, nos enfrente –otra vez- al ineludible
problema de encontrar un punto de equilibrio entre la eficacia y las garantías
que definen a un Estado social y democrático de derecho. El desafío es que la
incorporación de herramientas de apoyo a la gestión judicial penal se logre sin
arrasar en el camino con todo el sistema de garantías fruto de una larga lucha
secular. Ejemplo de este esfuerzo es la “Carta
ética europea sobre el uso de la inteligencia artificial en los sistemas
judiciales y su entorno” (del 3/12/2018), con sus cinco principios para el
uso de la IA en el ámbito judicial: respeto de los derechos fundamentales, no
discriminación, calidad y seguridad, transparencia, imparcialidad y equidad, y,
finalmente, bajo control del usuario.
Se
ha centrado la atención en uno de los núcleos principales en que se está
concretando tal incorporación: tecnología de predicción criminal (IA policial).
Han sido expuestos tanto sus ventajas como sus problemas. Así, se destacó que
los algoritmos de predicción tienen su ámbito de utilidad tanto en lo relativo
a la prevención e investigación del delito, como –a partir de la valoración de
riesgos- para brindar material de apoyo a las decisiones judiciales vinculadas
a medidas cautelares o la progresión en la ejecución de la pena.
La
llamada “vigilancia predictiva” procesa sobre la base de algoritmos de aprendizaje
automatizado una masiva cantidad de datos que ofrece a las fuerzas de seguridad
un mapa del delito que les permite distribuir sus recursos y organizar la
prevención de focos conflictivos en una ciudad o barrio determinado. También
permite dicha capacidad de procesamiento individualizar contenidos delictivos o
potencialmente delictivos en las redes sociales. Las fuentes que nutren a los
organismos son variadas y comprenden desde todo tipo de registros oficiales o
material que circula en forma abierta en redes hasta datos que proveen el
sistema de cámaras públicas y privadas en la vía pública y en recintos de símil
acceso, las corporales que llevan encima los agentes de policía en muchos
casos, los drones o por vía satelital, entre otras. Y, en términos críticos, no
puede soslayarse que esas fuentes son seleccionadas siguiendo sesgos que pueden
orientar ideológica o sectorizadamente las predicciones. Hay un riesgo cierto
de que se termine facilitando y profundizando un determinado diseño político
criminal selectivo que, si se mantienen parámetros históricos -porque nada
haría pensar lo contrario-, sería más criminalización de los delitos comunes a
cargo de los sectores socialmente más excluidos. De allí que se formula
advertencia en cuanto a que el desarrollo tecnológico puede crear una nueva
serie de afectaciones masivas a los derechos humanos. Reflejo de la
preocupación, por ejemplo, la “Declaración
de Toronto sobre protección de igualdad y no discriminación en los sistemas de
aprendizaje automático”, redactada por numerosas ONG en el año 2018.
Se ha
enfatizado entonces la necesidad de una mirada crítica frente a estas
herramientas: la cuestión central que debemos considerar es si con estos
algoritmos eliminamos el sesgo humano (nos dan la respuesta de base matemática,
objetiva, imparcial y eficaz) o si simplemente lo camuflamos con tecnología y
favorecemos el establecimiento de un derecho penal de autor disimulado a la vez
que potenciado por un “bucle de retroalimentación pernicioso”. En términos del
debido proceso, además, la mengua manifiesta para el ejercicio del derecho de
defensa se concreta por la inaccesibilidad de los defensores al diseño, carga y
funcionamiento de los algoritmos en base a los cuales se ha concretado un nuevo
ejercicio de poder punitivo.
[1] El
presente trabajo se ha desarrollado en el marco del Grupo de Investigación
Argentino-Brasileño “Garantías
constitucionales en materia penal” (UAA de Argentina/PUC de San Pablo,
2020-2021), que integro en carácter de Investigador Invitado.
[2]
Doctor en Derecho (UNMDP). Master en Derecho Penal (U.Salamanca, España).
Director del Área Departamental Penal de la Facultad de Derecho, UNMDP.
Catedrático de Derecho Penal, Parte General y Director de la carrera de
posgrado “Especialización en Derecho Penal”, UNMDP. Ex Presidente de la
Asociación Argentina de Profesores de Derecho Penal (2013-2015).
[3] Cf. evoca Sofía E. Mantilla, en su trabajo
“Hacia una estrategia nacional de
Inteligencia Artificial”, ed. Instituto de Estrategia Internacional, Buenos
Aires, octubre de 2018, pág. 53 (con
cita al documento “For a Meaningful Artificial
Intelligence. Towards a French and European Strategy”, pág. 113). Podría decirse que la pertinencia de
la apertura con esta evocación es que, justamente, sintetiza la base de todo el
problema que se irá exponiendo en este capítulo. Puede acotarse que Kate
Crawford –junto a Meredith Whittaker- es fundadora del “AI Now
Institute” (https://ainowinstitute.org/), que funciona desde 2017 en la
Universidad de Nueva York (NYU), tratándose de un instituto de investigación
que estudia las implicaciones sociales de la IA. Cathy O’ Neil ha sido antes
citada por su conocida obra “Armas de destrucción
matemática”, en la que denuncia que los algoritmos tienen capacidad de
provocar un gran daño en diversas áreas (justicia, educación, trabajo) al
reproducir y facilitar la expansión de las mismas desigualdades y prejuicios
ideológicos imperantes en la sociedad, que pueden incluso verse reforzados
luego de su intervención.
[4] Cherñavsky, en su trabajo “¿Qué hay nuevo sobre el Ciber patrullaje en
fuentes abiertas?”, disponible desde el 17/6/2020 en su blog “Ciberdelitos”
(https://ciberdelito.com/2020/06/17/que-hay-de-nuevo-sobre-el-ciber-patrullaje-en-fuentes-abiertas/). Con relación a la vigente Res. MS
144/2020, que adoptó un Protocolo de actuación para el ciberpatrullaje policial
a propósito de la pandemia por el COVID-19, señala en otro trabajo que entiende
que dicha actividad preventiva limitada a la emergencia sanitaria se ha
regulado con base “en principios de actuación respetuosos de los pactos de
derechos humanos en cuanto a la privacidad, intimidad y no afectación del
ámbito de reserva de las personas, por cuanto no serán objeto de investigación
las costumbres o inclinaciones políticas, religiosas, de género o sexuales de
los ciudadanos y el tratamiento de sus datos, deberá ser conforme al principio
de proporcionalidad y necesidad, conforme a lo dispuesto en la ley 25326 de
protección de datos personales” (en su trabajo “Ciberdelito. Ciberpatrullaje. Dataísmo y control de datos en el marco
de la pandemia de Covid-19”, pub. en AAVV “Derecho Penal y Pandemia. XX
Encuentro de la AAPDP. Homenaje al Prof. Julio B. Maier”, Ediar/AAPDP, Bs.As.,
2021, pág. 244).
[5] En
su trabajo “La inteligencia artificial
aplicada a la vigilancia electrónica de personas en la pandemia Covid-19”, pub. en AAVV “Derecho Penal y Pandemia. XX
Encuentro de la AAPDP. Homenaje al Prof. Julio B. Maier”, Ediar/AAPDP, Bs.As.,
2021, pág. 265.
[6] Sueiro, ob.cit., págs. 267/268. Suerte de
“lado oscuro”, agrega el nombrado que también se ha llamado la atención sobre
los riesgos que entraña la IA, que asimismo fueron divididos en seis factores
claros y bien definidos, como riesgos de: 1) rendimiento; 2) seguridad; 3)
control; 4) económicos; 5) sociales y, 6) éticos. No obstante, la llamada
cuarta revolución industrial, afirma, se encuentra definida y basada
esencialmente en la implementación eficiente y exitosa de la IA en todas las
áreas del desarrollo humano (ídem, pág. 270).
[7] Cf. Jonathan A. Polansky, en su obra “Garantías constitucionales del
procedimiento penal en entorno digital”, Hammurabi, Bs.As., 2020, pág. 105.
Versión digital disponible en https://biblioteca.hammurabidigital.com.ar/reader/garantias-constitucionales-en-entorno-digital?location=105
[8] Cf. Polansky, puede formularse un listado no
exhaustivo de las herramientas informáticas disponibles, que se conforma con:
1) el programa “UFED” de la empresa Cellebrite, que permite obtener información
con-tenida en dispositivos celulares; 2) el programa “Encase”, de la compañía
OpenText, que se aplica para obtener imágenes forenses de información contenida
en dispositivos de almacenamiento digital;
3) el software “TrueAllele”, producto de la empresa Cybergenetics, que
utiliza métodos estadísticos y algoritmos matemáticos para establecer perfiles
genéticos; 4) los dispositivos
“Breathalyzer”, “Drunk-O-Meter” e “Intoxilizer”, que se usan para medir el
alcohol en el aliento; 5) programas de reconocimiento facial –puede agregarse que
la tecnología usada en CABA es de origen chino-; 6) "ShotSpotter”, un
software que se utiliza para detectar disparos de armas de fuego; 7)
“Stingray”, programa que actúa como simulador de antena telefónica; 8)
“COMPAS”, software de evaluación de riesgos para la predicción de conductas
(ob.cit., págs. 110/116). Sobre el último se volverá en extenso en el texto
principal. Más adelante, el mismo autor al tratar el caso "United States
v. Ocasio”, de junio de 2013, hace referencia a otra herramienta allí
cuestionada para que revele su código fuente, que es el programa “Child
Pornography System” (CPS), de la empresa TLO, que busca archivos vinculados a
pornografía infantil en distintas redes de Internet (pág. 130).
[9] Cf. Polansky, ya citado, pág. 118.
[10] Cf. Polansky, ya citado, pág. 123.
[11] Trabajo citado, pág. 109.
[12] El propio Polansky vuelve sobre este
punto en su trabajo titulado “Algunos
apuntes para evitar consagrar una lotería de Babilonia de algoritmos en la
justicia penal”, pub. en AAVV “Cibercrimen III”, dirigido por Dupuy y
Corvalán, coord. por Kiefer, ed. BdeF, Montevideo-Buenos Aires, 2020, pág. 245.
[13] Polansky, ya citado, pág. 109. Al
referirse a los sistemas predictivos, Juan Molinas propone se adopte como
definición de "predicción” a la
que la entiende como “un conjunto de
actuaciones que por intermedio de un procedimiento determinado y siguiendo
resultados de modelos numéricos —a través de la calificación de distintos
valores— se dirige a definir la probabilidad de un suceso determinado"
(en su trabajo “Procesos penales
predictivos. La influencia de la inteligencia artificial y sus posibles
límites”, pub. en revista “Sistema penal e informática”, dirigida por M.A.
Riquert y coordinada por C.C. Sueiro, Hammurabi, Bs.As., vol. 4, agosto de
2021, pág. 310).
[14] Cf. E. R. Zaffaroni, en su ponencia “Bases para un derecho penal
latinoamericano”, pub. en AAVV “Derecho Penal. Compilación In Memoriam.
Libro homenaje al Dr. HC. Mult. Felipe Andrés Villavicencio Terreros”, Bill
Alan del Castillo Merma director, editado por la Federación Peruana Unificada
de Abogados, Cusco, Perú, diciembre de 2020, pág. 18; versión digital
(consultada el 4/1/2021) disponible en https://drive.google.com/file/d/1MpmD3GaprvXvwdZkEYOVxF6T7QtARxJv/view?fbclid=IwAR2Qct0_DK_1SexRGjv7PzwfgoI3BJUpv3oq92Jr9ip3Zo-t8BMdfhwdX08 . En la misma dirección, Daniela Dupuy
señala que en la actualidad las investigaciones en entornos digitales nos
enfrentan a retos constantes en razón que los ciberdelincuentes complejizan sus
modus operandi en el ciberespacio. Esto exige que el Estado esté a la altura
tecnológica para contrarrestar aquellos efectos, en pos de una efectiva
persecución penal, pero siempre respetando el límite de lo constitucionalmente
válido (en su trabajo "Inteligencia
artificial y tecnologías disruptivas en el proceso penal”, pub. en AAVV
“Inteligencia artificial, tecnologías emergentes y derecho”, dirigido por
Cecilia C. Danesi, Vol. 1, Hammurabi, 2020, pág. 87).
[15] Dupuy, en su trabajo “Inteligencia artificial aplicada al derecho penal y procesal penal”,
pub. en AAVV “Cibercrimen II”, ed. BdeF, Montevideo-Bs.As., 2018, pág. 385.
Ccte: José E. Toto, en cuanto resalta la inherente conflictividad entre big
data y privacidad (en “Big data,
inteligencia artificial y algoritmos. El derecho a una explicación ante la
adopción automática de decisiones. Tensión entre las nuevas tecnologías y los
derechos de las personas”, pub. en AAVV “Inteligencia Artificial y
Derecho”, dirigido por Federico M. Álvarez Larrondo, Ed. Hammurabi, Bs.As.,
2020, pág. 156). El parág. VI de su trabajo se dedica expresamente a explicitar
las posibles afectaciones a los principios consagrados en la Ley 25326 de
Protección de Datos Personales: consentimiento, finalidad y privacidad (pág.
157 y ss.). Asimismo, recuerda que -conforme Dec. 899/1769- es la Agencia de
Acceso a la Información Pública (AAIP) la autoridad de aplicación y resalta
entre la normativa reciente a la Res. 159/2018 de “Contenidos básicos que las normas corporativas de autorregulación
empresaria deben cumplir para alcanzar un nivel adecuado de protección de datos
personales que se transfieran a países sin legislación adecuada” y a la
Res. 4/2019 de “Criterios orientadores e
indicadores de mejores prácticas en la aplicación de la ley 25.326”.
Por cierto, incorporado al derecho interno por vía de la Ley 27483
(junio de 2019), el antiguo “Convenio 108
de protección de las personas con respecto al tratamiento automatizado de datos
de carácter personal de la Unión Europea” (1981), abierto a la adhesión de
Estados no miembros del Consejo Europeo, es la “columna vertebral” de la
legislación de protección de datos personales en Europa y en gran parte del
mundo, tratándose del único instrumento multilateral de carácter vinculante en
materia de protección de datos personales, que tiene por objeto proteger la
privacidad de los individuos contra posibles abusos en el tratamiento
automatizado de sus datos. Desde el 10/10/2018 se ha abierto a la firma en
Estrasburgo su versión actualizada: “Convenio
108+” (ob.cit., págs. 164/166).
[16] En su trabajo “Inteligencia artificial y Derecho”, pub. en AAVV
“Inteligencia artificial, tecnologías emergentes y derecho”, dirigida por
Danesi, Vol. 1., 1ª Edición, Hammurabi, Bs.As., 2020, págs. 67/68.
[17]
Bavio, en su trabajo "Garantías
constitucionales en el marco de la prevención e investigación de delitos
cibernéticos. Agente encubierto online en la lucha contra el cibercrimen”, pub. en AAVV “Medios de prueba en el
proceso penal”, Pablo Ordoñez director, tomo 4 “Prueba digital”, Hammurabi,
Bs.As., 2021, pág. 74.
[18] Arce, en su trabajo “Política criminal y delitos informáticos en Argentina”, pub. en
AAVV “Derecho informático 1”, dirigido por G.M. Zamora, Hammurabi, Bs.As.,
2020, pág. 202 y nota al pie Nº 4.
[19] Vervaele,
en su trabajo titulado “Medidas procesales especiales y protección de los
derechos humanos. Informe General”, pub. en “Utrecht Law Review” (www.utrechtlawreview.org), Vol. V, Issue 2 (octubre), 2009, pág.
170.
[20]
Cf. Juan Molinas, en “Procesos penales
predictivos. La influencia de la inteligencia artificial y sus posibles
límites”, pub. en la revista “Sistema penal e informática”, dirigida por
M.A. Riquert y coordinada por C.C. Sueiro, vol. 4., Hammurabi, Bs.As., 2021,
pág. 331.
[21]
Molinas, ya citado, pág. 331.
[22] En su trabajo “Sistemas automatizados de inteligencia
artificial. Estado de situación. Problemas y preguntas”, inédito.
[23] En una reciente serie televisiva,
“Upload” (2020, disponible en la plataforma de streaming “Prime Amazon”), que
sitúa la acción en un futuro no muy lejano puede verse algo de esta
problemática en un mundo en que los vehículos carecen de conductores, son todos
autónomos y, sin revelar datos sobre la trama, se muestra que el rodado tiene
la opción de privilegiar la seguridad del pasajero o priorizar la minimización
de daños en el entorno: quien se sube elije entre el modo de manejo que le
garantiza que, en caso de accidente, el programa atienda primero uno u otro
aspecto. Sobre las implicancias de las tesis individualistas o egoístas y las
tesis utilitaristas o del mal menor nos extenderemos en un capítulo específico
dentro de este trabajo.
[24] Sin perjuicio de la definición normativa
nacional (Res. 11-E/2017, STIyC), Álvarez Larrondo remite para su concepto a
Solar Cayón, para quien con “big data” se hace referencia a conjuntos de datos
cuyo volumen, complejidad (variabilidad) y velocidad de crecimiento dificultan
su captura, almacenamiento, gestión, procesamiento y análisis mediante las tecnologías
convencionales dentro del marco temporal necesario para que resulten útiles.
Está conformado por dos grandes áreas de trabajo: el análisis de datos y la
visualización de datos. Dentro de la primera se encuadra la “minería o exploración de datos”, una
disciplina que se mueve a caballo entre la estadística y las ciencias de la
computación. La minería de datos constituye la principal técnica de análisis
automatizado de big data. Su objetivo es extraer información de grandes
volúmenes de datos brutos (no estructurados) y transformarla en una estructura
comprensible para su uso posterior. Para ello utiliza fundamentalmente
tecnologías de aprendizaje automático y métodos estadísticos, además de
técnicas de tratamiento de bases de datos (en “El nuevo Derecho Artificial. Desafíos para el Derecho en general”,
pub. en AAVV “Inteligencia Artificial y Derecho”, bajo su propia dirección, Ed.
Hammurabi, Bs.As., 2020, pág. 31, nota al pie N° 14).
Haissiner-Pastor señalan que el “minado
de datos” designa la práctica de descubrir relaciones y patrones útiles e
interesantes en importantes volúmenes de información, tratándose de un campo
donde se combinan herramientas como la estadística y la IA para estudiar los
“data sets” y extraer cifras de interés para los seres humanos (en su obra “Neurociencias, tecnologías disruptivas y
tribunales digitales”, ed. Hammurabi, Bs.As., 2019. pág. 53).
[25] Trabajo inédito citado, punto 3.
[26] Trabajo citado, pág. 154. No debe
soslayarse que existe una manifiesta tensión entre el derecho a recibir una
explicación sobre el funcionamiento de un algoritmo y la reserva propia del
aseguramiento de la propiedad intelectual de quien lo creó o diseñó. Más
adelante, aclara que en mayo de 2018, comenzó a aplicarse el nuevo Reglamento
General de Protección de datos (RGPD) de Europa en todos los Estados miembros
de la Unión Europea con la intención de adecuarse a la era digital y que, entre
sus muchas disposiciones, interesan en particular las relacionadas con la
adopción automática de decisiones sin intervención humana, que ordenan
proporcionar “información significativa” a los interesados acerca de cómo se
utilizan sus datos y que están contenidas en los arts. 13, 14, 15, 22 y 71 del
RGPD (pág. 170). Por supuesto, la determinación de qué constituye satisfactoriamente
el estándar de información significativa es abierto campo de discusiones entre
quienes están de un lado y otro de la aludida tensión.
[27] Dupuy, en “Inteligencia…”, ya citado, pág. 90.
[28] Cecilia C. Danesi, en “Inteligencia…”, ya citado, pág. 70.
[29] Ya citada, pág. 705.
[30] Trabajo citado, punto 5. Con cita a Nieva
Fenoll recuerda la existencia de distintas herramientas que pueden ayudar al
juez a valorar la prueba u ordenar su razonamiento: Stevie, Embrace, Echo,
Pierce-IGTT 61, entre otras.
[31] En “Inteligencia…”,
ya citado, pág. 97.
[32] Ob.cit., pág. 143.
[33] Trabajo citado, pág. 283.
[34] Ya citada, pág. 284.
[35] Indica Miró Llinares que se trata de un
desarrollo de los investigadores del Centro “Crimina” y del Centro de
Investigación Operativa de la Universidad Miguel Hernández (UMH) de Elche,
dentro del proyecto europeo “Pericles” y el proyecto nacional “CiberHache”. El
sistema utiliza una técnica de IA denominada “árbol de decisión”, donde cada
rama está compuesta de variables que, en función de su valor, marcan el camino
a seguir hasta la hoja final que representa una decisión (en “Crimen y castigo en un algoritmo
predictivo. Posibilidades tecnológicas y límites éticos de la IA”, pub. en
revista “Sapiens”, UMH, Elche, N° 26, febrero de 2020, pág. 13). Se verá en el
texto principal herramientas sobre la base del mismo esquema para apoyar la
gestión judicial.
[36] Miró Llinares, “Crimen y castigo…”, ya citado, pág. 13.
[37] En “Inteligencia…”,
ya citado, págs. 99/100.
Puede ampliarse sobre “PredPol” (y similares) en la obra de Cathy O’Neil, donde
refiere a modo de ejemplo su impacto a partir de 2013 en la pequeña localidad
de Reading, Pensilvania, Estados Unidos y, del otro lado del Atlántico, en la
británica Kent, explicando en los casos concretos cómo plasma el que llama “bucle de retroalimentación pernicioso”
magnificando la criminalización de los sectores de mayor pobreza; es claro, la
delincuencia de cuello blanco de Wall Street no se puede combatir mejorando el
patrón de patrullaje de una cuadrícula para tornarlo más eficiente, lo que sólo
tiene sentido si lo que se persiguen son infracciones al orden público (ya
citada, capítulo 5 “Víctimas civiles. La justicia en la era del big data”).
También advierte sobre este problema derivado de su uso Daniela
Dupuy, quien informa que la asociación “Human Rights” sostiene que se centra
casi solo en los barrios más pobres, discriminando a las comunidades
afroamericana e hispana. De hecho, agrega, si un modelo predictivo enfocado en
los delitos mayores con toda probabilidad produciría un mapa desordenado y
completamente inútil, uno centrado en los delitos menores y el comportamiento
antisocial compone un mapa que inevitablemente apunta a barrios específicos:
los más pobres (en su trabajo "Inteligencia…”,
ya citado, pág. 92).
[38] En “Inteligencia…”,
ya citado, pág. 102. Con relación a la referencia a la información “actuarial”
es conveniente recordar con Juan Molinas que, para
definirla en el campo de lo penal, hace falta algo más que el uso de las
probabilidades y es la correlación entre ciertos rasgos grupales (físicos,
sociales, culturales, educativos, geográficos, etcétera) y una eventual tasa de
ofensa grupal (delitos, infracciones, disturbios, etc.) que permita determinar
cuál es la respuesta jurídico-penal aplicable a ese riesgo que ha sido
predicho. De allí que sostenga que “…(n)o
caben dudas que el actuarialismo penal sembró las bases para el desembarco de
la IA en el ámbito penal, resultando determinante para el funcionamiento de
herramientas predictivas en las distintas agencias”, lo que comprende desde
software que en Argentina habilita a computadoras para elaborar y emitir
dictámenes, hasta complejos algoritmos que determinan la peligrosidad de
determinados individuos en USA (ya citado, pág. 311; puede ampliarse allí sobre
los orígenes del “actuarialismo” en materia penal y el trabajo de Burguess a
partir de 1928 en el marco de la escuela de Chicago).
[39] Trabajo citado, punto 5. Algo importante,
a no perder de vista, es que el problema de los sesgos tiene implicancias mucho
más amplias. Por ejemplo, ante los avances tecnológicos para poder leer,
modificar y descifrar la actividad neuronal (por caso, para mejorar
dificultades en la salud), se ha planteado la necesidad de una suerte de nuevo
subcatálogo de derechos humanos que serían los “derechos neuronales”.
Esto así en función de que a la pregunta “¿Pueden dos derechos humanos cardinales como el derecho a la vida y el
derecho a la privacidad ser suficientes para —en todo caso— proteger la mente
como tal, la privacidad mental y/o justificar la sanción de un tipo penal que
prohíba el acceso indebido a la misma?", la respuesta sería negativa.
Se necesitaría algo más. Piccirolli y Diak informan que, para mayo de 2019, en
la Cámara de Senadores de Chile se encuentran trabajando en un proyecto que
busca incluir los “neuroderechos” en su Carta Magna y, así, proteger la mente,
pero entendida esta bajo una acepción orgánica (cf. su trabajo “Hacia un nuevo paradigma en el cibercrimen:
¿por qué debemos regular los neuroderechos?”, pub. en revista “Sistema
penal e informática”, dirigida por M.A. Riquert y coordinada por C.C. Sueiro,
Hammurabi, Bs.As., vol. 4, agosto de
2021, pág. 80).
Palacios recuerda que tal propuesta por los derechos neuronales es de
Rafael Yuste, neurocientífico de la Universidad de Columbia, propulsor del
proyecto “BRAIN”, quien identifica cinco (5) derechos neuronales o “neuroderechos”, el último, justamente
vinculado a los “sesgos”. El listado se compone de: 1) derecho a la privacidad
mental; 2) derecho a la identidad personal; 3) derecho al libre albedrío; 4)
derecho al aumento de la neurocognición; 5) derecho a la “protección de los sesgos”, que implica que la conexión pueda
generar discriminación entre sexos, razas o personas de otro pensamiento
político (Palacios, ob.cit., págs. 121/122; Favio Farinella, “Neuroderechos humanos”, pub. en la
biblioteca jurídica online “elDial.com” –http://www.eldial.com-, edición del
6/5/2020, ref.: elDial.com-DC2A8F).
Por su lado, los citados Piccirilli y Diak enfatizan que, hoy en día,
existe una carrera invisible entre muchos desarrolladores de tecnología junto a
grandes sponsors por alcanzar de manera exitosa el acceso a la mente, lo que
puede ofrecer amplias bondades en materia médica (por ej., padecimientos
neuronales o motores). Entre ellos cuentan desde Facebook pasando por Elon Musk
y su proyecto “Neuralink” hasta los proyectos gubernamentales como los chips de
China, como así también los EE.UU. en donde la Agencia de Proyectos de
Investigación Avanzados de Defensa (DARPA), perteneciente al Departamento de
Defensa, estaría desarrollando interfaces cerebro-computador para estrategia
militar. El interés, además, señalan transita porque quien lo logre podrá
ofrecer un sinnúmero de servicios (desde manejo de recuerdos y conocimiento a
pedido del titular hasta la manipulación y control de las personas,
recopilación de información de utilidad) a disposición de corporaciones,
gobiernos, o bien, al mejor postor (ob.cit., pág. 71).
[40] Así, Corvalán-Ciraudo relatan la
experiencia inglesa con sistemas como KDE (Kernel Density Estimation), ProMap o
PredPol, donde para reducir el robo en un sector de viviendas urbanas se
utilizó un sistema de IA predictivo para realizar un mapeo del delito en una
zona de la ciudad donde había gran concentración de delincuencia. A partir de
los datos de enero de 2016, el sistema pronosticó para el mismo mes del año
siguiente un total de 248 hechos delictivos y el margen de error fue realmente
muy pequeño, fueron efectivamente 268 hechos, apenas 20 de diferencia (ob.cit.,
pág. 273). Daniela Dupuy agrega IBM SPSS y a un programa hecho para Dubai, el
Space Imaging Middle East o SIME (ya citada, pág. 283, nota al pie N° 7).
[41] Ccte.: Dupuy, ya citada, pág. 284.
[42] Menciona Miró, como ejemplo, el “algoritmo de Rossmo”, que permite
estimar el área geográfica donde con mayor probabilidad reside un presunto
agresor serial en función de la ubicación de los delitos que previamente se le
atribuyen (en “Inteligencia…”, ya
citado, pág. 102).
[43] Cherñavsky, en “¿Qué hay de nuevo…”, ya citado, punto 5.
[44]
Sobre el particular me he extendido en el trabajo titulado “Coronavirus:
entre la prevención y el ciberpatrullaje”, pub. en “Revista de Derecho Penal y
Criminología”, dirigida por E.R. Zaffaroni, ed. La Ley, Bs.As., Año X, N° 11,
diciembre de 2020, págs. 15/30.
[45] Palacios, en su trabajo “Derechos Humanos e Inteligencia Artificial”,
pub. en AAVV “Inteligencia Artificial y Derecho”, dirigido por Federico M.
Álvarez Larrondo, Ed. Hammurabi, Bs.As., 2020, pág. 117.
[46] Antes citada, pág. 285.
[47] Disponible en
http://www.accessnow.org/the-toronto-declaration-protecting-the-rights-to-equality-and-non-discrimination-in-machine-learning-systems/
[48] Trabajo citado, pág. 119.
[49] Trabajo citado, págs. 119/120.
[50] Disponible en http://www.argentina.gob.ar/noticias/etica-y-proteccion-de-datos-en-la-era-digital
y
http://www.privacyconference2018.org/system/files/2018-10/20180922_ICDPPC-40th_AI-Declaration_ADOPTED.pdf.
(cf. José E. Toto, pág. 152 y nota al pie N° 38).
[51]
José Bonet Navarro, en su trabajo “Algunas
reflexiones sobre la viabilidad de la inteligencia artificial en el proceso
penal”, pub. en “Revista Inmexius. Revista de Derecho Penal y Procesal
Penal”, Instituto Mexicano de Estudios y Consultoría en Derecho, Año IV, No.
40, abril de 2020, pág. 20. Versión digital disponible en
https://www.uv.es/ajv/obraspdf/Algunas%20reflexiones%20sobre%20la%20viabilidad%20de%20la%20Inteligencia%20Artificial%20en%20el%20proceso%20penal.pdf
[52] Trabajo citado, pág. 326.
[53] Trabajo citado, pág. 327.
[54]
Trabajo citado, pág. 324. La referencia se
corresponde con el trabajo de Mariana A. Cirese, titulado “Zonas Calientes, Revictimización y Análisis
Predictivo (HotSpot, Repeat Victimization and Predictive Analytics)”,
disponible desde el 2/06/2017 en https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2975778
La nombrada es una abogada y analista del Centro Municipal de Análisis
Estratégico del Delito de la Municipalidad de Gral. Pueyrredón, cuya cabecera
es la ciudad de Mar del Plata. La nombrada aclara que bajo la etiqueta legal de
“robos” también quedaron compr6ndidos los supuestos cuya calificación legal
fuera de hurtos (pág. 4).
[55] Cirese, trabajo antes citado, pág. 2. Hay una
detallada explicación de la metodología utilizada para medir los resultados
(págs. 4/5) y un muestrario amplio de gráficas de los “puntos calientes”
detectados dentro del ejido urbano (págs. 6/13).
[56]
Otra designación utilizada es “herramientas de valoración del riesgo” o HEVR
(cf. María Sánchez Vilanova, en su trabajo “La
presunción de inocencia ante las herramientas estructuradas de valoración del
riesgo”, pub. en “La Ley”, Suplemento de “Innovación y Derecho”, dirigido
por Demetrio A. Chamatropulos, N° 2, Buenos Aires, abril de 2021, pág. 2).
[57] Cherñavsky, “¿Qué hay de nuevo…”, ya citado, punto 7.
