La vigilancia predictiva es simplemente ciberfrenología racista del siglo XXI
En 1836, el geólogo, químico y “mejorador agrícola” escocés Sir George Stewart Mackenzie estaba preocupado por lo que llamó las “atrocidades recientes” de delitos violentos en la colonia penal británica de Nueva Gales del Sur, Australia.
La causa fundamental, pensó, era no saber qué delincuentes eran transportados a trabajar en la colonia, especialmente los dos tercios de los convictos que trabajaban para amos privados.
“En la actualidad, se embarcan y distribuyen a los colonos, sin la menor consideración por sus personajes o su historia”, escribió Mackenzie en una representación. [PDF] al Secretario de Gran Bretaña para las Colonias, Lord Glenelg.
Para Mackenzie era una cuestión moral. Se trataba de rehabilitar a un criminal independientemente de “si el individuo tiene [sic] pasado la vida anterior en el crimen, o ha sido empujado por la dura necesidad de mala gana a cometerlo”.
Solo los convictos con el carácter moral correcto deben ser enviados a las colonias, para ser devueltos a “un curso de hábitos laboriosos y honestos”, escribió.
El resto podría pudrirse en las prisiones británicas.
Entonces, ¿cómo propuso Mackenzie identificar a estos convictos con el carácter moral correcto? Midiendo la forma de sus cabezas.
“En manos de gobernantes ilustrados, la frenología será un motor de poder de mejora ilimitado para perfeccionar las instituciones humanas y lograr el buen orden, la paz, la prosperidad y la felicidad universales”, escribió.
Sí, en 1836 se promovió la frenología como una ciencia de vanguardia que podía predecir, entre muchas otras cosas, la probabilidad de que una persona cometiera delitos. Ahora, por supuesto, sabemos que es una completa basura.
Aquí, en el siglo XXI, la vigilancia predictiva, o vigilancia algorítmica, hace afirmaciones igualmente audaces sobre su capacidad para detectar a los delincuentes profesionales antes de que cometan sus delitos.
Cómo la vigilancia predictiva puede afianzar la aplicación de la ley racista
En esencia, la vigilancia predictiva consiste simplemente en utilizar la magia de los grandes datos para predecir cuándo, dónde y quién es probable que cometa un delito.
La recompensa está destinada a ser una asignación más eficiente de los recursos policiales y menos delincuencia en general.
Cada vez más, también se trata de tecnología de reconocimiento facial omnipresente.
Un jugador importante aquí es la empresa secreta Clearview AI, un imán de controversia con vínculos políticos de extrema derecha.
Las herramientas de Clearview ya han sido utilizadas por la Policía Federal Australiana y las fuerzas policiales en Queensland, Victoria y Australia Meridional, aunque se necesitaron investigaciones de periodistas y una violación masiva de datos para descubrirlo.
La Real Policía Montada de Canadá incluso negó haber utilizado la tecnología de Clearview tres meses después de haber firmado el contrato.
La recompensa potencial de todo esto no es solo identificar y enjuiciar a los delincuentes de manera más eficiente después del hecho.
Cada vez más, también existe la idea de que las personas que se ha pronosticado que serán delincuentes potenciales, o cuyo comportamiento coincida con algún patrón previsto de conducta delictiva, puedan ser identificados y rastreados.
En un nivel, la vigilancia predictiva simplemente proporciona cierto rigor científico al trabajo de los propios equipos de inteligencia internos de la policía.
“Observando delitos como el robo, uno puede crear un modelo predictivo bastante útil porque algunas áreas tienen tasas más altas de robo que otras y hay patrones”, dijo la profesora Lyria Bennett Moses, directora del Allens Hub for Technology, Law and Innovation en el Universidad de Nueva Gales del Sur, el año pasado.
Los policías también saben, por ejemplo, que la violencia ebria es más probable cuando hace calor. Un algoritmo podría ayudarlos a predecir cuándo y dónde es probable que comience en función de la experiencia pasada.
Según Roderick Graham, profesor asociado de sociología en la Universidad Old Dominion en Virginia, existen formas más innovadoras de usar los datos.
Supongamos que la policía está tratando de identificar a los líderes de las pandillas locales. Han arrestado o vigilado a varios pandilleros y, a través de “interrogatorios, cuentas de redes sociales u observación personal”, ahora tienen una lista de sus amigos, familiares y asociados.
“Si ven que una persona está conectada con muchos pandilleros, esto le da a la policía una pista de que es importante y tal vez un líder”, escribió Graham.
“La policía siempre ha hecho esto. Pero ahora, con análisis informáticos, pueden construir modelos de redes sociales más precisos y estadísticamente sólidos”.
Pero aquí es donde todo comienza a tambalearse.
Como señalaron los investigadores estadounidenses William Isaac y Andi Dixon en 2017, si bien los datos policiales a menudo se describen como “delito”, eso no es exactamente lo que está sucediendo.
“El delito en sí es un fenómeno social en gran medida oculto que ocurre en cualquier lugar donde una persona viole una ley. Los llamados ‘datos delictivos’ generalmente tabulan eventos específicos que no necesariamente infringen la ley, como una llamada al 911, o que están influenciados por la policía existente. prioridades”, escribieron.
“Los vecindarios con muchas llamadas policiales no son necesariamente los mismos lugares donde ocurre la mayor cantidad de delitos. Son, más bien, donde se concentra la mayor atención policial, aunque el lugar donde se concentra esa atención a menudo puede estar sesgado por factores raciales y de género”.
O como dice Graham: “Debido a que en el pasado las prácticas policiales racistas vigilaron en exceso a los vecindarios negros y latinos, esta aparece para significar que estas son áreas de alta criminalidad, y aún más policías están ubicados allí”.
Bennett Moses dio un ejemplo claramente australiano.
“Si vas a las bases de datos de la policía en Australia y observas los delitos de lenguaje ofensivo, parece que solo los indígenas juran porque no hay nadie más a quien acusar por ello”, escribió.
“Así que tienes un sesgo allí para comenzar dentro de los datos, y cualquier sistema predictivo se basará en datos históricos, y luego eso retroalimentará al sistema”.
Los policías no quieren hablar de vigilancia predictiva
En 2017, el Plan de gestión de detección de sospechosos (STMP, por sus siglas en inglés) de la policía de Nueva Gales del Sur señaló a niños de tan solo 10 años para que detuvieran y registraran y siguieran adelante cada vez que la policía los encontrara.
La policía realmente no ha explicado cómo o por qué sucede eso.
Sin embargo, según la Coalición de Justicia Juvenil (YJC) en ese momento, los datos que lograron obtener muestran que STMP “se dirige de manera desproporcionada a los jóvenes, en particular a los aborígenes y los isleños del Estrecho de Torres”.
Según una evaluación de STMP en 2020 realizada por la respetada Oficina de Estadísticas e Investigación Criminal de NSW, “STMP sigue siendo uno de los elementos clave de la estrategia de la Fuerza de Policía de NSW para reducir el crimen”.
Las aproximadamente 10.100 personas sujetas a SMTP-II desde 2005, y las más de 1.020 sujetas a un sistema equivalente para casos de violencia doméstica (DV-STMP), eran “predominantemente hombres y (desproporcionadamente) aborígenes”, escribieron.
Sin embargo, en comparación con las personas no aborígenes, la cohorte aborigen de la muestra vio un “beneficio de reducción del crimen menor”.
La policía de Victoria ha arrojado el velo del secreto sobre su propia herramienta policial predictiva. Ni siquiera han publicado su nombre.
La prueba de este sistema solo se hizo pública en 2020 cuando la profesora asociada de criminología de la Universidad de Monash, Leanne Weber, publicó su informe sobre vigilancia comunitaria en Greater Dandenong y Casey.
En entrevistas con jóvenes de origen sursudanés y pacífico, escuchó cómo, al menos desde el punto de vista de su corresponsal, el racismo se está incorporando a los datos desde el principio.
“Se descubrió que muchas experiencias informadas por los participantes de la comunidad que parecían estar relacionadas con la vigilancia basada en el riesgo dañaron los sentimientos de aceptación y pertenencia segura”, escribió.
“Esto incluía que se les impidiera reunirse en grupos, que se les detuviera e interrogara sin motivo, y que se les vigilara de cerca sobre la base de ofensas pasadas”.
Un participante pareció dar en el clavo con lo que estaba pasando: “La policía no da una razón por la que los está acusando. Es para que la policía pueda comprobarlo y ponerlo en su sistema”.
La policía de Victoria dijo Guardián de Australia que no se pudieron publicar más detalles sobre la herramienta debido a “sensibilidades metodológicas”, sean las que sean.
Sin embargo, es revelador que esta herramienta secreta solo se usó en Dandenong y los suburbios circundantes de Melbourne, una de las regiones más desfavorecidas y “culturalmente diversas” de Australia.
Las exploraciones más detalladas de las herramientas policiales predictivas lo dicen sin rodeos, como este titular en Revisión de tecnología del MIT: Los algoritmos policiales predictivos son racistas. Necesitan ser desmantelados.
O como escribió John Lorinc en su largo artículo para el estrella de toronto“la vigilancia de big data está plagada de minas terrestres técnicas, éticas y políticas”.
El retroceso contra la vigilancia predictiva está en marcha
A nivel mundial, el Comité para la Eliminación de la Discriminación Racial de las Naciones Unidas ha advertido [PDF] cómo los sistemas policiales predictivos que se basan en datos históricos “pueden producir fácilmente resultados discriminatorios”.
“Tanto los expertos en inteligencia artificial como los funcionarios que interpretan los datos deben tener una comprensión clara de los derechos fundamentales para evitar la entrada de datos que puedan contener o resultar en prejuicios raciales”, escribió el comité.
En el Reino Unido, el Centro de Ética e Innovación de Datos ha dicho que las fuerzas policiales deben “garantizar altos niveles de transparencia y explicabilidad de cualquier herramienta algorítmica que desarrollen o adquieran”.
En Europa, la vicepresidenta de la Comisión de la UE, Margrethe Vestager, dijo que la vigilancia policial predictiva “no es aceptable”.
Ciudades individuales han estado prohibiendo el reconocimiento facial para la vigilancia, incluidas Portland, Minneapolis, Boston y Somerville en Massachusetts, Oakland e incluso el centro tecnológico San Francisco.
Al menos los frenólogos fueron abiertos y transparentes.
En 1836, la propuesta de Mackenzie no llegó a ninguna parte, a pesar de su fuerte venta y oferta para probar su plan con un experimento.
“Pongo ahora en sus manos una serie de certificados de hombres eminentes, que confirman mi afirmación anterior, de que es posible clasificar a los condenados destinados a nuestros asentamientos penales, para que los colonos se liberen del riesgo de que se les adjudiquen caracteres atroces e incorregibles. a ellos y al público colonial de los males derivados de la fuga de tales personajes”, escribió.
Resulta que Lord Glenelg no estaba convencido de que la frenología fuera una cosa y, en cualquier caso, no tenía los fondos para ello.
Los furiosos acariciadores de cráneos expresaron su consternación en The Phrenological Journal and Magazine of Moral Science para el año 1838 [PDF]incluso culpando a los gobernadores coloniales por los crímenes violentos.
“Como frenólogos, debemos suponer (y lo suponemos, porque hablamos sobre la base de hechos innegables) que la ocurrencia de tales ultrajes podría ser muy disminuida, si no totalmente prevenida; y en consecuencia, debemos considerar a aquellos a quienes el se da el poder de prevención, pero que se niegan a ejercer ese poder, como moralmente culpables de confabularse en los crímenes más mortíferos”, escribieron.
Los policías siguen bebiendo Kool-Aid
Hay tres diferencias clave entre la vigilancia predictiva en 2021 y 1836.
Primero, el secreto.
Mackenzie “sin vacilar” ofreció una prueba pública de frenología frente a Lord Glenelg y “los amigos que deseen estar presentes”. Hoy, todo son algoritmos patentados confidenciales y secreto policial.
En segundo lugar, la credulidad.
Incluso en una época de gran fe en la ciencia y la razón, Lord Glenelg se mostró escéptico. En estos días, los policías parecen beber el Kool-Aid tan pronto como se lo ofrecen.
Y tercero, la moralidad, o mejor dicho, la falta de ella.
Independientemente de lo que pueda pensar sobre la promoción de Mackenzie de lo que ahora sabemos que es charlatanería, su objetivo general era la mejora moral de la sociedad.
Se pronunció en contra de la “ignorancia de la constitución humana” que llevó a los gobernantes a pensar que “la degradación es … el medio adecuado para restaurar el respeto de un ser humano por sí mismo y para inspirar una inclinación hacia la buena conducta”.
Entre policías y tecnólogos por igual, parece faltar una discusión coherente sobre ética y derechos humanos. Eso debe arreglarse, y arreglarse pronto.
Cobertura relacionada
- Twitter presenta el piloto Birdwatch ‘basado en la comunidad’ para abordar la desinformación
- El movimiento de código ético abre una nueva organización de código abierto
- Blockchain tiene como objetivo resolver los problemas de ética y sesgo de la IA
- El Foro Económico Mundial lanza una guía práctica sobre el uso ético de la tecnología
- Secretaria de Servicios Sociales se disculpa por robo de deuda
