Privacidad, Reconocimiento facial: los preocupantes fallos del Gran Hermano algorítmico
La identificación biométrica, basada en patrones, encierra crecientes riesgos para la seguridad y la privacidad de los ciudadanos. La abundancia de falsos positivos en las herramientas de reconocimiento facial exige la comprobación humana para ofrecer un mínimo de garantías. La finalidad del uso de esas imágenes es clave para su legitimidad.
La penúltima polémica acerca del reconocimiento facial mediante algoritmos la ha protagonizado Amazon y su controvertido programa Rekognition, un poderoso software de identificación de imágenes que la compañía vende a algunos gobiernos. En un experimento, el software identificó erróneamente a 28 miembros del Congreso de los EEUU como sospechosos policiales.
Pablo Romero
La ONG Unión de Libertades Civiles de Estados Unidos (ACLU), muy crítica con la venta del uso de esta herramienta a gobiernos (es utilizada, por ejemplo, por cuerpos policiales de Oregón y Florida), ha publicado un experimento, en el que usó esa herramienta sobre una base de datos —que compró al módico precio de 12,33 dólares—de 25.000 imágenes de detenidos en EEUU. Luego, introdujo una a una las fotos de todos los congresistas estadounidenses. El sistema identificó a 28 congresistas como personas con antecedentes policiales con al menos un 80% de probabilidad.
Esta misma semana, tres demócratas identificados en la prueba de la ACLU -el senador Edward Markey, y los representantes Luis Gutiérrez y Mark DeSaulnier- enviaron una carta a Jeff Bezos, director ejecutivo de Amazon, expresando preocupación y preguntando por la exactitud y el uso de la herramienta por parte de las autoridades.
Amazon, naturalmente, resta importancia a este estudio y considera que “el análisis de imágenes y vídeo puede ser un impulso para mejorar el mundo”, como aumentar la seguridad ciudadana. Desde su división de servicios en la nube (Amazon Web Services), un portavoz afirmó a BuzzFeed que dijo que los resultados podrían mejorarse “siguiendo las mejores prácticas" para establecer los umbrales de confianza, es decir, el porcentaje de probabilidad de que Rekognition encuentre una coincidencia.
"Si bien el 80% de confianza es un umbral aceptable para las fotos de perritos calientes, sillas, animales u otros objetos que aparecen en las redes sociales, no sería apropiado para identificar a las personas con un nivel razonable de certeza", dijo el portavoz, que añadió: "Cuando usamos reconocimiento facial para asuntos legales, sugerimos a los clientes establecer un umbral más alto, de al menos el 95% o más". No obstante, la compañía oficialmente recomienda un 80% de confianza para reconocer rostros humanos.
Presiones
Desde mayo, la ACLU y otros grupos de derechos civiles han criticado Rekognition de Amazon dado su funcionamiento “sesgado”: la herramienta podría usarse para atacar injustamente a inmigrantes y personas de color. Es decir, las identificaciones tienen importantes sesgos. Y temen que este software pueda emplearse "para controlar a inmigrantes" o para establecer quién "ha participado en una protesta".
Las presiones parecen haber dado sus primeros frutos. Incluso Microsoft, rival de Amazon que también usa tecnología de reconocimiento facial, ha llegado a pedir al Congreso de EEUU que estudie una posible regulación sobre el reconocimiento facial.
Un número creciente de voces señalan los perniciosos efectos de los sesgos que pueden contener estos sistemas, la llamada ‘discriminación algorítmica’. Algunos estudios indican que las máquinas pueden amplificar comportamientos discriminatorios o racistas.
En el Reino Unido, por ejemplo, en donde la videovigilancia con tecnologías de reconocimiento facial comenzó a imponerse tras los atentados de Londres de 2005 (con un más que dudoso resultado), las autoridades deberán afrontar una demanda por parte del grupo activista Big Brother Watch, cuyos abogados estiman que estos sistemas —y especialmente su uso intensivo en la capital en los últimos dos años— violan la Ley de Derechos Humanos, incluido el derecho a la privacidad y la libertad de expresión. Y qué decir de China.
Fiabilidad en cuestión
La identificación facial automática se basa fundamentalmente en la comparación de imágenes mediante algoritmos que “aprenden” a discernir entre dichas imágenes. Y la clave de su efectividad es la selección de los elementos que forman el patrón, y qué valor o peso tiene cada elemento dentro del aprendizaje. Aquí entra también el principal factor de sesgo.
Existen sobre todo dos formas para ‘enseñar’ a una máquina a realizar este proceso: por un lado, la introducción a priori de una amplia base de datos de imágenes sobre la que el programa identifica imágenes por similitud; por otro, el “aprendizaje” de la máquina sin una tutorización previa, en el que se introducen una serie de características y la máquina rastrea imágenes para hallar las que encajen en ese patrón, las cuales han de ser validadas a posteriori. El algoritmo puede ser neutro, pero quizá la selección de imágenes previas o de sus características no.
“Te juegas tener problemas importantes, como ser detenido por una identificación incorrecta”
“Avanzar, se ha avanzado en el reconocimiento facial”, reconoce Sergio Carrasco, abogado especializado en tecnología e ingeniero de Telecomunicaciones, que pone como ejemplos las herramientas de este tipo desarrolladas por Facebook o el desbloqueo de móviles, pero apunta que en esos casos funciona al ser “situaciones óptimas”. “Son fotos de frente o de lado en las que se ven todos los rasgos; pero en los casos de videovigilancia, con cámaras en posiciones altas y con una calidad no tan buena, generan falsos positivos en las identificaciones”, comenta. Y, además, pueden ser troleables.
Este experto diferencia entre un falso positivo en una galería fotográfica, que no tiene la menor trascendencia, y un falso positivo en un caso de seguridad ciudadana. “Te juegas tener problemas importantes, como ser detenido por una identificación incorrecta”. “Entiendo que se puede utilizar como elemento indiciario, pero siempre tiene que existir una revisión humana”, apunta.
Un ejemplo claro de que el reconocimiento de imágenes por patrones suele fallar es el caso de los vetos de Facebook a fotos de obras de arte que incluyen desnudos, como sucedió recientemente con los cuadros del maestro flamenco Pedro Pablo Rubens. “Es un ejemplo de que todavía el reconocimiento por patrones no es perfecto, ni mucho menos”, sostiene Carrasco.
Finalidad de la actividad
La legitimidad de la captación de las imágenes y de su tratamiento es otro aspecto clave. En el caso de las fuerzas de seguridad, por ejemplo, se puede presuponer que existe esa legitimidad.
Los sistemas de reconocimiento facial y biométricos pueden ser útiles como medida complementaria para ahorrar tiempo a la policía, sobre todo para eliminar parte del trabajo humano a la hora de analizar imágenes, pero sigue siendo necesario el trabajo humano final para eliminar los mencionados falsos positivos que pueden arrojar estos sistemas.
Y aun así es lícito preguntarse qué sucede con esos datos; persiste el riego, por ejemplo, de la generación de patrones de comportamiento de esas personas, sostiene Carrasco. “Cómo se almacenan y para qué se utilizan en última instancia son cuestiones clave en este asunto”, afirma este experto.
Fuente: https://www.publico.es/sociedad/privacidad-reconocimiento-facial-preocupantes-fallos-gran-hermano-algoritmico.html- Imagen: El reconocimiento facial, un creciente motivo de preocupación. REUTERS
La penúltima polémica acerca del reconocimiento facial mediante algoritmos la ha protagonizado Amazon y su controvertido programa Rekognition, un poderoso software de identificación de imágenes que la compañía vende a algunos gobiernos. En un experimento, el software identificó erróneamente a 28 miembros del Congreso de los EEUU como sospechosos policiales.
Pablo Romero
La ONG Unión de Libertades Civiles de Estados Unidos (ACLU), muy crítica con la venta del uso de esta herramienta a gobiernos (es utilizada, por ejemplo, por cuerpos policiales de Oregón y Florida), ha publicado un experimento, en el que usó esa herramienta sobre una base de datos —que compró al módico precio de 12,33 dólares—de 25.000 imágenes de detenidos en EEUU. Luego, introdujo una a una las fotos de todos los congresistas estadounidenses. El sistema identificó a 28 congresistas como personas con antecedentes policiales con al menos un 80% de probabilidad.
Esta misma semana, tres demócratas identificados en la prueba de la ACLU -el senador Edward Markey, y los representantes Luis Gutiérrez y Mark DeSaulnier- enviaron una carta a Jeff Bezos, director ejecutivo de Amazon, expresando preocupación y preguntando por la exactitud y el uso de la herramienta por parte de las autoridades.
Amazon, naturalmente, resta importancia a este estudio y considera que “el análisis de imágenes y vídeo puede ser un impulso para mejorar el mundo”, como aumentar la seguridad ciudadana. Desde su división de servicios en la nube (Amazon Web Services), un portavoz afirmó a BuzzFeed que dijo que los resultados podrían mejorarse “siguiendo las mejores prácticas" para establecer los umbrales de confianza, es decir, el porcentaje de probabilidad de que Rekognition encuentre una coincidencia.
"Si bien el 80% de confianza es un umbral aceptable para las fotos de perritos calientes, sillas, animales u otros objetos que aparecen en las redes sociales, no sería apropiado para identificar a las personas con un nivel razonable de certeza", dijo el portavoz, que añadió: "Cuando usamos reconocimiento facial para asuntos legales, sugerimos a los clientes establecer un umbral más alto, de al menos el 95% o más". No obstante, la compañía oficialmente recomienda un 80% de confianza para reconocer rostros humanos.
Presiones
Desde mayo, la ACLU y otros grupos de derechos civiles han criticado Rekognition de Amazon dado su funcionamiento “sesgado”: la herramienta podría usarse para atacar injustamente a inmigrantes y personas de color. Es decir, las identificaciones tienen importantes sesgos. Y temen que este software pueda emplearse "para controlar a inmigrantes" o para establecer quién "ha participado en una protesta".
Las presiones parecen haber dado sus primeros frutos. Incluso Microsoft, rival de Amazon que también usa tecnología de reconocimiento facial, ha llegado a pedir al Congreso de EEUU que estudie una posible regulación sobre el reconocimiento facial.
Un número creciente de voces señalan los perniciosos efectos de los sesgos que pueden contener estos sistemas, la llamada ‘discriminación algorítmica’. Algunos estudios indican que las máquinas pueden amplificar comportamientos discriminatorios o racistas.
En el Reino Unido, por ejemplo, en donde la videovigilancia con tecnologías de reconocimiento facial comenzó a imponerse tras los atentados de Londres de 2005 (con un más que dudoso resultado), las autoridades deberán afrontar una demanda por parte del grupo activista Big Brother Watch, cuyos abogados estiman que estos sistemas —y especialmente su uso intensivo en la capital en los últimos dos años— violan la Ley de Derechos Humanos, incluido el derecho a la privacidad y la libertad de expresión. Y qué decir de China.
Fiabilidad en cuestión
La identificación facial automática se basa fundamentalmente en la comparación de imágenes mediante algoritmos que “aprenden” a discernir entre dichas imágenes. Y la clave de su efectividad es la selección de los elementos que forman el patrón, y qué valor o peso tiene cada elemento dentro del aprendizaje. Aquí entra también el principal factor de sesgo.
Existen sobre todo dos formas para ‘enseñar’ a una máquina a realizar este proceso: por un lado, la introducción a priori de una amplia base de datos de imágenes sobre la que el programa identifica imágenes por similitud; por otro, el “aprendizaje” de la máquina sin una tutorización previa, en el que se introducen una serie de características y la máquina rastrea imágenes para hallar las que encajen en ese patrón, las cuales han de ser validadas a posteriori. El algoritmo puede ser neutro, pero quizá la selección de imágenes previas o de sus características no.
“Te juegas tener problemas importantes, como ser detenido por una identificación incorrecta”
“Avanzar, se ha avanzado en el reconocimiento facial”, reconoce Sergio Carrasco, abogado especializado en tecnología e ingeniero de Telecomunicaciones, que pone como ejemplos las herramientas de este tipo desarrolladas por Facebook o el desbloqueo de móviles, pero apunta que en esos casos funciona al ser “situaciones óptimas”. “Son fotos de frente o de lado en las que se ven todos los rasgos; pero en los casos de videovigilancia, con cámaras en posiciones altas y con una calidad no tan buena, generan falsos positivos en las identificaciones”, comenta. Y, además, pueden ser troleables.
Este experto diferencia entre un falso positivo en una galería fotográfica, que no tiene la menor trascendencia, y un falso positivo en un caso de seguridad ciudadana. “Te juegas tener problemas importantes, como ser detenido por una identificación incorrecta”. “Entiendo que se puede utilizar como elemento indiciario, pero siempre tiene que existir una revisión humana”, apunta.
Un ejemplo claro de que el reconocimiento de imágenes por patrones suele fallar es el caso de los vetos de Facebook a fotos de obras de arte que incluyen desnudos, como sucedió recientemente con los cuadros del maestro flamenco Pedro Pablo Rubens. “Es un ejemplo de que todavía el reconocimiento por patrones no es perfecto, ni mucho menos”, sostiene Carrasco.
Finalidad de la actividad
La legitimidad de la captación de las imágenes y de su tratamiento es otro aspecto clave. En el caso de las fuerzas de seguridad, por ejemplo, se puede presuponer que existe esa legitimidad.
Los sistemas de reconocimiento facial y biométricos pueden ser útiles como medida complementaria para ahorrar tiempo a la policía, sobre todo para eliminar parte del trabajo humano a la hora de analizar imágenes, pero sigue siendo necesario el trabajo humano final para eliminar los mencionados falsos positivos que pueden arrojar estos sistemas.
Y aun así es lícito preguntarse qué sucede con esos datos; persiste el riego, por ejemplo, de la generación de patrones de comportamiento de esas personas, sostiene Carrasco. “Cómo se almacenan y para qué se utilizan en última instancia son cuestiones clave en este asunto”, afirma este experto.
Fuente: https://www.publico.es/sociedad/privacidad-reconocimiento-facial-preocupantes-fallos-gran-hermano-algoritmico.html- Imagen: El reconocimiento facial, un creciente motivo de preocupación. REUTERS
---------------------
Defensores de las libertades civiles alertan de los peligros del sistema de reconocimiento facial de Amazon en manos de la policía
La Unión Americana de Libertades Civiles (ACLU) reclamó a la empresa que no siga suministrando a las autoridades de EEUU su programa de reconocimiento facial, por suponer una amenaza para la privacidad de los ciudadanos.
Defensores de las libertades civiles alertan de los peligros del sistema de reconocimiento facial de Amazon en manos de la policía
La Unión Americana de Libertades Civiles (ACLU) reclamó a la empresa que no siga suministrando a las autoridades de EEUU su programa de reconocimiento facial, por suponer una amenaza para la privacidad de los ciudadanos.
Una tecnología capaz de identificar hasta 100 rostros diferentes en una sola foto. Eso es Amazon Rekognition, un controvertido desarrollo del gigante de internet que ha llegado a ofrecer a varias autoridades de EEUU para ser utilizado en las imágenes captadas por las cámaras de la policía. El riesgo del uso de este sistema es doble: no sólo puede suponer un ataque a la privacidad de las personas, sino que existe el riesgo de utilizarse de una forma abusiva para el ciudadano.
"La gente debería tener la libertad de poder recorrer las calles sin ser observados por el Gobierno", denunció la organización social en un comunicado divulgado en su página web.
"La gente debería tener la libertad de poder recorrer las calles sin ser observados por el Gobierno", denunció la organización social en un comunicado divulgado en su página web.
El programa en cuestión "ofrece un análisis facial de alta precisión que permite detectar, analizar y comparar rostros para una amplia variedad de usos, como la verificación de un usuario, la catalogación y el recuento de personas y para casos de seguridad pública", detalla Amazon en su descripción del sistema.
Sin embargo, la ACLU teme que este software pueda emplearse "para controlar a inmigrantes" o para establecer quién "ha participado en una protesta".
"Al automatizar la vigilancia de masas, los sistemas de reconocimiento facial —como Rekognition— ponen en riesgo la libertad, y suponen una amenaza concreta para comunidades que ya están siendo tratadas injustamente en el actual clima político", sostiene el comunicado de la organización.
La ACLU advierte que diversas localidades, en estados como Orlando y Florida, ya están utilizando el programa y que otras ciudades han mostrado interés en contratar sus servicios.
La organización critica además que el gigante tecnológico esté pidiendo a las autoridades de los municipios en los que ya se usa Rekognition que le hagan llegar cualquier comentario que permita afinar el sistema, que se usa al menos desde el año pasado.
El desarrollo de este tipo de programas es uno de los principales proyectos de las empresas tecnológicas para desarrollar las llamadas ciudades inteligentes, puesto que facilitaría los mecanismos de seguridad de los usuarios, pero también serviría como una herramienta de marketing directo de inestimable utilidad.
Sin embargo, hasta el momento ninguna empresa ha conseguido desarrollar un sistema completamente fiable, tal y como quedó patente el año pasado cuando salió a la luz que un software de reconocimiento de imagen desarrollado por Google confundía con frecuencia a personas de raza negra con primates.
"Amazon se ha opuesto públicamente a la vigilancia secreta gubernamental. Su director ejecutivo, Jeff Bezos, ha criticado el discriminatorio veto a los musulmanes de la Administración (del presidente Donald) Trump. Pero las acciones hablan más alto que las palabras", concluye la ACLU.
Fuente: EFE - Imagen: Revista Semana - Cámaras de videovigilancia. Imagen:maxpixel.net (CC0)
Sin embargo, la ACLU teme que este software pueda emplearse "para controlar a inmigrantes" o para establecer quién "ha participado en una protesta".
"Al automatizar la vigilancia de masas, los sistemas de reconocimiento facial —como Rekognition— ponen en riesgo la libertad, y suponen una amenaza concreta para comunidades que ya están siendo tratadas injustamente en el actual clima político", sostiene el comunicado de la organización.
La ACLU advierte que diversas localidades, en estados como Orlando y Florida, ya están utilizando el programa y que otras ciudades han mostrado interés en contratar sus servicios.
La organización critica además que el gigante tecnológico esté pidiendo a las autoridades de los municipios en los que ya se usa Rekognition que le hagan llegar cualquier comentario que permita afinar el sistema, que se usa al menos desde el año pasado.
El desarrollo de este tipo de programas es uno de los principales proyectos de las empresas tecnológicas para desarrollar las llamadas ciudades inteligentes, puesto que facilitaría los mecanismos de seguridad de los usuarios, pero también serviría como una herramienta de marketing directo de inestimable utilidad.
Sin embargo, hasta el momento ninguna empresa ha conseguido desarrollar un sistema completamente fiable, tal y como quedó patente el año pasado cuando salió a la luz que un software de reconocimiento de imagen desarrollado por Google confundía con frecuencia a personas de raza negra con primates.
"Amazon se ha opuesto públicamente a la vigilancia secreta gubernamental. Su director ejecutivo, Jeff Bezos, ha criticado el discriminatorio veto a los musulmanes de la Administración (del presidente Donald) Trump. Pero las acciones hablan más alto que las palabras", concluye la ACLU.
Fuente: EFE - Imagen: Revista Semana - Cámaras de videovigilancia. Imagen:maxpixel.net (CC0)
