Plumas NCC | De los bucles de retroalimentación policial a la censura algorítmica

 

Por: Mtro. Rodolfo Guerrero Martínez (México).

La rápida proliferación de la inteligencia artificial (IA) de propósito general está redefiniendo los límites de la interacción social y la aplicación de la ley. Inicialmente, estas tecnologías prometen aumentar la eficiencia y la escala de las operaciones. Sin embargo, los sistemas de IA son inherentemente socio-técnicos, es decir, sus resultados no solo están determinados por el código, sino también por su interacción con las personas y los contextos culturales.

Este carácter dual ha expuesto rápidamente una crisis en la gobernanza, donde las deficiencias técnicas, el sesgo algorítmico y la opacidad corporativa amenazan derechos fundamentales como la no discriminación y la libertad de expresión.

En este contexto, la Unión Europea (UE) ha respondido con el AI Act (Ley de IA), la cual exige salvaguardas sólidas, como las Evaluaciones de Impacto sobre los Derechos Fundamentales (FRIA), que son obligatorias para los sistemas de alto riesgo desplegados por organismos públicos o entidades privadas que proveen servicios públicos.

El presente trabajo se analizarán los desafíos técnicos y sociales que surgen con la implementación de sistemas de IA, así como las respuestas regulatorias, como el AI Act de la Unión Europea, que buscan mitigar riesgos como el sesgo, la opacidad y la discriminación.

 

El vicio sistémico entre los bucles de retrolimentación y la vigilancia predictiva

En primer lugar, la IA aplicada a la seguridad pública, como en los sistemas de policía predictiva, exhibe el riesgo crítico de los bucles de retroalimentación (o feedback loops). Un bucle ocurre cuando las predicciones del sistema influyen directamente en los datos utilizados para su próxima actualización, amplificando así el sesgo inicial a lo largo del tiempo.

Los análisis demuestran que, por consiguiente, varios factores pueden contribuir a la formación de bucles de retroalimentación descontrolados (runaway feedback loops): tasas de denuncia de delitos bajas y desiguales, una observabilidad diferencial del delito (donde ciertos crímenes son inherentemente más visibles a la policía que otros), y la tendencia de los propios modelos de machine learning a amplificar pequeñas diferencias o ruido aleatorio en los datos históricos. Esto puede resultar en un sobre-policiamiento desproporcionado de ciertos grupos, perpetuando o creando prácticas discriminatorias.

De la discriminación a la censura

Además de los riesgos sistémicos en la aplicación de la ley, el sesgo algorítmico se manifiesta de manera aguda en los sistemas de Procesamiento del Lenguaje Natural (NLP) utilizados para la detección de discurso ofensivo y la moderación de contenido.

De hecho, las pruebas empíricas revelan que los algoritmos de detección de voz ofensiva son poco fiables, ya que frases inofensivas como «Soy judío» o «Soy musulmán» como se señala por FRA (2022) pueden ser erróneamente clasificadas como ofensivas (falsos positivos). Este tipo de sesgo étnico y de género varía drásticamente según el modelo y el idioma (inglés, alemán, italiano). Aunado a esto, los modelos previamente entrenados (o pre-trained language models) ya tienen sesgos incrustados que pueden influir en el resultado final.

Esta problemática se agrava por una crónica falta de transparencia y rendición de cuentas en la industria de la IA. Así también, la opacidad persiste, por ejemplo, en la divulgación de las políticas de denuncia de irregularidades (whistleblowing); si bien OpenAI es la única que ha publicado su política completa, lo hizo tras críticas sobre cláusulas restrictivas. De modo análogo, el secreto sobre los system prompts (instrucciones internas que guían el comportamiento del modelo) sigue siendo la norma para los modelos propietarios.

 

El riesgo latente entre alucinaciones, confidencialidad y uso judicial

El sesgo y la falta de fiabilidad adquieren una dimensión legal crítica en entornos sensibles como el sistema judicial. Por ejemplo, la Política Provisional del Sistema de Cortes Unificadas del Estado de Nueva York subraya que las herramientas de IA generativa pueden producir alucinaciones (datos o citas legales fabricadas).

Por consiguiente, la IA no debe ser vista como un sustituto del juicio humano, y los usuarios siguen siendo totalmente responsables de su trabajo final. Además, la vulnerabilidad de la información confidencial es extrema.

Dado que muchas plataformas públicas operan con un modelo de entrenamiento abierto, cualquier información privada o privilegiada ingresada en el prompt es recopilada y utilizada para el entrenamiento futuro del modelo, haciendo que la exposición sea potencialmente permanente, incluso si los documentos habían sido clasificados o sellados judicialmente. Por ello, es obligatorio que el usuario revise minuciosamente el contenido generado para asegurar que es preciso y que no refleja ningún sesgo o prejuicio inapropiado.

 

El marco de control: estándares, responsabilidad y la lucha contra la fatiga normativa

Frente a estos desafíos de sesgo y opacidad, la respuesta jurídica y de gobernanza debe ser multifacética.

1) El rol de las normas internacionales. Los estándares internacionales (ISO/IEC) son fundamentales, dado a que establecen un lenguaje común y métricas de consenso que traducen los altos principios de la IA responsable en pasos concretos y accionables. Estos estándares proporcionan metodologías rigurosas para abordar el sesgo (como el ISO/IEC TR 24027, que describe técnicas de medición). Adicionalmente, son esenciales para la interoperabilidad regulatoria y para sustentar los procedimientos de evaluación de la conformidad.

2) El gobierno corporativo de los agentes. En el ámbito empresarial, la gestión de agentes y asistentes inteligentes requiere marcos de control robustos, como los que se administran desde plataformas como el Power Platform Admin Center (PPAC) y el Microsoft 365 Admin Center (MAC).

Estos controles (de Herramientas, de Contenido y de Gestión de Agentes) permiten a los administradores aplicar políticas de Prevención de Pérdida de Datos (DLP) y gestionar el ciclo de vida del agente, asegurando que solo acceden a información apropiada y que se restringe su publicación para evitar la sobreexposición de la organización. A su vez, las políticas internas de IA deben establecer principios claros como la Rendición de Cuentas Clara (asignando una persona responsable para cada sistema) y garantizar la Transparencia y Contestabilidad para los afectados.

3) El escudo de la privacidad global. La Global Privacy Assembly ha subrayado que la legislación de protección de datos existente debe aplicarse a la IA. Existe una preocupación particular sobre la recopilación indiscriminada y a gran escala de datos personales (incluidos los disponibles públicamente) para entrenar modelos sin una base legal adecuada. Por lo tanto, la rendición de cuentas exige documentar medidas como la realización de Evaluaciones de Impacto en la Protección de Datos (DPIA) y otros análisis de riesgo.

4) Evaluaciones de derechos fundamentales (FRIA). La Ley de IA de la UE exige que la FRIA sea un análisis previo al despliegue, que complementa la DPIA, expandiendo la perspectiva de la privacidad hacia derechos fundamentales más amplios, como la no discriminación y la dignidad. En ese sentido, la FRIA debe documentar seis elementos clave: el encaje del sistema, la frecuencia de uso, los grupos afectados, los riesgos específicos, los mecanismos de supervisión humana y los planes de mitigación.

No obstante, todos estos requisitos regulatorios están creando un efecto de fatiga normativa, donde la hiperregulación constante desmotiva a las empresas y disminuye la diligencia en el cumplimiento de las nuevas obligaciones. Paradójicamente, la solución a este desafío reside en la propia IA, que puede emplearse para analizar, priorizar y automatizar las obligaciones de cumplimiento, ayudando a las organizaciones a determinar qué normas son urgentes o delegables.

 

Conclusión

En retrospectiva, la dualidad de riesgos —la amplificación del sesgo social por los bucles de retroalimentación policiales y la amenaza a la libre expresión por la censura algorítmica— exige una respuesta regulatoria firme y continua.

Se destaca el AI Safety Index que revela la velocidad de desarrollo de la IA que supera con creces las prácticas de gestión de riesgos. Asimismo, la Ley de IA de la UE, junto con la adopción de estándares internacionales (ISO/IEC) y marcos de control organizativo (AAG, APG), son vitales para establecer un piso de seguridad.

Por lo tanto, la gobernanza de la IA en el ámbito legal y tecnológico no debe enfocarse solo en la innovación, sino en la implementación diligente y transparente de salvaguardas que aseguren la primacía del juicio humano, la precisión de los sistemas y la protección de los derechos fundamentales.

 

Fuentes de consulta

AI Policy: guide and template (2025). Recuperado de https://www.industry.gov.au/publications/guidance-for-ai-adoption/ai-policy-guide-and-template

Future of Life Institute. (2025). AI Safety Index. Recuperado de https://futureoflife.org/wp-content/uploads/2025/07/FLI-AI-Safety-Index-Report-Summer-2025.pdf

Libro blanco sobre gobernanza de agentes: Agentes administradores y gobernantes (Versión 1.0). [Documento técnico sobre la gobernanza de agentes en Microsoft 365].

European Union Agency for Fundamental Rights (FRA). (2022). Bias in Algorithms – Artificial Intelligence and Discrimination. Publications Office of the European Union.

Musch, S. D. J., & Borrelli, M. C. (2025). EU AI Act: Fundamental Rights Impact Assessments (FRIAs): An Overview. AI & Partners.

Ribas. (2025). Fatiga normativa: Los efectos de la hiperregulación y el papel de la inteligencia artificial en la priorización de proyectos. Ribas Artículos Publicaciones.

International Organization for Standardization (ISO). (2025). ISO policy brief: Harnessing international standards for responsible AI development and governance.

New York State Unified Court System. (2025). Interim Policy on the Use of Artificial Intelligence. Unified Court System.

Global Privacy Assembly. (2025). Resolution on the collection, use and disclosure of personal data to pre-train, train and fine-tune AI models (47th Closed Session).

 

***

Ro­dol­fo Gue­rre­ro es abo­ga­do por la Be­ne­mé­ri­ta Uni­ver­si­dad de Gua­da­la­ja­ra y maes­tro en de­re­cho con orien­ta­ción en ma­te­ria Cons­ti­tu­cio­nal y ad­mi­nis­tra­ti­vo por la mis­ma casa de es­tu­dios. Es So­cio Fun­da­dor y Re­pre­sen­tan­te Le­gal de la So­cie­dad Ci­vil Cof­fee Law “Dr. Jor­ge Fer­nán­dez Ruiz”. So­cio fun­da­dor de la Aca­de­mia Me­xi­ca­na de De­re­cho “Juan Ve­lás­quez” A.C. Ti­tu­lar de la Co­mi­sión de Le­gal­tech del Ilus­tre y Na­cio­nal Co­le­gio de Abo­ga­dos de Mé­xi­co A.C. Ca­pí­tu­lo Oc­ci­den­te. Vi­ce­pre­si­den­te de la Aca­de­mia Me­xi­ca­na de De­re­cho In­for­má­ti­co, Ca­pí­tu­lo Ja­lis­co.