Por: Mtro. Rodolfo Guerrero Martínez (México).
La irrupción de la inteligencia artificial generativa (IAG) en diversos ámbitos profesionales ha llegado también a las puertas del poder judicial, prometiendo eficiencias y planteando desafíos inéditos. A través de la Propuesta de Política de la Rama Judicial sobre IA Generativa de California (en adelante, la Política de California) representa un esfuerzo pragmático por abordar su uso en el contexto judicial, cuyo objetivo es fomentar la innovación responsable, proteger la información confidencial, asegurar una supervisión adecuada y mantener la confianza pública en la rama judicial.
Sin embargo, su enfoque se centra en las salvaguardas del usuario final y del producto entregado, mientras que el Código de Prácticas para Modelos de IA de Propósito General de la Unión Europea (en lo sucesivo, el Código de la UE) adopta una perspectiva más integral y sistémica, regulando a los propios proveedores de modelos de IA de propósito general a lo largo de todo el ciclo de vida del modelo.
Precisamente, esta diferencia fundamental en el alcance y el objetivo de las políticas da lugar a distintas fortalezas y limitaciones en la gestión de los riesgos asociados a la IA generativa. Ambos marcos reconocen la necesidad de adaptación y evolución ante una tecnología tan dinámica.
En principio, la Política de California elige un enfoque de riesgos generales en lugar de listas específicas de herramientas o usos para evitar quedar obsoleta rápidamente. Por otra parte, el Código de la UE, enfatiza la adopción del estado del arte y la interpretación con propósito para garantizar su continua efectividad y relevancia. Por tanto, en el presente trabajo, se desarrollarán ocho preguntas clave que permitan crear una reflexión amplia más no limitativa sobre dichos documentos recientemente publicados.
(1) ¿Cómo se abordan los riesgos de confidencialidad y privacidad en el uso de la IA generativa en el ámbito judicial y cómo se comparan las políticas de la UE y California al respecto?
La confidencialidad es una piedra angular de la justicia, y el uso de la IA generativa introduce riesgos significativos de fuga de datos.
Inicialmente, la Política de California aborda directamente este riesgo al prohibir la introducción de información confidencial, de identificación personal o no pública en un sistema de IA generativa público. Esta prohibición se extiende a datos sensibles como números de licencias de conducir, fechas de nacimiento, números de seguridad social, información médica o financiera, y cualquier contenido sellado por orden judicial.
El razonamiento detrás de esto es que los sistemas de IA generativa públicos podrían ser entrenados con la información ingresada por los usuarios, o esa información podría aparecer en respuestas a otros usuarios.
Con respecto al Código de la UE, aunque no se enfoca directamente en el uso judicial, impone obligaciones estrictas a los proveedores de modelos de IA de propósito general en cuanto a la seguridad y confidencialidad de la información.
Por ejemplo, el Capítulo de Seguridad y Protección exige a los proveedores implementar mitigaciones de seguridad para proteger los parámetros no liberados del modelo, lo que incluye el cifrado durante el transporte y almacenamiento, y la restricción del acceso físico y de interfaz.
También reconoce la importancia de la confidencialidad (incluida la comercial) para la información compartida con la Oficina de IA y aborda las amenazas internas como una fuente de riesgo sistémico que podría llevar a la autoexfiltración de los parámetros del modelo.
Ahora bien, la comparativa es que: La Política de California se centra en prevenir la fuga de datos por parte de los usuarios judiciales en sistemas públicos, mientras que el Código de la UE establece un marco más técnico y sistémico para la protección de datos y la seguridad del modelo a nivel del proveedor de IA.
La primera protege la información en el punto de interacción del usuario, y la segunda asegura la integridad de los modelos mismos y los datos con los que son entrenados.
Un ejemplo adicional puede ser un asistente legal en California que está preparando una moción sobre un caso de divorcio que involucra detalles financieros muy sensibles y protegidos. En ese sentido, la Política de California le prohibiría explícitamente introducir esos detalles en un ChatGPT o cualquier otro sistema de IA generativa públicamente disponible.
Si un proveedor de un modelo de IA en la UE fuera a entrenar su modelo con datos que accidentalmente incluían información privada similar (a través de rastreo web), ese proveedor estaría obligado a tener medidas de seguridad robustas, como el cifrado de parámetros del modelo y la limitación del acceso, para proteger esa información.
(2) ¿Cuál es el enfoque en la verificación de la precisión y la mitigación de las alucinaciones de la IA en los documentos judiciales?
Las alucinaciones (generación de información falsa pero plausible) son una preocupación central con la IA generativa.
A partir de la Política de California se requiere que el personal y los funcionarios judiciales tomen medidas razonables para verificar que el material [generado por IA] sea preciso y medidas razonables para corregir cualquier resultado erróneo o alucinado en cualquier material utilizado. Esto traslada directamente la responsabilidad de la precisión al usuario humano.
En segundo término, el Código de la UE no utiliza el término alucinación directamente en relación con la producción de contenido en el mismo sentido que la política de California, pero sí identifica la tendencia a ‘alucinar’, producir desinformación u oscurecer fuentes de información como una propensión del modelo que es una fuente potencial de riesgo sistémico.
La mitigación de estos riesgos se aborda a través de marcos de seguridad y protección, evaluaciones de modelos rigurosas (rigor científico y técnico elevado) que aseguren la validez interna y externa, y la capacidad de evaluar las capacidades, propensiones, capacidades y/o efectos del modelo.
Cabe recalcar como la Política de California ofrece una salvaguarda directa y a nivel de usuario contra las alucinaciones en el producto final. Y, el Código de la UE aborda la tendencia a la desinformación a un nivel más fundamental del diseño y la evaluación del modelo, con expectativas de que los proveedores implementen técnicas para minimizar estas preferencias desde el origen.
Conforme a lo descrito, se puede enmarcar el caso de una secretaria judicial en California utiliza un sistema de IA generativa para redactar una carta de respuesta a una consulta pública sobre un procedimiento judicial, donde la IA incluye una fecha de audiencia incorrecta o un extracto de ley que no existe.
(3) ¿Cómo se aborda el sesgo y la discriminación en la IA generativa, tanto en la producción de contenido como en los datos de entrenamiento?
El sesgo inherente en los datos de entrenamiento de la IA es una preocupación crítica. De acuerdo con la Política de California se prohíbe el uso de la IA generativa para discriminar ilegalmente o impactar de manera dispar a individuos o comunidades basándose en clasificaciones protegidas por la ley federal o estatal (como edad, etnia, género, raza, etc.).
Además, exige que el personal y los funcionarios judiciales tomen medidas razonables para eliminar cualquier contenido sesgado, ofensivo o dañino en el material utilizado. La fuerza de tarea de California consideró el sesgo en las consultas del usuario, pero decidió abordarlo a través de educación, no con requisitos de política directa.
Ahora bien, el Código de la UE reconoce el sesgo discriminatorio como una propensión del modelo que es una fuente de riesgo sistémico. Los riesgos para los derechos fundamentales son uno de los tipos de riesgo clave que deben considerarse.
El Código exige a los proveedores implementar mitigaciones de seguridad que incluyan filtrado y limpieza de datos de entrenamiento que puedan resultar en propensiones indeseables. El Capítulo de Transparencia también menciona la necesidad de describir las medidas para detectar sesgos identificables en los datos de entrenamiento.
Un ejemplo noble es cuando un sistema de IA generativa, entrenado con un corpus de textos históricos, genera recomendaciones de contratación que, sin intención, favorecen a un grupo demográfico específico debido a los sesgos presentes en sus datos de entrenamiento.
La Política de California exige que el personal judicial encargado de la contratación revise y elimine cualquier contenido sesgado o discriminatorio antes de utilizarlo. Simultáneamente, en la UE, el proveedor de ese modelo de IA, al documentar sus prácticas, debería haber descrito las medidas implementadas para detectar y abordar la prevalencia de sesgos identificables en sus datos de entrenamiento.
(4) ¿Cuáles son los requisitos de transparencia para el uso de la IA generativa y la divulgación al público?
Es menester reconocer que la transparencia es fundamental para construir y mantener la confianza pública. Partiendo de esto, la Política de California establece un requisito de divulgación si la versión final de un trabajo escrito, visual o de audio proporcionado al público consiste enteramente en resultados de IA generativa.
La divulgación debe ser una etiqueta, marca de agua o declaración clara y comprensible que describa cómo se utilizó la IA y qué sistema se usó. Es importante señalar que esto es un requisito reducido de borradores anteriores, que inicialmente consideraban una porción sustancial de contenido generado por IA, pero se ajustó para evitar desincentivar el uso beneficioso de la IA y la desconfianza injustificada.
En cuanto al Código de la UE establece requisitos de transparencia mucho más amplios, enfocados en los proveedores de modelos de IA de propósito general. El Capítulo de Transparencia requiere la elaboración y actualización de una Documentación del Modelo exhaustiva, que incluye información detallada sobre canales de distribución, licencias, propiedades del modelo (arquitectura, modalidades, tamaño), usos previstos, proceso de entrenamiento, datos utilizados (tipo, procedencia, número de puntos de datos, alcance, metodologías de curación, medidas para detectar inadecuación o sesgos) y consumo de energía/computación. Esta información debe estar disponible para la Oficina de IA y los proveedores posteriores (downstream providers).
Además, se anima a los signatarios a hacer públicas versiones resumidas de sus Marcos (Frameworks) y Informes de Modelo cuando sea necesario para evaluar y/o mitigar riesgos sistémicos, y a publicar un resumen suficientemente detallado del contenido utilizado para el entrenamiento de sus modelos de IA de propósito general.
Se entiende por medio de la Política de California la transparencia del producto final directamente entregado al público, con un umbral estricto para la divulgación. El Código de la UE, en cambio, exige una transparencia profunda sobre el modelo en sí y su ciclo de vida, dirigida principalmente a los reguladores y otros actores de la cadena de valor de la IA, con un estímulo para la divulgación pública de resúmenes.
(5) ¿Cómo se gestiona la rendición de cuentas y la supervisión del uso de la IA generativa en las operaciones judiciales?
En primer término, la Política de California asigna la responsabilidad de la supervisión a las cortes, que deben adoptar una política de uso de IA generativa si no prohíben su uso. Requiere que el personal y los funcionarios judiciales tomen medidas razonables para verificar, corregir y eliminar contenido problemático.
Para los funcionarios judiciales en su rol adjudicativo, el estándar es más flexible: deberían considerar la divulgación y cumplir con el Código de Ética Judicial, dejando a su discreción la forma de abordar los riesgos. No establece una estructura organizativa específica de supervisión interna para el uso de IA.
Por otro lado, el Código de la UE, en su Capítulo de Seguridad y Protección, aborda la asignación de responsabilidades de riesgo sistémico en las organizaciones proveedoras de IA.
Esto incluye la definición clara de responsabilidades a todos los niveles (supervisión, titularidad, apoyo/monitoreo y aseguramiento), así como la asignación de recursos apropiados (humanos, financieros, computacionales). También promueve una cultura de riesgo saludable, que implica una comunicación clara, incentivos adecuados y la protección de los denunciantes (whistleblowers) para fomentar una evaluación imparcial de los riesgos sistémicos.
En California, por ejemplo, si un abogado del personal utiliza IA generativa para esbozar un argumento legal, la responsabilidad recae en ese abogado para asegurar que el contenido sea preciso y ético, y que cumpla con las políticas de la corte.
La política no exige que la corte tenga un Jefe de Riesgo de IA o un comité de auditoría de IA. En contraste, en la UE, el proveedor del modelo de IA utilizado por ese abogado debería tener roles claramente definidos dentro de su organización, como un Jefe de Investigación o Jefe de Producto que sea responsable de la gestión de los riesgos sistémicos de sus modelos, con un apoyo y monitoreo continuo, y un aseguramiento independiente.
(6) ¿Qué tan adaptable es el marco regulatorio a la rápida evolución de la tecnología de IA?
La IA generativa es un campo en constante cambio, lo que sostiene retos para la regulación. A través de la Política de California se comprende que la creación de reglas fijas sobre IA es difícil porque pueden quedar obsoletas o restringir la innovación.
Por tanto, el grupo de trabajo decidió que la regla y el estándar deben centrarse en los riesgos generales de la IA generativa (confidencialidad, sesgo, precisión, transparencia), en lugar de intentar regular herramientas o usos específicos. Además, el modelo de política que acompaña a la regla puede revisarse más rápidamente para adaptarse a los cambios tecnológicos.
Con respecto al Código de la UE, en su Capítulo de Seguridad y Protección, subraya explícitamente el rápido ritmo del desarrollo de la IA y la importancia de una interpretación con propósito para asegurar que el Código permanezca efectivo, relevante y a prueba de futuro. Anima a los proveedores a avanzar en el estado del arte en seguridad y protección de la IA.
Los marcos de seguridad y protección de los proveedores deben actualizarse continuamente para reflejar el estado del arte y los cambios en los riesgos del modelo.
Desde luego, un ejemplo notable es cuando se lanza una nueva generación de modelos de lenguaje grandes (LLMs) con capacidades emergentes que no se anticipaban al momento de redactar las políticas actuales.
La Política de California, al enfocarse en la verificación de la precisión y la mitigación de contenido sesgado, permitiría al poder judicial adoptar estos nuevos LLMs siempre que se sigan estas salvaguardas generales, sin necesidad de una enmienda inmediata. En la UE, los proveedores de estos nuevos LLMs tendrían que actualizar sus Informes de Modelo para reflejar los cambios materiales en las capacidades de sus modelos y las mitigaciones de seguridad implementadas, asegurando que su marco de seguridad siga siendo de estado del arte.
(7) ¿Cómo interactúan las nuevas políticas de IA con las leyes y códigos éticos existentes?
Entender que la IA opera dentro de un marco legal y ético preexistente permite observar el caso de la Política de California, el cual exige el cumplimiento de todas las leyes aplicables, políticas judiciales y reglas, códigos y políticas de conducta ética y profesional al usar IA generativa.
Por supuesto, esto es explícito al señalar que el uso de la IA por parte de los funcionarios judiciales en su rol adjudicativo se rige por el Código de Ética Judicial de California y la orientación ética relacionada. Esto significa que, si bien la política establece directrices, las responsabilidades éticas fundamentales del juez permanecen inalteradas y son primarias.
En segundo lugar, el Código de la UE también enfatiza la integración con leyes existentes. El Capítulo de Seguridad y Protección establece que el Código forma parte de, y se complementa con, otras leyes de la Unión. Señala que las obligaciones de confidencialidad y la protección de los denunciantes se mantienen. El Capítulo de Derechos de Autor aclara que el Código de ninguna manera afecta la aplicación y cumplimiento de la legislación de la Unión sobre derechos de autor y derechos conexos, cuya interpretación corresponde a los tribunales de los Estados Miembros.
De esta forma, ambos marcos reconocen que las políticas de IA son complementarias a la legislación y la ética ya establecidas. California subraya la primacía de la ética judicial para los jueces, mientras que la UE hace una integración más amplia con diversas áreas del derecho de la Unión (derechos de autor, protección de datos, etc.).
(8) ¿Qué papel juegan las empresas y los desarrolladores de IA en estas políticas, y cómo se fomenta la colaboración externa?
La relación entre los reguladores y los desarrolladores de IA es clave para una regulación efectiva. Respecto a la Política de California se centra predominantemente en el uso interno de la IA por parte del poder judicial. Aunque menciona a los proveedores de investigación legal de confianza, no establece requisitos directos para los desarrolladores de IA.
El grupo de trabajo consideró, y rechazó, exigir transparencia de las herramientas de IA sobre sus datos de entrenamiento, ya que esto impediría el uso de la mayoría de los sistemas de IA generativa y pondría un listón más alto para las herramientas de investigación legal de IA que para otras herramientas.
Ahora bien, el Código de la UE, al estar dirigido a los proveedores de modelos de IA de propósito general, establece un marco de compromiso mucho más robusto con los desarrolladores. En el Capítulo de Seguridad y Protección, se enfatiza la cooperación con licenciatarios, modificadores y proveedores posteriores, así como la participación de expertos o representantes de la sociedad civil, la academia y otras partes interesadas relevantes para comprender los efectos del modelo.
El Código también promueve la cooperación con la Oficina de IA para fomentar la colaboración entre proveedores, investigadores y organismos reguladores. Un elemento clave es la obligación de permitir que evaluadores externos independientes realicen evaluaciones del modelo y revisiones de seguridad, con acceso adecuado a la información del modelo.
Cabe destacar lo señalado por medio de la situación (hipotética), donde una empresa en Estados Unidos desarrolla una nueva herramienta de IA generativa para la investigación jurídica. En California, el enfoque estaría en cómo los abogados y jueces usan esta herramienta de manera responsable, asegurándose de verificar su precisión y evitar el sesgo en sus productos finales.
Por otro lado, si esta empresa deseara ofrecer su modelo de IA de propósito general en el mercado de la Unión Europea y fuera clasificada como de riesgo sistémico, tendría que cooperar con evaluadores externos independientes, proporcionarle acceso adecuado al modelo para la evaluación, y mantener una comunicación con la Oficina de IA y otros grupos de interés para demostrar el cumplimiento con los requisitos de seguridad y mitigación de riesgos.
En conclusión, la adopción de la IA generativa en el poder judicial es un proceso inevitable pero complejo. A través de la Política de California adopta un enfoque práctico y centrado en el usuario, que busca integrar la IA como una herramienta de apoyo, manteniendo la responsabilidad humana como pilar fundamental de la administración de justicia. Es un paso necesario para establecer una base para el uso responsable dentro de una institución tan sensible.
Sin embargo, su alcance es limitado al uso dentro del poder judicial, y no ejerce influencia sobre cómo se desarrollan y distribuyen los modelos de IA en el mercado.
Por su parte, el Código de la UE, por el contrario, presenta un marco mucho más ambicioso y holístico, dirigido a los proveedores de modelos de IA de propósito general. Sus directrices profundizan en la gobernanza, seguridad, gestión de riesgos sistémicos y transparencia en todo el ciclo de vida de la IA, desde el diseño y el entrenamiento hasta la evaluación y el monitoreo post-comercialización. Esto implica una responsabilidad mucho mayor para los desarrolladores de IA y una supervisión activa por parte de la Oficina de IA.
En suma, la combinación de ambos enfoques, uno centrado en el uso institucional y otro en la gobernanza de los modelos subyacentes, sugiere un camino más completo para navegar los desafíos de la IA.
El Poder Judicial, como un barco en aguas inexploradas, necesita tanto una brújula confiable para los marineros (las políticas de uso interno) como un riguroso proceso de construcción y mantenimiento del barco (la regulación de los modelos de IA) para garantizar un viaje seguro y justo para todos los que confían en él.
Fuentes de consulta
Code of Practice for General-Purpose AI Models: Safety and Security Chapter 1. Recuperado de https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai
Code of Practice for General-Purpose AI Models: Transparency Chapter 2. Recuperado de https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai
Code of Practice for General-Purpose AI Models: Copyright Chapter 3. Recuperado de https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai
Proposed Judicial Branch Policy on Generative AI. Recuperado de https://jcc.legistar.com/View.ashx?M=F&ID=14317995&GUID=ECD8C9DA-C4D0-4251-9D6E-F59B81DF112E
***
Rodolfo Guerrero es abogado por la Benemérita Universidad de Guadalajara y maestro en derecho con orientación en materia Constitucional y administrativo por la misma casa de estudios. Es Socio Fundador y Representante Legal de la Sociedad Civil Coffee Law “Dr. Jorge Fernández Ruiz”. Socio fundador de la Academia Mexicana de Derecho “Juan Velásquez” A.C. Titular de la Comisión de Legaltech del Ilustre y Nacional Colegio de Abogados de México A.C. Capítulo Occidente. Vicepresidente de la Academia Mexicana
- Plumas NCC | La Inteligencia Artificial Generativa en el Poder Judicial - julio 22, 2025
- ‘EX-POSICIÓN’, el cuerpo como pincel para narrar - julio 21, 2025
- Colombia, un paraíso que destaca en turismo sostenible - julio 18, 2025
