Plumas NCC | La algoritmización de la sociedad

Por: Mtro. Rodolfo Guerrero Martínez (México).

La algoritmización es un fenómeno que redefine el poder en la era digital, presentándose como una continuidad de la administración burocrática, pero también como una ruptura con los valores democráticos tradicionales. Este proceso implica que los algoritmos, en esencia mecanismos matemáticos para resolver problemas y transformar datos, se convierten en la base del control político, social y económico.

De esta manera, el dominio de estas técnicas divide el mundo entre quienes imponen criterios y quienes son dominados por los algoritmos, demostrando, además, como la promesa de mayor objetividad y consideración de la subjetividad ciudadana que sostienen estos comprenden limitaciones y retos prominentes para los valores democráticos.

En el presente artículo se explorará a través de ocho interrogantes clave este complejo escenario, considerando principalmente lo plantado en la obra intitulada Ciudadanos reemplazados por algoritmos (2019), así como por otros aportes académicos relevantes.  

 

1) ¿Qué es la gobernanza algorítmica y cómo se relaciona con las formas tradicionales de administración?

Se refiere a un sistema en el que una parte significativa de las decisiones de gobierno son adoptadas por sistemas automatizados que recogen, cotejan y organizan datos. Este modelo representa tanto una continuidad como una ruptura con las formas clásicas de administración burocrática.

Primero se presenta la continuidad, desde que las comunidades políticas alcanzan cierta complejidad, surge la necesidad de objetivar y automatizar las decisiones colectivas. La burocracia, por ejemplo, se inventó para minimizar la intervención humana en la toma de decisiones y superar la subjetividad y arbitrariedad. Por otra parte, las interrogantes sobre la justicia y democraticidad de las decisiones algorítmicas ya surgieron con las decisiones burocráticas o el saber experto.

Posteriormente, un segundo elemento rector es ruptura, el cual ha sido acentuado en la era digital, con el poder expresándose cada vez más a través de algoritmos, lo que ha llevado a acuñar términos como algocracy, algorithmic governmentality o governance by algorithms. A diferencia de las burocracias basadas en estadísticas, las nuevas técnicas analíticas son más rápidas, baratas y capaces de procesar datos de grupos sociales enteros, prometiendo una objetividad de algoritmos agnósticos donde las cantidades de datos hablan por sí mismas.

 

2) ¿Cuáles son las promesas y los beneficios percibidos de la algoritmización en la toma de decisiones políticas y sociales?

Los algoritmos realizan una doble promesa de objetividad y subjetividad, que se perciben como muy beneficiosas para la política democrática, se explicarán en lo sucesivo:

(I) PROMESA DE OBJETIVIDAD. Se promete una neutralidad ideológica, con decisiones menos vulnerables a sesgos y sentimientos humanos al minimizar la presencia humana. Los algoritmos son vistos como objetivos, justos, precisos y libres de errores, lo que les confiere legitimación y los convierte en estabilizadores de la confianza.

Además, se consideran que pueden aportar una mayor racionalidad a los procesos de decisión y contrarrestar prejuicios ideológicos, sugiriendo incluso que los científicos de datos podrían reemplazar a los expertos. Esta esperanza en los datos y la objetividad crece en una cultura política caracterizada por la desconfianza, las crisis y la incertidumbre.

(II) PROMESA DE SUBJETIVIDAD. Se busca un respeto absoluto a nuestros deseos. La tecnología permite una comprensión granular de las interacciones individuales, posibilitando la personalización de servicios y el conocimiento exacto de los deseos de la ciudadanía expresados en su comportamiento cotidiano. Se cree que los sistemas algorítmicos pueden prever preferencias y ofrecer lo más adecuado, incluso corrigiendo el hecho de que a veces no sabemos lo que queremos.

En general, la gobernanza algorítmica se promete como una herramienta para reducir la complejidad de los fenómenos sociales a una medida aceptable, aumentando la eficiencia, la regulación inteligente y la anticipación de problemas.

 

3) ¿Cuáles son los riesgos y desafíos inherentes a la algoritmización de la sociedad, especialmente para la democracia y los derechos individuales?

Ante las promesas esgrimidas, la algoritmización de la toma de decisiones políticas y sociales conlleva riesgos y desafíos de considerable envergadura, en particular para la vigencia de los valores democráticos y la salvaguarda de los derechos individuales.

En primer término, es insoslayable abordar la cuestión de los sesgos y la discriminación: la supuesta objetividad algorítmica, lejos de ser una garantía, puede reproducir e incluso amplificar prejuicios inherentes al tejido social. Así, la denominada “falacia de la neutralidad” emerge como un riesgo sustantivo, ya que las decisiones automatizadas no necesariamente aseguran la equidad en el trato. Ejemplos paradigmáticos, como el sistema COMPAS en Estados Unidos —empleado para pronosticar reincidencia criminal— que evidenció sesgos raciales, o el algoritmo AMS en Austria, que discriminaba a mujeres y personas mayores de cincuenta años, ilustran este fenómeno.

En segundo lugar, la opacidad y la ausencia de justificación constituyen un desafío adicional. Los algoritmos tienden a ser percibidos como intrínsecamente válidos, lo que les confiere una legitimidad que tiende a devaluar la exigencia de transparencia y rendición de cuentas. Esta dificultad se ve agravada por el hecho de que muchos algoritmos son de propiedad privada y su funcionamiento resulta inaccesible al escrutinio público.

A esto se suma el problema de la vigilancia y manipulación. La utilización de sistemas algorítmicos habilita la predicción, el juicio y la manipulación de datos personales, afectando principios fundamentales como la presunción de inocencia y poniendo en entredicho la justicia y la libertad individual, ya que la privacidad se ve constantemente vulnerada. No son pocas las situaciones paradigmáticas, como el caso Cambridge Analítica —donde se utilizaron datos de Facebook para incidir en procesos electorales— o los asistentes virtuales como Siri y Alexa, que suscitan enigmas respecto a su función: ¿asistir o controlar?

Por último, resulta pertinente advertir sobre el impacto en la autodeterminación. El paternalismo cómodo propio de las sociedades algorítmicas puede derivar en la satisfacción automática de los deseos, a expensas de una actitud reflexiva sobre los mismos, desplazando la voluntad política explícita por una voluntad implícita de consumo. La literatura empírica revela, adicionalmente, que las personas tienden a subestimar los riesgos asociados a los sistemas de decisión automatizada para sus derechos y libertades individuales.

 

4) ¿Cómo afecta la «dataficación» de la sociedad y el uso de algoritmos al concepto de ciudadanía y la vida pública?

En este contexto, la creciente dataficación redefine profundamente tanto la naturaleza de la ciudadanía como la dinámica de la vida pública. Inicialmente, cabe resaltar la progresiva captura y procesamiento de opiniones y comportamientos individuales por sistemas algorítmicos tiende a subordinar a la ciudadanía frente a actores corporativos globales. Como consecuencia, el espacio público se percibe cada vez más opaco y distante, lo que propicia un fenómeno de desciudadanización acentuado.

Asimismo, es importante subrayar la transformación del ciudadano mediático en lo que algunos autores denominan ciudadano monitorial. Si bien la televisión contribuyó a la conformación de espectadores pasivos, los entornos digitales actuales erosionan la frontera entre quienes observan y quienes son observados.

Así, las personas participan simultáneamente como vigilantes y observadas, lo que incrementa la sensación de vulnerabilidad e impotencia. Este fenómeno resulta especialmente preocupante si se considera que los registros de comportamiento personal quedan a merced de entidades globales, cuyas lógicas de utilización suelen eludir el escrutinio social.

Por otro lado, conviene destacar el papel de la inteligencia artificial en la producción de un SÚPER YO ALGORÍTMICO, esto es, una instancia capaz de modelar el imaginario colectivo y las acciones tanto individuales como colectivas, sin mediar debate público alguno. Tal circunstancia supone una erosión de la acción política en tanto contribución deliberada al bien común, debilitando la agencia ciudadana en los procesos de deliberación.

Y por supuesto, resulta pertinente advertir sobre el denominado dataísmo, entendido como la creencia según la cual la posesión de datos equivale al control del futuro. Este paradigma desplaza la visión de la sociedad como un espacio de individuos autónomos para concebirla como un flujo de datos gestionado por intereses corporativos.

De esta forma, no solo se simula la transferencia de poder —a la manera de la mano invisible del mercado—, sino que, en última instancia, son las élites tecnológicas quienes diseñan y controlan los algoritmos conforme a sus propios intereses estratégicos, profundizando las asimetrías de poder y reduciendo la transparencia democrática.

 

5) ¿Cuáles son las limitaciones de los algoritmos para abordar problemas políticos y sociales complejos, y por qué la decisión humana sigue siendo inevitable?

Para comenzar, es esencial observar que los algoritmos, independientemente de su nivel de sofisticación, presentan limitaciones estructurales que hacen imprescindible la intervención humana en la toma de decisiones políticas y sociales.

En relación con su carácter instrumental, debe enfatizarse que los algoritmos actúan únicamente como instrumentos dirigidos a alcanzar metas previamente establecidas, mas carecen de la facultad de deliberar sobre la definición de dichos fines. Así pues, la determinación de objetivos y criterios a optimizar por la tecnología corresponde, inexorablemente, al ámbito de la voluntad política y la deliberación democrática; por lo tanto, resulta inviable delegarla en mecanismos automáticos.

Asimismo, resulta pertinente señalar que la gobernanza algorítmica, aunque eficiente en la optimización de procesos como la distribución de recursos o el procesamiento de grandes volúmenes de datos, se muestra insuficiente ante cuestiones de la vida política que no pueden ser objetivadas ni formalizadas, como los juicios valorativos o las prioridades éticas.

De hecho, en contextos tales como la asignación escolar en entornos urbanos complejos, la tecnología puede maximizar resultados según parámetros definidos, pero queda imposibilitada para dirimir la jerarquía entre valores en conflicto, como la satisfacción individual frente a la cohesión social.

Por añadidura, es relevante destacar que la política democrática trasciende la mera gestión eficiente de información; representa, por, sobre todo, un espacio público de interpretación, negociación y reconfiguración permanente de objetivos en un contexto de pluralismo garantizado. En consecuencia, el aprendizaje algorítmico difícilmente puede sustituir el aprendizaje político que surge del diálogo y el encuentro de perspectivas divergentes, inherente al proceso deliberativo colectivo.

La decisión humana sigue siendo indispensable en la política democrática, incluso con algoritmos avanzados. La legitimidad y el poder de decidir deben mantenerse en manos de la ciudadanía, ya que solo la negociación y la reflexión colectiva garantizan una democracia auténtica y plural.

 

6) ¿Cómo se inscribe el concepto de ciudades inteligentes en la algoritmización de la sociedad, y cuáles son sus implicaciones para los ciudadanos?

Las ciudades inteligentes o smart cities (SC) representan un modelo de desarrollo urbano que busca, a través del uso de las Tecnologías de la Información y Comunicación (TICs), mejorar la eficiencia, la economía y la calidad de vida de sus habitantes.

Sin embargo, su implementación en el contexto de la algoritmización plantea oportunidades y desafíos específicos, tales como:

(I) ENFOQUE Y DIMENSIONES. Una SC es un territorio con gran capacidad de aprendizaje e innovación, dotado de infraestructura digital y TICs, con un elevado nivel de rendimiento de gestión. Las dimensiones clave incluyen una economía inteligente (alta productividad, emprendimiento, talento), transporte y comunicación inteligentes (conectividad de alta velocidad, acceso público a internet), medioambiente inteligente (uso eficiente de energía, desarrollo sostenible), personas inteligentes (ciudadanía que ha aprendido a aprender), calidad de vida inteligente (mejores servicios, disminución de la desigualdad), y gestión y administración inteligente (Smart Governance) (procesos públicos digitalizados, e-Democracia, transparencia, colaboración entre funcionarios).

(II) EL TRIÁNGULO SMART. Para el desarrollo de una SC, es crucial la interacción coordinada de tres actores: el gobierno (orientado a la innovación), la estructura productiva, y la infraestructura científico-tecnológica (que incluye el capital social y las alianzas público-privadas). Los expertos enfatizan la alianza público-privada-academia como el triángulo perfecto para hablar de cualquier iniciativa.

(III) FASES DE IMPLEMENTACIÓN Y DESAFÍOS. El proceso se concibe en fases: desde los proveedores de tecnología ofreciendo soluciones a los municipios (SC 1.0), pasando por los municipios definiendo proyectos tecnológicos para mejorar la vida (SC 2.0, como Concepción), hasta los ciudadanos colaborando en el diseño de las futuras ciudades inteligentes (SC 3.0).

Sin embargo, en ciudades como Concepción, se aprecia que el tema aún es incipiente en el debate público-privado. La falta de comunicación entre organismos estatales y la insularidad de los agentes públicos dificultan la concreción de proyectos.

(IV) RIESGOS Y EL MEDIO TECNOLÓGICO. Si bien las TICs son fundamentales, deben ser un medio y no un fin en sí mismas. Existe el riesgo de un mal uso de la información y la tecnología para fines de control social o creación de información falsa.

Además, la brecha en infraestructura tecnológica y la fuga de talentos en algunas regiones, junto con la desconexión entre la universidad y la empresa, plantean obstáculos para la innovación. Se subraya la necesidad de una conciencia cívica para sustentar el proyecto y la participación ciudadana para identificar prioridades.

 

7) ¿Qué formas de resistencia y acciones alternativas emergen frente al control algorítmico y la despolitización?

En el escenario actual de intensificación de la algoritmización social y la paulatina disminución de la agencia ciudadana, es posible identificar una variedad de estrategias de resistencia y alternativas de acción colectiva que ameritan un análisis sistemático.

Por una parte, el hackeo, cuando se entiende como herramienta política, trasciende su dimensión técnica para constituirse en un acto consciente de resignificación y apropiación de información y artefactos, con el propósito de flexibilizar y transformar los marcos normativos existentes. Así pues, este fenómeno, a menudo disruptivo y resistente al control por parte de Estados y corporaciones, evidencia la creatividad subversiva inherente a la ciudadanía digital.

Adicionalmente, resulta fundamental destacar el rol de los movimientos sociales y el empoderamiento ciudadano, impulsados por las redes sociodigitales. Aunque estas plataformas pueden fomentar movilizaciones efímeras y de alta intensidad, también es cierto que pueden originar procesos de transformación política sostenida.

Así, ejemplos emblemáticos como el movimiento #YoSoy132 en México ponen de relieve la capacidad de estos espacios para constituirse en contrapoderes frente a discursos dominantes, trascendiendo el ámbito virtual y consolidando la agencia ciudadana en el espacio público.

Del mismo modo, la búsqueda de autonomía frente a la vigilancia centralizada ha propiciado la aparición de redes tecnológicas orientadas a la privacidad, entre las que destaca Telegram, priorizando la protección de datos personales y la ausencia de intereses comerciales.

Paralelamente, la consolidación de modelos de procomún en comunidades alternativas transforma las dinámicas de producción y circulación del conocimiento, favoreciendo una economía colaborativa y desmitificando prácticas previamente consideradas como piratería.

Por otro lado, la emergencia de partidos como el Pirata, tanto en Suecia como en Brasil, representa una estrategia institucional dirigida a la defensa del libre flujo informativo, la cultura del software abierto y la democracia directa, con el propósito explícito de distribuir el poder socialmente y no simplemente detentarlo.

Al mismo tiempo, la versatilidad de las nuevas generaciones y la tendencia al trabajo por proyectos, potenciadas por el uso intensivo de recursos digitales, han dado lugar a formas innovadoras de cooperación y construcción comunitaria a escalas nacionales e internacionales.

Sin embargo, conviene advertir que esta aparente libertad suele estar acompañada de dinámicas de autoexplotación consensuada, así como de la apropiación empresarial del valor generado colectivamente.

En definitiva, todas estas modalidades de resistencia confluyen en la desnaturalización de los mecanismos de control y en la reafirmación de la importancia central de la decisión humana y la deliberación política, subrayando la necesidad de preservar espacios de negociación y autonomía frente a la lógica instrumental de la optimización algorítmica.

 

8) ¿Cuál es el papel insustituible de la política y la decisión humana en un mundo cada vez más algoritmizado?

En primer lugar, es necesario reconocer que, en el contexto de una sociedad profundamente marcada por la algoritmización, la política y la toma de decisiones humanas continúan ejerciendo una función insustituible, la cual trasciende la mera gestión técnica.

No obstante, los algoritmos, debido a su carácter eminentemente instrumental, no están capacitados para definir los fines ni cuestionar los valores que sustentan las decisiones colectivas; su alcance se limita a optimizar metas previamente establecidas por actores humanos. Por ende, la política se configura, ante todo, como el espacio idóneo para la deliberación, el debate y la construcción de consensos en torno a los criterios y prioridades de la sociedad.

Por otra parte, debe subrayarse que la democracia reside fundamentalmente en la interpretación plural de la información y en la negociación permanente de intereses diversos. Mientras tanto, el aprendizaje algorítmico opera bajo lógicas agregativas y objetivos fijos. Así, la deliberación democrática implica un proceso abierto y dinámico, dentro del cual la sociedad renegocia de forma continua y colectiva tanto los objetivos como las decisiones públicas.

Asimismo, resulta pertinente destacar los límites del denominado tecnosolucionismo, es decir, la creencia excesiva en la capacidad de la inteligencia artificial para resolver los grandes retos sociales. Desde esta perspectiva, lejos de aportar soluciones verdaderamente transformadoras, se evidencia una tendencia a desplazar la discusión política, promoviendo una despolitización que dificulta el abordaje integral de las causas estructurales de las crisis contemporáneas.

De igual modo, la legitimidad de la democracia no deriva solamente de la corrección técnica de las decisiones adoptadas, sino, sobre todo, de la posibilidad de que la ciudadanía participe, incida y delibere respecto a los asuntos públicos, al margen de los resultados obtenidos.

Por consiguiente, la política debe preservarse como un espacio negociable donde la vigilancia y el control ciudadano sobre los procesos algorítmicos aseguren el autogobierno y la soberanía popular.

De ahí que resulte imprescindible resistir la tendencia hacia la despolitización, así como los discursos pretendidamente apolíticos que propugnan la mera optimización técnica de fines preexistentes. En efecto, la actividad política auténtica demanda imaginación, anticipación y la capacidad de superar el estado de cosas vigente a través de la formulación de nuevos y más justos horizontes colectivos.

En conclusión, aunque la algoritmización provee herramientas valiosas para la acción social, es preciso aclarar que la decisión sobre aquello que puede o debe ser formalizado computacionalmente sigue siendo prerrogativa humana y permanece ajena a los sistemas automatizados. Definitivamente, la política —concebida como el espacio privilegiado para el conflicto interpretativo, la construcción de sentido y la determinación de valores— continúa representando el ámbito insustituible de la agencia y la responsabilidad de las personas.

La algoritmización de la sociedad es una fuerza transformadora que, si bien promete eficiencia y objetividad, encierra el riesgo de una despolitización profunda y una pérdida de autonomía ciudadana.

En esta paráfrasis crítica se sugiere que la inevitabilidad de la decisión humana y la capacidad de los ciudadanos para organizarse, debatir y cuestionar los objetivos de la gobernanza, son fundamentales para salvaguardar los valores democráticos y evitar un futuro distópico de hipervigilancia y control.

Por tanto, el desafío radica en politizar este nuevo entorno tecnológico, haciendo explícitas las valoraciones implícitas en los algoritmos y construyendo una ciudadanía que no sea simplemente reemplazada, sino que reafirme su poder de decidir y su libertad.

 

Fuentes de consulta

Digital Future Society. (2021). Gobernanza y algoritmos: riesgos y potencial del uso de la inteligencia artificial en el sector público. Mobile World Capital Foundation. https://digitalfuturesociety.com/app/uploads/2022/03/Gobernanza_y_algoritmos.pdf

García Canclini, N. R. (2019). Ciudadanos reemplazados por algoritmos (1.ª ed.). FLACSO Ecuador; Editorial Universidad de Guadalajara; Centro María Sibylla Merian de Estudios Latinoamericanos Avanzados en Humanidades y Ciencias Sociales (CALAS). https://doi.org/10.32870/9786075476292

Innerarity, D. (2024). Defensa y crítica de la gobernanza algorítmica. Revista CIDOB D Afers Internacionals, 138, 11–25. https://doi.org/10.24241/rcai.2024.138.3.11

Telos Fundación Telefónica. Algoritmos: el poder del control social. https://telos.fundaciontelefonica.com/?pdf=5572#:~:text=Los%20algoritmos%20son%20hoy%20la,estén%20dominados%20por%20los%20primeros.

Urra, H. D. (2020). Concepción y el proyecto de ciudad inteligente. Brechas, oportunidades y desafíos. Revista Territorios Y Regionalismos, 3, 19–35. https://www.redalyc.org/journal/6277/627765323002/html/

 

***

Ro­dol­fo Gue­rre­ro es abo­ga­do por la Be­ne­mé­ri­ta Uni­ver­si­dad de Gua­da­la­ja­ra y maes­tro en de­re­cho con orien­ta­ción en ma­te­ria Cons­ti­tu­cio­nal y ad­mi­nis­tra­ti­vo por la mis­ma casa de es­tu­dios. Es So­cio Fun­da­dor y Re­pre­sen­tan­te Le­gal de la So­cie­dad Ci­vil Cof­fee Law “Dr. Jor­ge Fer­nán­dez Ruiz”. So­cio fun­da­dor de la Aca­de­mia Me­xi­ca­na de De­re­cho “Juan Ve­lás­quez” A.C. Ti­tu­lar de la Co­mi­sión de Le­gal­tech del Ilus­tre y Na­cio­nal Co­le­gio de Abo­ga­dos de Mé­xi­co A.C. Ca­pí­tu­lo Oc­ci­den­te. Vi­ce­pre­si­den­te de la Aca­de­mia Me­xi­ca­na de De­re­cho In­for­má­ti­co, Ca­pí­tu­lo Ja­lis­co.