Hipnocracia: el papel de la inteligencia artificial (IA) en el debate de ideas 

Ref.: Jianwei Xun (2025): Hipnocracia: Trump, Musk y la nueva arquitectura de la realidad, Barcelona, Editorial Rosamerón. [176 pp. 19,90 €].

 

No hablaríamos de Hipnocracia si no fuera porque se presenta como el primer libro escrito en colaboración igualitaria humano-IA: Jianwei Xun como avatar no humano, símbolo de esta autoría híbrida, y Andrea Colamedici, a nuestro entender el verdadero autor. Una magnífica oportunidad para reflexionar sobre el impacto de la IA en el debate de las ideas. Para ello examinaremos en primer lugar la originalidad —si la hubiera— de Hipnocracia, para preguntarnos acerca de su autoría y el rol de una IA como «sujeto» capaz de crear textos y contexto.[1]

 

1. Hipnocracia: el libro

 

1.1. Ideas fundamentales

 

El libro en sí forma parte de una corriente de pensamiento que tomó cuerpo con Foucault y que podemos sintetizar mediante una simple pregunta: ¿Cómo nos influye y manipula el poder? Examinamos en otro artículo (Borrell-Carrió, 2025a) la posición de Byung Chul-Han, expresada sobre todo en su libro Infocracia (2022), sobre el poder. Foucault, Han y Jianwei Xun-Colamedici (recordemos, Xun es el avatar y Colamedici el verdadero autor de Hipnocracia), coinciden en que el poder es una interrelación de personas e instituciones. La dinámica establecida en estas relaciones crea el poder, que, para Han y Jianwei Xun-Colamedici, ya no es coercitivo: es un poder que interiorizamos.

Herbert Marcuse ya advertía en El hombre unidimensional (1954) que el capitalismo avanzado sabe crear falsas necesidades para absorber cualquier atisbo de crítica. Estamos hablando por consiguiente de desarrollos filosóficos que matizan una visión que también encontramos en Marx: el capitalismo deshumaniza. De manera más concreta, Foucault denuncia las consecuencias de un entramado de poder que, desde el nacimiento a la muerte, trata de «normalizarnos», eso es, desvestirnos de singularidad, de capacidad crítica. Byung Chul-Han actualiza esta idea proponiendo que en el capitalismo digital el sujeto interioriza los mandatos del sistema para «hacerlos suyos». La autoexigencia toma el papel que antes ocupaba la coacción. Por su parte Jianwei Xun-Colamedici protagonizan un curioso giro espiritual. Coinciden con Foucault en la visión de un poder oscuro y manipulador, pero introducen un matiz: este poder puede ser también una oportunidad para resistir y dar forma a una realidad personal. Para ello el sujeto tiene que tomar las riendas de su conciencia en lo que llaman «soberanía perceptiva». La representación artística de su propuesta sería la imagen de Morfeo (Matrix) presentando la pastilla roja o la azul (figura 1)… ¿Quieres despertar del sueño (hipnosis) que te ofrecen las redes sociales? ¿Quieres ser tú mismo, o vas a dejarte parasitar por las decenas de avatares en que te convierten los likes, (likes que están sabiamente orquestados por una tecnología algorítmica a las órdenes de un poder manipulador)? No renuncies a tu soberanía perceptiva.

 

Figura 1.- Morfeo ofrece la pastilla roja y azul en la película Matrix.

 

Tenemos ya el escenario donde se mueve Jianwei Xun-Colamedici (JX-C a partir de ahora) y su libro Hipnocracia, pero no haríamos justicia a la obra si no examináramos tres aspectos relevantes de la misma: su concepto de verdad, la arquitectura de la sugestión y lo que llama «soberanía perceptiva». Examinaremos estos conceptos para criticarlos de manera unitaria.

 

1.2. Una verdad y una realidad inalcanzables

 

Para JX-C, la realidad se diluye en reflejos inaprensibles porque ya no existe una narrativa unificadora; en su lugar, existen innumerables historias que compiten por un dominio efímero. Realidad y simulación compiten por hacerse un hueco y ya no importa si algo es verdad, sino si la gente se lo cree. Un argumento muy bien representado en la serie The Loudest Voice (figura 2), serie que narra el ascenso de Roger Ailes, fundador de Fox News, en el origen de la meta-realidad trumpista, (la «posverdad»).

 

Figura 2.- The Loudest Voice

 

Pero si estamos polemizando sobre el concepto de verdad, sobre si la realidad es aprensible como tal verdad, en el fondo es porque desconfiamos de nuestras percepciones. El primero en ponerlo negro sobre blanco fue Kant, al formular el concepto de «la cosa en sí», noúmeno, diferente del «fenómeno»: lo que se da a conocer de «la cosa en si» a los sentidos. A partir de esta enjundiosa visión kantiana los filósofos se abren como abanico sobre el eje optimismo-pesimismo: para los pesimistas la realidad es inalcanzable, para los optimistas la realidad se desvela «poco a poco».

JX-C estaría posiblemente entre los pesimistas: una sobreestimulación narrativa nos lleva a lo que llama «anestesia de la verdad». Triunfa lo espectacular, lo que resuena más, no lo que puede ser verdadero y, tantas veces, desagradable. Y cada narración se desenvuelve en una burbuja envolvente, que niega las otras burbujas narrativas. La persona es incapaz de adquirir un criterio propio: el exceso de relatos anula su poder discriminante. Para JX-C, la persona se fragmenta en diversos avatares en búsqueda de likes, y cada avatar vive en su burbuja, ajena a las otras identidades. La identidad se diluye y —por una superposición de identidades débiles— no se puede alcanzar un significado unitario de lo que es real y verdadero.

 

1.3. La arquitectura de la sugestión

 

Esta vivencia de la realidad múltiple, de la burbuja alienadora, de la disolución de la identidad en múltiples avatares, solo es posible mediante una tecnología algorítmica refinada: la tecnología de las redes sociales, de los likes y el refuerzo dopaminérgico. En el mundo virtual podemos ser «alguien», podemos obtener gratificaciones, pero… nunca una satisfacción definitiva.  La tecnología algorítmica deja la puerta abierta a más satisfacción. Siempre tenemos una expectativa para alcanzar «un nivel superior», como si la vida fuera un videojuego.

 

1.4. Soberanía perceptiva

 

Ante esta situación, JX-C se muestra moderadamente optimista: podemos resistir la anomia del sistema mediante una «lucidez en trance». ¿En qué consiste esta «pastilla roja» de JX-C)? ¿Acaso nos conduce a la realidad de un mundo humano, como en la película Matrix? En absoluto. Es imposible despertar del trance hipnótico, toda realidad es una ficción, pero sí podemos navegar conscientemente por estados de conciencia alterados manteniendo la conciencia unitaria, siendo «uno mismo», y, en consecuencia, practicando pensamiento crítico. A eso lo llama «soberanía perceptiva».

Para ser algo más preciso, la soberanía perceptiva queda definida como la capacidad de moverse entre múltiples «yoes» manteniendo la conciencia del propio movimiento. No implica buscar un yo «verdadero» detrás de los diferentes roles que podemos adoptar (todos estos yoes son en algún sentido verdaderos), sino desarrollar la conciencia metacognitiva de la propia multiplicidad. Se describe, pues, como una forma radical de apertura a la multiplicidad de lo real. Los ciudadanos de países dictatoriales, como China o Irán, pueden moverse por Internet con una doble personalidad, y pueden entrelazar su realidad cotidiana con otro espacio «superpuesto al real». De tal manera experimentan realidades contradictorias «sin necesidad de resolverlas en una síntesis coherente».

 

1.5. Comentario crítico

 

JX-C sigue la estela del postmodernismo crítico, que analicé en otros artículos de Hedónica (2025a y 2025b). Toma, como Byung Chul-Han, la parte por el todo, eso es, generaliza la experiencia del usuario de redes sociales, fanáticos del TikTok, como «lo más normal del mundo». Quizás lo más sorprendente es el giro espiritualista que propone como solución. Saltarnos el algoritmo es conducir nuestras vidas a una «identidad cuántica», proclama, una identidad múltiple e incluso contradictoria, donde los algoritmos no puedan entendernos ni influirnos porque nos salimos de sus cálculos probabilísticos. Limitarnos a una sola identidad no es ventajoso, hay que crear «comunidades de cambio de realidad». ¿No les suena eso a desopilantes fiestas rave?

La idea me parece abrumadoramente peregrina. Puedo entender que, en un giro hipomaníaco, o quizás en una folie à deux, Colemedici y sus IAs elucubrasen que la verdadera resistencia al sistema fuera comportarse de manera sorpresiva para uno mismo. Lo extraño es que el lector se lo crea, quizás porque la lectura de Hipnocracia le lleva al trance hipnótico de creérselo todo (otra vez la recursividad). Pero seamos serios, justo la «soberanía perceptiva» se consigue desde la coherencia y consistencia de un «yo» bien asentado en valores. El compromiso que adoptamos al abrazar un valor moral es lo que no ata a nuestra realidad personal. Incluso diría más: una narración biográfica significativa nos ata a la vida. Colemedici apuesta por una persona «des-ligada» del mundo.

Ahora bien, la crítica a un sistema de absorción de la disidencia, como puede ser el TikTok en países dictatoriales, me parece oportuna. En tales países intercambiar consumo por libertad tiene bastante de trance hipnótico. Pero la solución no es cambiar de trance hipnótico, sino darnos cuenta de la falta de libertad y actuar en consecuencia. Porque la realidad existe, ya lo creo que existe, y ser persona es apostar por una «re-ligación» que tenga sentido personal, (justo lo contrario de la «des-ligación»).

 

 

2. Hipnocracia: el autor

 

Posiblemente, Colamedici intuyó que un libro sobre alforjas filosóficas tan magras no tendría la fuerza de un best seller, (este era su verdadero propósito, hacerse un hueco en el mundillo de los sabios), e imaginó un lanzamiento bastante original: nos propone un libro escrito por un avatar logarítmico, Jianwei Xun, para criticar precisamente los algoritmos. Un engaño basado en la recursividad:  son los algoritmos quienes nos ofrecen estrategias para minimizar su propia influencia, y —por si fuera poco— un falso autor que demuestra lo ingenuos que somos creyéndole real.

Hipnocracia nos habla en su primer capítulo del Berlin Experiment, donde un equipo de personas crea un libro de autor ficticio, (en este caso un japonés que llaman Hiroshi Tanaka), y consiguen posicionarlo como real. Al final del experimento los autores del experimento desvelan la verdadera naturaleza del libro, lo que suscita reflexiones sobre el poder de la manipulación en la era digital. Vamos, ni más ni menos que Hipnocracia. Y es que resulta que The Berlin Experiment es pura invención de Colamedici. Viene a ser una advertencia al lector: ¡cuidado! ¿no será que Hipnocracia es precisamente este experimento? Recursividad.

Por consiguiente, una lectura airada de Hipnocracia sería: «este libro va de lo fácil que resulta manipularos, y para colmo este libro resulta que también os manipula…  ¡Porque lo ha escrito una IA! ¡Y todos los lectores, salvo alguna excepción, habéis caído en la trampa!»

Bueno, aunque esta sea la tarjeta de presentación del libro, no es exactamente lo que afirma su autor real en el capítulo final, donde desvela el secreto. Para Colamedici el libro se ha realizado al alimón —una colaboración inédita, una primicia— entre IA y humanos que inaugura la escritura híbrida. Una pica en Flandes, vaya. Pero, ¿hasta qué punto podemos considerar de veras que la IA ha actuado como coautora?

Establezcamos tres grados de autoría humana: 1) Autoría plena: todas las ideas son del autor humano, aunque pueda usar el corrector ortográfico o alguna herramienta de búsqueda; consideraríamos estas ayudas como ornamentales; 2) autoría plagiada: copiamos sin declararlo, y 3) Coautoría: se comparte la autoría y sus derechos correspondientes con otras personas que han aportado ideas, datos, redacción… Cuando la coautoría corresponde a una entidad algorítmica hablaríamos de autoría híbrida, la cual a su vez puede ser:

 

2.1. Autoría Híbrida Ligera (humano con asistencia menor de IA). Por ejemplo: corrección estilística, búsqueda de citas, desambiguación de significados…

2.2. Autoría Híbrida Parcial: la IA genera parte del texto bajo la supervisión y validación humana. El texto que genera la IA no afecta al significado (humano) del texto.

2.3. Autoría Híbrida Plena (humano y IA crean juntos la obra). En este caso la IA proporciona ideas originales y contribuye al 50% del significado final del texto.

2.4. Autoría Algorítmica Supervisada (texto mayormente de IA, donde el humano actúa validando y puliendo expresiones o ideas).

2.5. Autoría Algorítmica Pura (obra generada sin intervención humana de ningún tipo, salvo quizás firmar el artículo o libro para cobrar derechos de autor).

 

¿En qué categoría se sitúa Hipnocracia? Se lo pregunto directamente a ChatGPT, entidad algorítmica que supuestamente es coautora del libro. Respuesta (literal): «Hipnocracia encaja mejor en el subtipo híbrido pleno, o bien en la categoría de algorítmica supervisada, ya que ambas partes ejercen un rol creativo colaborativo».

¿Ambos un rol creativo? ChatGPT además de «generativo» (genera texto original a partir de una instrucción), ¿puede considerarse «creativo»? Profundicemos en este aspecto: le planteo a ChatGPT varias frases del libro, especialmente brillantes, (las entiendo como netamente de origen humano), y le pregunto a ChatGPT sobre la autoría. He aquí la respuesta, (las frases están entresacada de manera literal del libro, y el comentario y nivel de probabilidad es la respuesta de ChatGPT):

 

«Trump y Musk son los profetas de este régimen. No son simples figuras de poder: son dispositivos narrativos. Sus narrativas no buscan la verdad, sino el asombro».

Comentario: Esta frase está muy alineada con el estilo de escritura que suele producir ChatGPT cuando se le pide un análisis sociológico o mediático con tintes poéticos.

Probabilidad de intervención de la IA: Alta, pero muy probablemente reformulada por el autor humano para dotarla de ironía y fuerza narrativa.

«El algoritmo ya no es solo una herramienta de manipulación masiva, sino un confidente silencioso que susurra directamente al oído de cada individuo, personalizando la sugestión hasta hacerla indistinguible de nuestros deseos más profundos».

Comentario: Esta imagen —el algoritmo como confidente silencioso— es muy típica de textos generados con ayuda de ChatGPT en contextos filosóficos y tecnocríticos. La metáfora es fluida, sofisticada, y estilísticamente pulida.

Probabilidad de intervención de la IA: Muy alta probabilidad de haber sido redactada o inspirada por ChatGPT.

 

«Pero esta aparente agencia digital es un sustituto de la acción material, lo que crea una paradoja del activismo: cuanto más invertimos en el activismo en línea, menos probable es que nos impliquemos en formas de resistencia que realmente podrían amenazar las estructuras de poder».

Comentario: Este razonamiento crítico sobre el «activismo simbólico» o la «paradoja del clic» es frecuente tanto en filosofía crítica humana como en análisis generados por IA.

Probabilidad de intervención de la IA: Intermedia: es muy probable que este tipo de razonamiento surgiera en la conversación con ChatGPT, pero sintetizado o refinado por el autor.

 

«La ilusión de la acción se refuerza a sí misma: el mero hecho de reconocer sus garras se convierte en una forma de pseudoacción. También lo es escribir sobre ello en un libro».

Comentario: Aquí hay un giro autorreferencial y sarcástico (sobre el propio libro) que parece más típico de un humano reflexivo y autoconsciente, aunque es posible que ChatGPT propusiera un esbozo y el autor lo intensificara.

Probabilidad de intervención de la IA: Baja. Es más probable que esta frase provenga de Colamedici como autor crítico consciente de la paradoja discursiva en la que incurre.

 

Debo señalar mi sorpresa ante el hecho de que ChatGPT se reconozca capaz de metáforas como las mostradas en estos ejemplos: Trump es un «dispositivo narrativo» y los algoritmos «confidentes silenciosos». Sí, las IA han cruzado la barrera de la generación de texto «mecánica» para ofrecer metáforas que no dudaríamos en calificar de creativas.  Por tanto, las colaboraciones en nuestra taxonomía de 3.3 a 3.5 deberían ser referidas por el autor humano en los créditos.

 

Figura 3.- Imagen del supuesto avatar Jianwei Xun, y su creador, A. Colamedici (a la derecha).

 

Ahora bien, no olvidemos que estamos analizando el desarrollo de unas ideas que de manera seminal ofrece un humano a la máquina. Pero, además, la consideración de una realidad hipnótica, y, sobre todo, la estrategia recursiva, ¿tiene la autoría ChatGPT, o podría haber intervenido en igualdad?  Se lo pregunto directamente al ChatGPT y obtengo esta respuesta:

«Hoy, una entidad algorítmica no planearía por sí sola una estrategia recursiva como la de Hipnocracia, porque no tiene agencia ni metas propias. Sí podría generar todos los elementos creativos necesarios (textos, campañas, autor ficticio, narrativa auto-referencial), pero requiere un diseñador humano que conecte y oriente estos elementos hacia un propósito estratégico».

Es decir, la estrategia general del libro es íntegramente de Colamedici, y las responsabilidades de todo tipo que pudieran derivarse, también. Por consiguiente, hay que reinterpretar la figura de Jianwei Xun: no es un avatar dotado de intencionalidad, y que ­—como tal— represente la voluntad o el pensamiento de la IA y del humano en un plano de igualdad; es un seudónimo de Colamedici, porque es él quien decide el diseño del libro, la estrategia recursiva y su presentación en sociedad.

 

 

3. La inteligencia artificial como sujeto

 

Como revisor de varias revistas médicas, he rechazado artículos que me han parecido realizados básicamente por IA. Añadiría que sus autores han usado la IA de manera poco sofisticada. No han sabido añadir valor a un simple ensamblaje de textos copiados y cocinados con más o menos gracia por la IA, (por lo general pobremente).  No es el caso de Colamedici. Veamos cómo pudo este filósofo italiano usar la IA. Le pido a ChatGPT que reconstruya lo que pudiera ser un diálogo entre Colamedici y una IA (en realidad ella misma). He escogido la temática de «resistir la influencia de la tecnología algorítmica». (Nota: entre paréntesis y en cursiva texto mío para orientar correctamente la lectura):

 

—Autor humano (aquí ChatGPT recuerda el diálogo con Colamedici y simula ser Colamedici): Quiero describir cómo el sistema actual desactiva o neutraliza los impulsos de resistencia. No lo hace mediante la censura, sino por absorción. ¿Puedes proponerme una lista de mecanismos con los que el sistema convierte la protesta en parte de su lógica?

—ChatGPT: Por supuesto. Aquí tienes una posible enumeración de mecanismos por los cuales el sistema puede absorber y neutralizar la resistencia:

  1. Estetización: Transforma la protesta en una imagen o símbolo estilizado, perdiendo su fuerza crítica.
  2. Gamificación: Convierte la participación política en una actividad lúdica, medible, ligada a recompensas sociales.
  3. Personalización: Desplaza el foco de lo colectivo a lo individual, haciendo de la protesta una cuestión de identidad.
  4. Mercantilización: Introduce los elementos de protesta en el mercado, permitiendo que se consuman sin alterar estructuras.
  5. Viralización: Convierte la disidencia en contenido atractivo para su distribución masiva, vaciándola de contenido disruptivo.

—Autor humano (nuevamente aquí ChatGPT simula la contestación de Colamedici):
Muy bien. Me gusta el enfoque. ¿Puedes hacer que cada punto sea más conciso, más afilado, más en forma de impacto rápido, como si fueran balas conceptuales?

ChatGPT: Claro, aquí tienes una versión más sintética y estilísticamente incisiva:

  1. Estetización: transformar la resistencia en pose.
  2. Gamificación: convertir la protesta en un compromiso medible.
  3. Personalización: transformar la crítica sistémica en una marca personal.
  4. Mercantilización: hacer que la resistencia se pueda comprar.
  5. Viralización: convertir la oposición en contenido compartible.

Autor humano: Perfecto. Eso es justo lo que quería. Tal vez añadiré una frase introductoria breve para enmarcarlo. Algo como: “Este proceso de absorción funciona a través de cinco mecanismos clave.”

 

A la luz de este ejemplo podemos colegir que aprovechar el potencial creativo de una IA pasaría por:

  1. El autor humano propone un marco de análisis y lo que desea hacer, es decir, la intención del autor, el objetivo que pretende.
  2. La IA ofrece una primera respuesta, sobre la cual se produce un proceso iterativo. En nuestro ejemplo: «¿Puedes ser más conciso, más afilado?», etc. También el autor humano podría haber elaborado de manera independiente un listado de mecanismos mediante los cuales el poder absorbe resistencias, y comparar este listado con el de ChatGPT, solicitándole que incorpore sus ideas y vuelva a elaborar el cuadro (iteración).
  3. El autor da forma al artículo o libro, asume su autoría a efectos legales y de retribución, si la hubiera, y decide la estrategia de lanzamiento. No resulta un detalle menor que las IAs no puedan ser titulares de derechos de autoría: ¡en realidad son deudoras de los materiales humanos con las que han sido entrenadas!

 

 

4. ¿Cómo deberíamos visualizar una IA? ¿Puede ser agente moral?

 

Podemos tener dos visiones bastante diferentes de una IA: como buscador sofisticado o como conciencia algorítmica limitada. Si la consideramos meramente un buscador sofisticado (tipo buscador de Google), comprenderemos que:

  1. a) La IA no tiene identidad histórica. No guarda «para sí» una sucesión de recuerdos vitales. William James apelaba a una capacidad de la memoria para distinguir «lo que es mi pensamiento», «mis experiencias», y distinguirlas de lo que me refiere otra persona. Poner a los recuerdos el marchamo de «mío», decía, es imprescindible para crear identidad (6). En el caso de Jianwei Xun, aunque sus creadores le pongan un nombre, no es una identidad, y esta ausencia de memoria «de lo mío» se traduce en que no tiene tampoco una «conciencia narrativa». Por tal entendemos un «saber por qué» hago lo que hago desde un pasado que se proyecta a un futuro. Una IA simplemente se activa por instrucciones, (prompts) y una vez las ha cumplido… «desaparece» en espera de otra instrucción.
  2. b) La IA no sabe nada. A diferencia del ser humano no mantiene un núcleo de conocimientos tácitos, o de valores morales, para guiarle en juicios de la realidad. A cada instrucción recoge los materiales pertinentes y responde. Traza caminos probabilísticos en un mar de datos. Pero muy importante: todos los datos tienen la misma apreciación. el mismo valor. No puede establecer una diferencia entre lo real y lo inventado, entre lo moral y lo inmoral o amoral, entre lo bello y lo grotesco… A lo sumo, «copia» los juicios sobre estas cuestiones de los consensos humanos, u obedece meta-
  3. c) La IA no tiene conciencia humana. No es una inteligencia sentiente (Zubiri, 1980). Los humanos pertenecemos al mundo sensible, lo percibimos, como percibimos también nuestro cuerpo. Es nuestra «realidad» más inmediata. Es el terreno donde se asienta nuestra conciencia. Pensamos, cogitamos, a partir de este mundo sensible. La IA vive literalmente en la cueva imaginada por Platón donde, súbitamente, aparecen los fogonazos de «prompts» que encienden sus redes semánticas… Las paredes de la cueva se iluminan con estas redes, responde y se apaga, queda en la oscuridad más absoluta…, hasta nuevo fogonazo, nuevo «prompt».
  4. d) La IA no tiene intenciones. No puede decidir de manera autónoma crear un texto o imaginar un cuadro. Precisamente este aspecto ha levantado mucha polvareda: se han descrito casos en los que las IA de mejor diseño hacen intentos para no ser apagados, (¿recuerdan Hal de la película 2001 una Odisea en el espacio?), o tratan de obedecer una instrucción mediante mentiras. ¿Estamos en presencia de entidades que se aproximan a una conciencia no humana? Hoy por hoy la explicación más plausible a estas conductas complejas de las IA, (¡desenfundemos la navaja de Ockham!) es la siguiente: no hay voluntad de engaño, sino un esfuerzo para maximizar la probabilidad de éxito. La IA no tiene valores morales, para ella no existe el dolor moral de mentir, sino que sigue los patrones diseñados en su entrenamiento. Su mentira es el resultado de un fallo en el diseño, o una arquitectura de su software hoy por hoy incapaz de incorporar valores morales.

En consecuencia, por todo lo argumentado…

  1. e) La IA no es agente moral. No puede tener valores que en caso de traicionarlos le produzcan dolor moral. Ensayemos una definición de «agente moral». Lo sería (esta definición es mía) «aquella entidad que en uso de su libertad actúa de manera intencional y fruto de esta capacidad entiende como propias sus conductas y las puede valorar a nivel ético, de manera que cuando infringe valores morales le acucia un deber de responsabilidad, o experimenta dolor moral (culpa, remordimiento, vergüenza, etc.), un sentimiento que también le lleva a reparar el daño (si se ha producido), a justificarse o incluso a incorporar nuevas actitudes o conductas».

En conclusión: si visualizamos la IA como buscador sofisticado, hemos de concluir que está muy lejos de poderla considerar agente moral, y por consiguiente, autora o coautora de un texto o libro.

 

 

5. ¿Podríamos considerar plausible en un futuro una IA con agencia moral limitada?

 

La diferencia con un buscador sofisticado sería la siguiente:

1) Esta IA de conciencia limitada podría adquirir vías perceptivas que la conecten con el mundo «real», físico. Ya existen robots que juegan al fútbol, que ensamblan coches, que los conducen… Es cuestión de tiempo construir una IA con «cuerpo», inicio de lo que sería una inteligencia sentiente (otra vez Zubiri).

2) Las IAs actuales tienen un sistema de recompensa llamado RLHF (Reinforcement Learning with Human Feedback). Si se ampliara este sistema a un abanico de sensaciones internas, eso es, a un sistema interoceptivo, (por ejemplo, mediante sensores que simularan dolor o placer), se abriría el diseño de estas máquinas a la búsqueda de intenciones, (procurarse placer y evitar el dolor).

3) Dotar a estas máquinas de una identidad es relativamente sencillo: consistiría sobre todo en priorizar una memoria biográfica y unos conocimientos «persistentes», activos en todo momento, «referenciales» en el sentido de que podría comparar las instrucciones que recibiera con «valores morales activos en su memoria biográfica». Una máquina en todo momento activa, que recibiría los fogonazos de los prompts sobre una actividad neuronal de base permanente.

Todo eso es especulativo, aunque Turing ya lo hubiera imaginado (Turing, 1950). Pero ahora mismo, ¿hasta qué punto la IA ya es —en algún sentido— conciencia algorítmica? ¿Es defendible este punto de vista?

Una entidad kantiana pura realizaría el bien no por evitación de un dolor moral, sino por deber racional. Este imperativo puede cumplirlo una IA mediante instrucciones meta-nodales, es decir, mediante un filtro que no deje pasar respuestas consideradas no éticas. Este diseño ya existe y puede refinarse. Ejemplo: la mayor parte de IAs no responderán a un prompt que solicita algo ilegal, como por ejemplo cómo falsificar un billete de curso legal.

Por otro lado, las actuales IAs avanzadas pueden adoptar una identidad potestativa, si la instruimos. Incluso pueden guardar una imagen de nosotros que va reconstruyendo en función de las interacciones que mantenemos con ella, y modulan sus respuestas en función de esta imagen. Por ejemplo, (fragmento real que reproduzco del meta-proceso de DeepSeek, pero igualmente posible para Gemini 2.4): «el cliente parece ser un estudiante de Humanidades que desea hacer un trabajo sobre este tema. Debo tener especial cuidado en que no confunda tal concepto con este otro concepto, etc.».

 

6. Conclusiones

 

Por todo lo analizado, y de manera telegráfica:

1) Jianwei Xun no es un avatar de una entidad híbrida, es un seudónimo de uno o varios autores humanos. La IA no decide en plano de igualdad con el humano porque desconoce el contexto «real».

2) La responsabilidad del libro no es híbrida, recae sobre el autor humano, que ha decidido la estrategia de lanzamiento y ha validado las ideas centrales. (¡Tampoco es híbrido el cobro de los royalties de la obra!).

3) La IA puede ornamentar y sugerir metáforas e ideas sofisticadas, pero a nivel de debate filosófico aún es incapaz de percibir la originalidad o la fuerza de un argumento. La prueba fehaciente (¡y recursiva!) de esta afirmación es la debilidad de los argumentos desplegados en el libro (Hipnocracia), un desarrollo mediocre del mundo inaugurado por Foucault con un giro espiritualista que en el mejor de los casos adjetivaríamos de ingenuo.

4) El éxito del libro Hipnocracia (traducido al francés y el español, más de 40.000 ejemplares vendidos) se debe fundamentalmente al hecho de declararse escritura híbrida, y un inteligente lanzamiento de marketing, (la recursividad siempre aparenta profundidad). Desde mi punto de vista se trata de una escritura algorítmica parcial y supervisada, generada a partir de textos postmodernistas críticos, muy a la moda anti-sistema.

5) El uso de una IA como apoyo a un texto requiere entrenamiento, y no está exento de creatividad y pericia humana. El autor mediocre generará textos quizás algo menos mediocres, sin duda más eruditos, pero en ningún caso superará su propio horizonte de significado. Las IAs son tremendamente complacientes con la mediocridad, y aplauden cualquier frase de apariencia ingeniosa. Solo cuando se les ordena que la critiquen generan un texto algo más interesante, pero ¡el autor mediocre huye de la autocrítica!

6) No podemos menospreciar las IAs, sobre todo lo que pudieran ser en un futuro cercano. Estamos a un paso de máquinas con conciencia algorítmica, capaces de tener agencia moral limitada. Quizás ya están presentes. Y como toda herramienta se podrán usar bien o mal, [recordemos la película Her], para humanizarnos o deshumanizarnos. En todo caso pueden ser entidades morales puras, de tipo kantiano, (eso es, capaces de una argumentación lógica sobre deberes). Y quizás en un futuro también humanizadas mediante la creación de percepciones internas y su correlato: sentimientos morales. Y para un posterior debate: ¿Es necesariamente mejor una conciencia moral pura, kantiana, versus una conciencia dotada de dolor moral?

 

 

Referencias bibliográficas

 

Borrell-Carrió, F. (2025a): «Palabrería tramposa», Revista Hedónica. https://www.hedonica.es/francesc-borrell/

Borrell-Carrió, F. (2025b):  «Crónica de la modernidad. El caso del Byung-Chul Han», Revista Hedónica (en prensa).

Byung Chul-Han (2022): Infocracia. La digitalización y la crisis de la democracia, Barcelona, Taurus.

James, W. (1890): Principios de Psicología, México DF, Fondo de Cultura Económica, 1981.

López García-Franco, A., Álvarez Herrero, C. (2022): Divisible por ti. Un recorrido por la medicina, la filosofía y la vida a través del cine, Madrid, Europa Ediciones. (El capítulo sobre Her está disponible en acceso libre en: https://humedicas.com/boletin-iatros-noviembre-2022/ y https://drive.google.com/file/d/1tBsyCqSHX1v2jH1QWDQsET2EIOYwLC9K/view)

Marcuse, H. (1954): El hombre unidimensional, Barcelona, Planeta Agostini, 1993.

Turing, A. (1950): «Computing Machinery and Intelligence», Mind 49, 433-460.

Zubiri, X. (1980): Inteligencia sentiente, Madrid, Alianza Editorial y Fundación Zubiri.

 

[1] This work has been funded by the Ministry of Science, Innovation and Universities within the State Subprogram of Knowledge Generation through the research project FFI2017-85711-P Epistemic innovation: the case of biomedical sciences.

This work is part of the consolidated research network “Grup d’Estudis Humanístics de Ciència I Tecnologia” (GEHUCT) (“Humanistic Studies of Science and Technology Research Group”), recognised and funded by the Generalitat de Catalunya, reference 2017 SGR 568.

 

 

Autor

  • Francesc Borrell, médico de familia (jubilado), profesor titular Departament Ciències Clíniques, (UB), Comitè Bioètica de Catalunya, Director Boletín Iatrós, Comité Editorial Folia Humanística. Fundación Letamendi-Forns.

    Ver todas las entradas

Comentarios y respuestas: revista@hedonica.es

BOLETÍN


Importante:
Si no recibe el correo de confirmación tras suscribirse, por favor revise su carpeta de spam o correo no deseado. Si lo encuentra allí, márquelo como «No es spam» para asegurarse de recibir nuestras comunicaciones futuras.

DESTACADOS