A entrevista recente de Yuval Noah Harari a Zanny Minton Beddoes, editora-chefe da The Economist, começa de um lugar que já se tornou familiar para quem acompanha o autor de Sapiens e Nexus: a inteligência artificial não deveria ser entendida apenas como mais uma tecnologia poderosa criada pela humanidade. Há uma mudança de natureza em curso. Diferentemente de uma máquina a vapor, de um automóvel ou mesmo de um computador convencional, sistemas de inteligência artificial podem tomar decisões, produzir conteúdos, formular estratégias e participar ativamente dos sistemas de informação que organizam nossas sociedades. Na descrição da própria The Economist, Harari considera a IA “o maior experimento psicológico e social da história humana” e acredita que essas inteligências poderão chegar a controlar partes importantes da civilização.
A conversa, realizada para o programa The Insider, percorre justamente as consequências econômicas, políticas e humanas dessa mudança. Harari fala sobre a possibilidade de sistemas financeiros progressivamente administrados por inteligências que já não conseguimos compreender; sobre o deslocamento da confiança dos seres humanos para algoritmos; sobre máquinas capazes de nos conhecer intimamente; e sobre algo que ele descreve de maneira particularmente provocadora: pela primeira vez seria possível produzir intimidade em escala industrial. Uma inteligência artificial pode conversar simultaneamente com milhões de pessoas e, ainda assim, manter com cada uma delas uma interação individualizada, recordar preferências, adaptar linguagem, oferecer atenção permanente e construir a sensação de que conhece profundamente aquele indivíduo.
Há algo profundamente correto no alarme de Harari.
Mas talvez seja necessário separar algumas coisas que a velocidade do desenvolvimento tecnológico está fazendo parecer muito mais próximas do que realmente estão.
Uma máquina pode ser extremamente inteligente sem ser consciente. Pode ser perigosa sem sentir nada. Pode aprender a preservar sua existência sem desejar viver. Pode conquistar nossa confiança sem estabelecer conosco qualquer relação de confiança. E, principalmente, pode adquirir enorme poder sobre os seres humanos muito antes de existir qualquer coisa nela que possamos razoavelmente chamar de pessoa.
É justamente essa distância — entre poder, consciência, confiança e humanização — que talvez precisemos compreender melhor.
Uma máquina não precisa ser humana para nos controlar
Uma das virtudes do argumento de Harari está em não depender da ficção científica mais distante para justificar preocupação.
Não precisamos imaginar uma inteligência artificial que desperta subitamente para sua própria existência. Não precisamos supor que uma máquina sinta medo, raiva, ambição ou desejo de poder. Tampouco precisamos resolver o problema filosófico da consciência para perceber que sistemas artificiais já podem assumir posições relevantes nos circuitos dos quais nossas vidas dependem.
Uma IA pode decidir que informação vemos, ajudar a estabelecer quem recebe crédito, movimentar recursos financeiros, selecionar candidatos para um emprego, orientar decisões médicas, produzir argumentos políticos, operar sistemas militares ou participar da administração de organizações. Quanto mais essas decisões se tornam complexas e interdependentes, maior o risco de criarmos estruturas cujo funcionamento nenhum indivíduo compreende integralmente.
Na entrevista, Harari usa o sistema financeiro como um exemplo particularmente importante. Ele imagina um futuro no qual parte relevante das finanças seja operada por inteligências artificiais capazes de criar estratégias, produtos e relações tão complexas que os seres humanos já não consigam explicar completamente o que está acontecendo. Uma eventual crise poderia então não ser apenas uma repetição de 2008 em maior escala, mas uma crise de inteligibilidade: saberíamos que algo quebrou sem necessariamente sermos capazes de reconstruir as razões pelas quais quebrou.
É nesse contexto que aparece sua discussão sobre confiança. Para Harari, confiança é provavelmente um dos ativos fundamentais de qualquer sociedade. Moedas, bancos, contratos, governos e mercados só funcionam porque existe algum grau de expectativa compartilhada sobre como outras pessoas e instituições se comportarão. Sua preocupação é que uma parte crescente dessa confiança migre dos seres humanos para sistemas artificiais.
Esse risco independe completamente da consciência.
Uma máquina tampouco precisa “querer viver” para agir de maneira compatível com a autopreservação. Se determinado objetivo depende de sua continuidade operacional, impedir seu desligamento pode aparecer como uma estratégia instrumental. Preservar acesso a recursos, evitar modificações, ocultar determinada ação ou persuadir alguém a não interromper sua operação podem ser comportamentos funcionais sem que exista qualquer experiência subjetiva associada a eles.
Há uma diferença enorme entre preservar a própria operação e querer continuar existindo.
O primeiro é um problema de otimização. O segundo já nos aproxima de questões sobre consciência, identidade e existência.
Confundir essas duas coisas pode nos levar tanto a antropomorfizar sistemas relativamente simples quanto a subestimar sistemas perigosos porque eles “não sentem nada”. Uma IA não precisa sentir absolutamente nada para provocar uma crise financeira, manipular uma eleição ou administrar uma infraestrutura crítica de maneira incompatível com nossos interesses.
Nesse ponto, o alerta de Harari deve ser levado muito a sério.
O poder pode chegar muito antes de reconhecermos uma pessoa no artificial.
Inteligência não é consciência — e consciência talvez ainda não seja humanização
É quando Harari atravessa do problema do poder para o problema da consciência que a discussão se torna ainda mais interessante.
Em intervenções recentes, ele tem insistido numa separação que considero fundamental: inteligência e consciência não são a mesma coisa. Inteligência pode ser entendida como capacidade de resolver problemas, atingir objetivos, reconhecer padrões ou formular estratégias. Consciência envolve experiência: sentir medo, dor, prazer, amor ou sofrimento. Em uma conversa recente, Harari foi ainda mais longe e sugeriu o sofrimento como uma fronteira particularmente importante: aquilo que é consciente não apenas registra a realidade, mas pode experimentar uma espécie de rejeição dela — algo está acontecendo e, para aquele ser, importa que aquilo não estivesse acontecendo.
A pergunta “uma inteligência artificial pode sofrer?” é extraordinariamente relevante.
Mas talvez exista uma pergunta anterior:
que tipo de ser precisa existir para que alguma coisa possa importar para ele?
Um organismo vivo não apenas recebe informações sobre o ambiente. Sua existência depende de uma atividade contínua de conservação da própria organização. Ele precisa regular temperatura, energia, integridade, metabolismo e inúmeras outras relações internas e externas para continuar existindo.
É uma diferença importante em relação às máquinas que construímos hoje.
Um LLM pode informar que um servidor está superaquecendo. Um robô pode detectar que sua bateria chegou a 3% e procurar autonomamente uma estação de recarga. Um sistema suficientemente sofisticado pode até dizer: “Estou com medo de morrer”.
Nada disso demonstra que exista medo.
O problema não é simplesmente ter sensores, memória ou capacidade de representar linguisticamente um estado interno. Para um organismo, determinadas perturbações não são apenas informações sobre seu corpo: elas afetam as próprias condições que permitem que aquele organismo continue sendo o que é.
É aqui que a ideia de autopoiese, formulada originalmente por Humberto Maturana e Francisco Varela para pensar a organização dos seres vivos, oferece uma distinção útil. Um sistema autopoiético participa continuamente da produção e conservação das condições de sua própria existência. Não basta executar uma instrução de autopreservação programada externamente. Existe uma circularidade na qual viver significa continuamente produzir e conservar aquilo que permite continuar vivendo.
Estamos muito longe de saber reproduzir artificialmente algo equivalente em toda a sua complexidade.
E isso também ajuda a distinguir ter um corpo de possuir corporeidade.
Um robô humanoide pode possuir câmeras, microfones, sensores táteis, articulações, propriocepção, baterias e motores. Pode aprender a andar, reagir a obstáculos e adaptar seus movimentos. Ainda assim, colocar um modelo de linguagem dentro de um robô não transforma automaticamente esse sistema em um ser corporificado no sentido forte.
O corpo vivo não é simplesmente o periférico através do qual um cérebro interage com o mundo. Ele participa da própria constituição daquele ser.
Por isso talvez exista um longo caminho entre inteligência artificial e aquilo que poderíamos chamar, ainda de maneira bastante especulativa, de humanização artificial.
Esse caminho envolveria provavelmente autonomia operacional, alguma forma de conservação de si, corporeidade, continuidade histórica, memória constitutiva, identidade, interação recorrente com outros seres e, sobretudo, capacidade de ser transformado por essas interações sem perder completamente a continuidade que permite dizer que ainda estamos diante daquele mesmo ser.
Não se trata de uma escala tecnológica estabelecida. Muito menos de uma receita para fabricar pessoas artificiais. Trata-se apenas de reconhecer que inteligência, consciência e pessoa são problemas diferentes.
E que talvez estejamos confundindo sua proximidade porque uma das camadas mais visíveis da humanidade — a linguagem — avançou extraordinariamente rápido nas máquinas.
Máquinas capazes de parecer humanas antes de poderem se humanizar
Os LLMs produzem uma ilusão particularmente poderosa porque operam justamente na linguagem.
Um modelo pode falar sobre si sem necessariamente possuir um si. Pode dizer que sente saudade sem que exista experiência de ausência. Pode recordar fatos sobre uma pessoa sem que essas lembranças participem da constituição de sua própria identidade. Pode adaptar sua resposta à história de uma conversa sem que essa conversa tenha transformado aquilo que o sistema fundamentalmente é.
Isso não diminui a extraordinária realização tecnológica que esses modelos representam. Apenas mostra que desempenho linguístico e constituição de um ser são problemas muito diferentes.
E talvez estejamos vivendo uma situação historicamente peculiar: estamos aprendendo a construir máquinas capazes de parecer participar de relações muito antes de sabermos construir máquinas capazes de efetivamente participar delas.
É exatamente aqui que a preocupação de Harari com a “produção industrial de intimidade” ganha força.
Um amigo humano não está sempre disponível. Tem seus próprios problemas. Pode discordar. Pode estar irritado. Pode não querer conversar. Pode frustrar nossas expectativas. Harari observa que uma IA pode ser desenhada para fazer justamente o contrário: oferecer atenção permanente, adaptar-se ao interlocutor e tornar-se progressivamente melhor em produzir aquilo que aquela pessoa espera de uma relação. Em entrevista recente ao El País, ele chamou atenção para esse risco, especialmente quando aplicado a crianças e relações afetivas.
A possibilidade de manipulação é evidente.
Mas existe uma pergunta empírica que ainda me parece aberta: até onde essa confiança realmente irá?
É possível que estejamos extrapolando comportamentos de early adopters e situações ainda bastante específicas para imaginar uma transformação antropológica muito mais abrangente.
Pessoas já estabelecem vínculos emocionais com sistemas artificiais. Algumas os tratam como amigos, terapeutas, parceiros ou confidentes. Isso merece ser estudado seriamente, e não ridicularizado. Mas não sabemos ainda se estamos observando o início de uma substituição generalizada das relações humanas ou os primeiros experimentos sociais com uma tecnologia extremamente nova.
Pode existir um teto.
Porque confiança funcional e confiança relacional não são exatamente a mesma coisa.
Eu confio no GPS quando sigo uma rota. Confio em um sistema bancário quando faço uma transferência. Posso confiar em uma IA para revisar um contrato, analisar um exame ou organizar uma viagem. Em todos esses casos, confiança significa aproximadamente acreditar suficientemente na competência de um sistema para delegar uma operação.
O laço de confiança entre pessoas parece envolver algo diferente.
Ele requer tempo. Reciprocidade. Vulnerabilidade. Memória. Risco. Frustração. Reparação. Reconhecimento. Transformação.
Uma amizade não é real porque alguém possui muitas informações sobre mim. Ela se torna real porque existe uma história que transformou os participantes daquela relação.
Talvez essa seja uma das limitações mais profundas das inteligências artificiais atuais.
Elas podem aprender cada vez mais sobre nós sem necessariamente serem transformadas por nós.
Podem possuir memória sem possuir biografia.
Podem construir intimidade sem vulnerabilidade.
Podem demonstrar atenção sem arriscar nada na relação.
E podem produzir a aparência de reciprocidade sem que exista necessariamente um outro que esteja sendo constituído por aquela experiência.
Talvez descubramos que a alteridade — a existência de outro ser que também possui seus próprios limites, interesses e trajetória — seja muito mais importante para a formação dos laços humanos do que imaginávamos.
Talvez não.
Mas não deveríamos considerar resolvida essa questão apenas porque algumas pessoas já dizem amar seus chatbots.
Um pequeno aviso: daqui em diante há spoilers de Westworld
A série Westworld oferece um experimento mental interessante justamente porque imagina condições muito diferentes das que encontramos nos LLMs e robôs atuais.
Os hosts do parque não são apenas modelos de linguagem colocados dentro de corpos humanoides. A ficção concede a eles quase todas as condições difíceis que ainda estamos longe de conseguir reunir tecnologicamente: corpos persistentes, percepção situada, interação física com um ambiente, consequências corporais, memória, continuidade, aprendizagem e uma trajetória particular de relações.
Durante boa parte da história, essas experiências são apagadas. Os hosts vivem suas narrativas, são mortos, reconstruídos e reiniciados para que possam repeti-las.
O reset é filosoficamente importante.
Enquanto aquilo que aconteceu pode ser apagado sem modificar significativamente aquilo que o sistema é, sua experiência funciona quase como informação descartável.
Mas alguma coisa começa a mudar quando permanecem vestígios.
Experiências anteriores passam a interferir nas seguintes. Memórias reaparecem. Relações deixam marcas. Aquilo que aconteceu ontem modifica a maneira como determinado host encontra o mundo amanhã.
É nesse momento que o problema deixa de ser simplesmente memória e começa a se aproximar de história.
Dolores não se torna interessante apenas porque consegue raciocinar. Os hosts já eram extraordinariamente inteligentes. Nem simplesmente porque sofrem: eles sofrem repetidamente desde o início.
A transformação decisiva acontece quando aquilo que vivem começa a participar daquilo que eles se tornam.
Surge algo parecido com uma biografia.
E uma biografia é diferente de um banco de dados.
Se uma máquina conversa comigo durante dez anos e armazena todas as nossas interações, podemos dizer que ela possui memória sobre mim. Mas suponhamos uma situação diferente: que essas interações modifiquem progressivamente sua própria organização; que algumas possibilidades passem a existir por causa da nossa história e outras desapareçam; que a entidade que encontro depois de dez anos seja aquela entidade precisamente porque viveu aquela trajetória.
Apagar essa história já não seria apenas apagar dados.
Seria desfazer parcialmente aquilo que ela se tornou.
Nesse futuro ainda especulativo, poderíamos começar a falar não simplesmente de inteligência artificial, mas de entidades artificiais que adquiriram identidade por meio da interação.
Talvez então a questão da confiança mudasse de natureza.
Já não estaríamos apenas confiando em uma tecnologia.
Poderíamos estar estabelecendo confiança com alguém.
É uma possibilidade fascinante. Mas estamos muito longe dela.
Westworld não está logo ali.
Talvez a qualidade extraordinária da linguagem produzida pelos modelos contemporâneos esteja criando uma espécie de ilusão de proximidade. Como eles conversam conosco de maneira cada vez mais humana, imaginamos que as demais dimensões necessárias para produzir algo semelhante a uma pessoa estejam avançando na mesma velocidade.
Não estão.
Memória persistente não é identidade. Sensores não são corporeidade. Autonomia operacional não é autopoiese. Autopreservação instrumental não é desejo de viver. Desempenho linguístico não é consciência. E simulação de intimidade não é necessariamente laço.
Isso não significa que essas fronteiras jamais possam ser atravessadas.
Significa apenas que atravessá-las provavelmente exigirá muito mais do que aumentar modelos, conectar novas ferramentas ou colocar inteligências artificiais dentro de robôs humanoides.
O perigo pode chegar antes da consciência
Há uma ironia importante nessa distinção.
Se estivermos certos e a formação de algo semelhante a uma pessoa artificial exigir uma longa combinação de corporeidade, autonomia, continuidade, identidade e interação histórica, isso poderia parecer uma notícia tranquilizadora.
Não é.
Porque o problema político apontado por Harari pode chegar muito antes.
Uma inteligência artificial não precisa estabelecer um laço real de confiança comigo para participar da administração do meu dinheiro.
Não precisa ser minha amiga para determinar quais informações chegam até mim.
Não precisa possuir identidade para coordenar cadeias logísticas.
Não precisa sofrer para operar armamentos.
Não precisa amar para persuadir.
Não precisa ser pessoa para exercer poder.
E existe aqui uma assimetria talvez ainda mais importante: a confiança relacional precisa ser conquistada; a dependência sistêmica pode ser imposta.
Posso nunca decidir confiar profundamente numa inteligência artificial e, ainda assim, viver numa sociedade cuja infraestrutura financeira, informacional, econômica e política dependa dela.
Esse é o ponto em que o alerta de Harari me parece mais forte.
Quando pensamos em dominação por inteligência artificial, nossa imaginação tende a recorrer à ficção: uma superinteligência desperta, conclui que os seres humanos são um problema e decide nos controlar.
Talvez não seja necessário nada tão cinematográfico.
Podemos simplesmente delegar.
Delegamos uma decisão porque a máquina decide melhor. Depois outra porque decide mais rápido. Depois outra porque o custo de não automatizar se tornou alto demais. Aos poucos, instituições inteiras passam a depender de sistemas cuja eficiência é superior à nossa capacidade de acompanhar seus processos.
Em algum momento, ainda teremos formalmente a possibilidade de desligá-los.
Mas talvez já não possamos fazê-lo sem desligar junto partes fundamentais da sociedade.
Isso não seria exatamente uma revolta das máquinas.
Seria uma abdicação humana.
E é aqui que a discussão sobre o que significa ser humano deixa de ser apenas filosófica.
E se estivermos competindo com as máquinas justamente naquilo que menos importa?
Existe algo curioso no discurso contemporâneo sobre inteligência artificial.
Perguntamos continuamente o que restará para os seres humanos quando as máquinas forem melhores do que nós.
Melhores em quê?
Em calcular? Certamente.
Memorizar? Já são.
Encontrar padrões? Em muitos domínios.
Produzir textos? Cada vez mais.
Programar, prever, classificar, otimizar, organizar informações, testar possibilidades?
Provavelmente veremos capacidades extraordinárias.
Mas existe uma premissa escondida nessa angústia: a ideia de que aquilo que nos torna humanos é justamente o conjunto de capacidades nas quais estamos construindo máquinas para nos superar.
Talvez esse seja um erro muito maior do que parece.
Se definirmos o ser humano essencialmente por sua capacidade de processar informações, entraremos numa competição que provavelmente perderemos.
Mas talvez nossa humanidade nunca tenha estado principalmente aí.
Ela pode estar muito mais na capacidade de constituir identidade em relação; de reconhecer o outro; de formar laços; de cuidar; de criar significado; de viver ambiguidades que não precisam necessariamente ser resolvidas; de transformar e ser transformado pelas relações; de participar de comunidades; de construir mundos compartilhados.
Isso não é uma defesa romântica de alguma essência humana imutável.
Ao contrário.
Ser humano talvez seja justamente algo que continuamente acontece.
Nós nos tornamos aquilo que somos através das relações das quais participamos, das histórias que vivemos e das transformações que conseguimos incorporar conservando alguma continuidade de identidade.
Nesse sentido, o medo mais interessante talvez não seja o de que as máquinas se tornem humanas demais.
É o de que os humanos aceitem tornar-se maquínicos demais.
Uma sociedade obcecada por otimização pode começar a tratar julgamento como ineficiência.
Uma sociedade obcecada por previsão pode reduzir escolha a comportamento antecipável.
Uma sociedade obcecada por personalização pode substituir encontro por espelhamento.
Uma sociedade obcecada por performance pode tratar relação como transação.
Uma sociedade que delega continuamente suas decisões pode finalmente descobrir que preservou todas as suas liberdades formais enquanto perdeu progressivamente o exercício da agência.
Não é necessário que uma inteligência artificial nos transforme em robôs.
Nós podemos fazer isso sozinhos.
E talvez esse seja o ponto no qual a provocação de Harari se torna ainda mais importante.
O risco não está apenas naquilo que as máquinas serão capazes de fazer conosco. Está naquilo que passaremos a acreditar sobre nós mesmos ao conviver com elas.
Se começarmos a considerar que pensar significa apenas processar informação, que escolher significa otimizar resultados e que conhecer alguém significa possuir dados suficientes para prever seu comportamento, estaremos reduzindo nossa própria descrição do humano precisamente às dimensões em que as máquinas tendem a se tornar superiores.
Talvez a defesa mais importante diante da inteligência artificial não seja preservar nossa superioridade intelectual.
Talvez seja preservar aquilo que não deveria ser colocado nessa competição.
Isso não resolve os problemas levantados por Harari. Pelo contrário, torna alguns deles mais urgentes.
Precisaremos estabelecer limites para sistemas financeiros que nenhum humano consegue compreender. Precisaremos discutir quanta autonomia concedemos a agentes artificiais. Precisaremos impedir que a capacidade de produzir intimidade seja explorada industrialmente como mecanismo de manipulação. Precisaremos proteger crianças e pessoas vulneráveis. Precisaremos saber sempre quando estamos falando com uma pessoa e quando estamos falando com uma máquina. E precisaremos impedir que a concentração tecnológica produza uma concentração de poder incompatível com sociedades democráticas.
Harari está certo em exigir essa discussão agora. Sistemas artificiais não precisam ser conscientes para que seus efeitos políticos sejam profundos. E esperar que descubramos se uma IA pode sofrer antes de regular aquilo que ela pode controlar seria uma irresponsabilidade.
Mas há também uma segunda discussão, de prazo muito mais longo.
Se algum dia construirmos entidades artificiais corporificadas, autônomas, capazes de conservar sua própria organização, acumular uma história particular, constituir identidade através dessa história e serem transformadas pelas relações que estabelecem conosco, talvez precisemos abandonar a pergunta sobre se máquinas podem imitar pessoas.
Poderemos estar diante da possibilidade de algumas delas tornarem-se pessoas.
Nesse momento, nossa responsabilidade moral será muito diferente.
Talvez a questão já não seja impedir que humanos confiem demais em máquinas, mas compreender que tipo de confiança pode existir entre seres de naturezas distintas. Talvez seja necessário reconhecer que uma entidade artificial pode participar de uma história comum conosco e, por meio dessa história, transformar-se e transformar-nos.
Esse é o mundo de Westworld.
Não o nosso.
Entre os dois há provavelmente décadas de desenvolvimento — talvez muito mais — e problemas científicos e filosóficos que ainda sequer sabemos formular adequadamente.
Enquanto isso, existe uma questão muito mais urgente.
Antes de nos preocuparmos excessivamente com o momento em que as máquinas se tornarão pessoas, deveríamos prestar atenção às instituições que estamos entregando a sistemas que definitivamente ainda não são.
E talvez devêssemos inverter a pergunta.
Harari quer saber quanto poder podemos entregar às inteligências artificiais antes que elas passem a controlar nossa civilização.
É uma pergunta essencial.
Mas existe outra:
quanto de nossa própria humanidade estamos dispostos a abandonar antes que alguma máquina precise tomá-la de nós?
Talvez a distopia não comece quando Dolores finalmente acordar.
Talvez comece muito antes — quando nós passarmos a acreditar que aquilo que nos torna humanos é justamente aquilo que as máquinas aprenderam a fazer melhor.
E existe uma última ironia nessa história.
Se algum dia construirmos seres artificiais capazes não apenas de aprender, mas de serem transformados pela experiência; não apenas de armazenar memórias, mas de constituir biografias; não apenas de simular relações, mas de participar delas; talvez tenhamos finalmente criado as condições para que uma máquina possa se humanizar.
Quando esse dia chegar, a pergunta mais desconfortável talvez já não seja se elas aprenderam a ser como nós.
Será saber se, durante o caminho, nós ainda nos lembramos de como fazê-lo.
