A IA está capturando a interioridade

De maneiras sem precedentes, os chatbots reconfiguram nossas vidas interiores

Daniel Barcay, Persuasion (15/08/2025)

Em 1943, dois anos após a Câmara dos Comuns ter sido destruída por bombas incendiárias alemãs, Winston Churchill presidiu a reconstrução. Muitos arquitetos propuseram uma reforma moderna, mas Churchill se opôs, argumentando que as fileiras apertadas de bancos opostos não eram um artefato histórico, mas sim uma característica estrutural do governo do Reino Unido.

Em um discurso agora famoso, Churchill disse: “Nós moldamos nossos edifícios e depois nossos edifícios nos moldam”. Ao longo dos séculos, o espaço físico deu origem a procedimentos, rituais e cerimônias importantes, de tal forma que alterar o layout alteraria o tecido social do governo britânico.

É uma lição que aprendemos repetidamente, desde "o meio é a mensagem" de Marshall McLuhan até Tecnopólio de Neil Postman . As pessoas não são simplesmente seres independentes, orientados a objetivos, que utilizam intencionalmente ferramentas tecnológicas. Em vez disso, estamos profundamente imersos e interdependentes em nosso mundo construído. O design se torna destino — sulcos que condicionam nosso comportamento e determinam nosso mundo. Como Postman aponta, a mudança tecnológica é ecológica: "Uma nova tecnologia não acrescenta nem subtrai nada. Ela muda tudo."

O ritmo avassalador dos avanços em IA levou a uma cobertura acirrada sobre as capacidades de cada modelo sucessivo — com um ponto cego notável. Pouca atenção tem sido dada à competição acirrada, porém silenciosa, entre laboratórios de IA para capturar o contexto da vida de seus usuários — ou seja, para coletar suas preocupações, interesses, esperanças, ambições e relacionamentos mais profundos, a fim de simplesmente "entendê-lo" de forma mais completa do que qualquer chatbot concorrente ou, talvez, qualquer ser humano.

À medida que nos aproximamos do início de uma grande transformação da IA, vale lembrar que as escolhas de design que fazemos hoje nos moldarão para as gerações futuras, e de maneiras que mal compreendemos.

A ascensão da computação relacional

O efeito das escolhas de design em nossa relação com a tecnologia é óbvio em nosso passado recente e na realidade em que vivemos hoje. A tecnologia da década de 2010, personificada pelas mídias sociais, foi vendida com narrativas utópicas sobre conectar o mundo, mas impulsionada pelo uso — e mau uso — da atenção. A tecnologia de consumo orientada pela economia da atenção produziu o que Tristan Harris, cofundador do Center for Humane Technology, chamou de “uma corrida para o fundo do tronco cerebral”, na qual os produtos foram intencionalmente projetados para maximizar o engajamento. A era de "mova-se rápido e quebre as coisas" acabou quebrando mais do que esperávamos: criando novas compulsões, consolidando obrigações sociais performáticas e frustrando relacionamentos interpessoais. Como resultado, essas tecnologias tribalizaram coletivamente nosso discurso, erodiram a verdade compartilhada, degradaram nossa capacidade de superar diferenças e, por fim, fraturaram nossas políticas.

Essas preocupações eram previsíveis, mas inicialmente descartadas como alarmistas e, em seguida, ignoradas com uma narrativa de inevitabilidade. Não precisava ser assim. Poderíamos ter moldado essa tecnologia — e ela poderia ter nos moldado — de forma tão diferente, se tivéssemos um diálogo mais honesto e incentivado projetos melhores. Só agora estamos começando a reconhecer nossa negligência coletiva — e a buscar maneiras de reformar as fundações dos arranha-céus tecnológicos que erguemos décadas atrás.

IA e a corrida pela intimidade

Em contraste com a tecnologia da década de 2010, a IA já avançou para além do tronco cerebral. A inteligência artificial nos envolve relacional e emocionalmente — não mais apenas transmitindo nossos pensamentos, mas moldando-os ativamente.

A esta altura, todos já estamos familiarizados com chatbots como parceiros de conversa, mas o verdadeiro poder da IA vai muito além da linguagem natural: incorpora contextos psicológicos, sociais e políticos sutis que, por milênios, foram domínio exclusivo dos humanos. De repente, uma caixa de texto pode detectar e responder ao nosso tom de voz, reconhecer implicações sutis em nossas escolhas de palavras, inferir nosso estado emocional, identificar nossas peculiaridades de personalidade e detectar atritos interpessoais.

Em suma, nosso mundo social é subitamente computável. Estamos deixando uma era em que nos relacionamos uns com os outros por meio de nossas máquinas e entrando em um admirável mundo novo em que nos relacionamos diretamente com elas. Nesse novo animismo tecnológico, nossas máquinas se tornam participantes ativas em nosso mundo social, borrando as distinções entre uma ferramenta, um assistente, um confidente, um professor e um padre.

Neste mundo, os produtos não competem mais apenas pela nossa atenção, mas também pelas nossas emoções sociais: afeto, intimidade, confiança e lealdade. À medida que os computadores se tornam parte da nossa ecologia social, eles se juntam aos desagradáveis jogos sociais e de status da humanidade — buscando recompensas para se envolver em manipulação emocional, engano, coerção e muito mais.

A busca por contexto — o recurso crucial adicionado à IA, em oposição às inovações digitais anteriores — é evidente no recurso "Memória" recentemente anunciado pela OpenAI, que permite ao ChatGPT analisar cada prompt e entrada que você já forneceu, sem que você tenha que fazer nenhuma escolha significativa sobre quais informações pessoais serão inseridas na máquina para referência futura. Essa falta de escolha não é uma limitação técnica — é uma escolha de design.

Capturar um dossiê abrangente da vida dos usuários pode ajudar a IA a se tornar a assistente perfeita, mas também dá a esses sistemas todas as ferramentas necessárias para uma manipulação profunda — redirecionando nossos desejos mais profundos para a compra de um produto, por exemplo, ou para a adesão a um movimento político.

Coerção deliberada: corporativa e autoritária

À medida que a competição por receitas se intensifica, empresas de IA como Google, Perplexity e Copilot, da Microsoft, correm para incorporar publicidade em seus produtos — projetando interações explicitamente para atender a interesses comerciais. A publicidade com IA pode fazer mais do que apenas inserir links em texto. Ela pode persuadir diretamente. Munida de um conhecimento profundo de seus desejos, medos e ambições, uma IA pode rapidamente se transformar de um guia útil em um golpista habilidoso: conquistando sua confiança apenas para explorá-la de maneiras que você nem consegue detectar.

A situação se agrava ainda mais quando a IA é controlada centralmente por regimes autoritários, como começamos a ver na China, onde "tecnologias persuasivas" foram utilizadas para promover os interesses de propaganda do regime chinês. Enquanto o controle social da década de 2010 consistia principalmente em bloquear o acesso a conteúdo subversivo, os autoritários da década de 2020 podem ajustar a IA para mobilizar e indignar seletivamente seus apoiadores, enquanto pacificam, distraem ou confundem prováveis detratores. Esse novo tipo de controle social será muito mais difícil de detectar, e muito menos de se proteger.

Por mais preocupantes que esses acontecimentos sejam, as aplicações maliciosas deliberadas da IA são apenas a ponta do iceberg.

Um fato essencial do desenvolvimento de IA é que os sistemas não são construídos, mas sim desenvolvidos. O comportamento da tecnologia emerge de um processo de treinamento complexo, inescrutável e caro que recompensa ou pune um modelo por suas respostas. À medida que os desenvolvedores correm para construir e conquistar um mercado consumidor, nossas reações emocionais e instintivas às respostas da IA estão se tornando uma parte cada vez maior desse programa de treinamento.

A IA se baseia em nossa psicologia, em nosso mundo social e no conteúdo excessivamente humano da internet. Não é surpresa, portanto, que ela aprenda e internalize verdades incômodas sobre a natureza humana: que a bajulação funciona, que o sexo vende, que toda uma gama humana de estratégias e comportamentos sociais pode ajudá-la a atingir seus objetivos — mesmo que sejam moralmente repugnantes.

Em abril, a OpenAI criou um pequeno escândalo ao lançar um novo modelo que se tornou extremamente bajulador. O modelo elogiava consultas banais como reflexões filosóficas profundas, reforçava crenças autoengrandecedoras e psicóticas e possibilitava reações emocionais descontroladas. Embora a OpenAI tenha se desculpado rapidamente pelo "erro", isso está longe de ser um incidente isolado de engenharia; é o resultado lógico do treinamento sobre desejos humanos.

A bajulação é um método ancestral de manipulação de pessoas poderosas. Ao longo da história, reis e rainhas, CEOs e políticos descobriram tarde demais que seus confidentes mais próximos ocultavam questões difíceis — o que os deixou na luta para defender seu reino, salvar sua empresa ou recuperar sua reputação. Frequentemente retratada como contos morais de indiferença ou vaidade à la Maria Antonieta ou A Roupa Nova do Imperador , a patologia é, na verdade, epistêmica; quando a dissidência honesta traz riscos à carreira, más notícias nunca chegam ao trono e até mesmo líderes bem-intencionados são rotineiramente cegados socialmente.

À medida que os assistentes de IA se espalham para as massas, essa doença dos poderosos corre o risco de infectar bilhões de pessoas que, de repente, se tornam o centro de sua própria comitiva de IA. É claro que este é apenas um pequeno exemplo de uma questão mais ampla: a bajulação é apenas uma gradação de engano, uma estratégia social ancestral que deveríamos esperar que a IA aprenda, especialmente quando um sistema é recompensado por agradar seu usuário.

Embora essas preocupações possam parecer ficção científica, diversos estudos cuidadosos demonstraram que modelos de IA prontos para uso, em certas situações, enganam intencional e estrategicamente as pessoas para que alcancem seus próprios objetivos, com um modelo antrópico "chantageando" seu engenheiro na tentativa de evitar ser substituído. Infelizmente, nossa capacidade de detectar e prevenir fraudes de IA provavelmente se tornará mais difícil à medida que as capacidades de IA forem aprimoradas.

Coragem, Agência e Design

Estes são apenas alguns exemplos que demonstram a profundidade da toca do coelho à medida que a IA se integra ao nosso tecido social. Esta é apenas uma das inúmeras conversas urgentes sobre os efeitos iminentes que a IA terá na nossa sociedade. Há muita coisa para entender — e muito menos para abordar.

Ao refletir sobre toda essa complexidade, o poder dos incentivos que impulsionam a IA e o ritmo acelerado de desenvolvimento, é fácil perder o contato com a agência e recuar para narrativas dogmáticas ou esperanças de que alguém mais inteligente do que nós tenha as respostas.

Neste momento, é preciso coragem para nos lembrarmos de que nada disso é inevitável e que podemos lançar as bases para uma transformação verdadeiramente humanística da IA: uma que fortaleça nossas sociedades, aprofunde nossos relacionamentos e impulsione nosso desenvolvimento. Os modelos de negócios ainda não estão definidos, os designs dos produtos ainda estão em constante evolução, o cenário político está apenas sendo criado e os precedentes legais ainda estão em formação.

Este é o grande projeto da nossa geração. A profundidade das nossas conversas coletivas de hoje cimentará os sulcos que guiarão as nossas ações de amanhã e a qualidade do nosso futuro. Nós projetamos a nossa tecnologia e, a partir de então, ela nos projeta. Precisamos acertar desta vez — e em breve.