O assunto #dahora não passou despercebido por aqui – seria impossível, até porque parece já estar instalado um certo pânico moral generalizado, principalmente na educação. Mas parece que estamos naquele momento no qual everybody is talking about it, então vamos lá com meus dois centavos (de observações gerais e uma analogia colorida…).
Não lembro de onde tirei o meme no início da postagem, e também não sei se é “ruim” que a fila à direita seja mais longa do que a fila à esquerda, que me parece representar uma aceitação sem questionamentos da inevitabilidade dessa e de outras “coisas” associadas à IA. Já andei, mesmo sem intenções explícitas, na fila à direita :-), junto com gente querida que compartilhou comigo trocas bastante interessantes. A fluidez dos textos é realmente impressionante, mas parece que erros factuais não são raros (por ora, pelo menos).
Separei alguns escritos que sintetizam pontos que acho interessantes:
Já estarem cobrando (no Brasil) por um serviço que, até agora, parece ser mais uma “solução em busca de um problema” (parafraseando Neil Selwyn neste texto, neste livro);
Interessante como foram “cavar” um precursor local, considerando como é pequena, no geral, a preocupação atual com enraizamentos históricos da tecnologia (comentei sobre esse problema nos estudos sobre a tecnologia educacional, especificamente, aqui);
Várias matérias no site Porvir, quase todas cobrando “inovação” de escolas (ou “da educação”);
Uma rápida mudança de perspectiva, de “tecnologia útil” a “barganha fáustica“, em matérias de John Naughton no jornal The Guardian. Aqui, acrescento que aprecio demais mudanças assim – acho que são importantes para “balançar” as pessoas que pensam que autores, acadêmicos, autores, enfim, gentes criativas seriam seres acabados que estariam sempre a “defender” o mesmo ponto de vista, quando o que torna a vida intelectual e artística interessante e rica é exatamente a possibilidade de mudança.
Preocupação com uma possível “escassez de dados” para treinar IA: matéria no MIT Tech Review (uma das fontes que listei aqui sobre “coisas edtech”, mas em português), que me chegou ainda há pouco via Camila Leporace. Achei de uma ironia absurda…
Esses são alguns dos textos que andei lendo – há muitos sobre preocupações com plágio e, sobretudo, a falta de fontes nas respostas. Eu mesma já perguntei ao bot sobre as fontes que usa, e a resposta foi a mesma que outras pessoas me disseram ter recebido: em essência, algo como “não fui desenhado para citar minhas fontes”. Essa é a base da preocupação de muita gente na educação, pois o texto retornado pelo chat pode passar por “original”, pelo menos na perspectiva dos detetores de plágio. Para mim, a preocupação com plágio é algo a ser repensado, pois não vejo como um “problema” que passa apenas pelo texto (escrevi um pouco sobre isso aqui), mas isso é o que temos para hoje, como dizem.
Uns dias atrás, estava curtindo com minha filha uma certa nostalgia da infância dela enquanto assistíamos um dos filmes da saga de Harry Potter, e IA me veio à mente. Especificamente, estávamos vendo o segundo filme, Harry Potter and the Chamber of Secrets. [spoilers adiante, então pare aqui se não leu/viu e pretende ainda fazê-lo] Nesse episódio, surge o malévolo Lord Voldemort na figura de seu self adolescente, Tom Riddle, preservado em um diário. O diário parece vazio, mas Harry descobre que, ao escrever nele, recebe respostas – veja no clip abaixo.
O diário é manipulador, também, induzindo seu interlocutor a ações, mesmo contra sua vontade (não Harry, que tem a “mente” mais forte da ficção infanto-juvenil…). Fiquei pensando se seriam, de certa forma, pedaços da “alma” humana (coletiva, no caso) o que sustenta coisas como chatGPT – seriam “diários”, como o de Riddle, parciais, enviesados e temporais? (ainda que estejam “aprendendo” com as próprias perguntas que lhe são feitas – em ato falho interessante, escrevi, originalmente, “apreendendo”) O desejo de Riddle pela imortalidade e sua ambição de querer controlar tudo e todos tornam o diário triplamente amaldiçoado, pois, para ter um “pedaço” armazenado, a alma precisa ser fragmentada por meio do ato mais vil possível: o assassinato de outro ser humano. Essa história, pelo menos, tem um final (relativamente) feliz: os fãs da saga lembrarão de que Harry triunfa sobre o diário e sobre Voldemort, que, ao fim e ao cabo, não era mais humano, mas sim puro “mal” destilado.
Enfim, avisei que seriam apenas algumas observações gerais e uma analogia colorida…
Um ano após uma das minhas corridas pela internet atrás do coelho branco, tive o enorme prazer de participar, como uma das mediadoras, da aula inaugural do Dept. de Filosofia da PUC-Rio, ministrada exatamente pelo filósofo Mark Coeckelbergh. A convite do Prof. Edgar Lyra, diretor do Departamento de Filosofia da PUC-Rio, Mark falou para uma público de mais de 300 pessoas (incluindo muitos participantes de fora da PUC-Rio, de fato, de fora do Rio, também). Com o título Artificial Intelligence and the problem of responsibility, foi uma palestra muitíssimo interessante, seguida de uma bateria de perguntas bem variadas (várias delas aludiram a implicações para a educação, especificamente).
Em preparação, eu havia feito a leitura do artigo “Artificial Intelligence, Responsibility Attribution, and a Relational Justification of Explainability” (clique aqui para baixar em pdf do site do autor), seguindo uma indicação do Edgar. De forma geral, o artigo discute a questão da atribuição de responsabilidade em relação ao desenvolvimento (e aos efeitos/decorrências) de tecnologias de AI/IA. Eis uma tradução livre da síntese do argumento, apresentada no finalzinho da Introdução:
O problema da atribuição de responsabilidade é inicialmente abordado a partir da distinção entre duas condições artistotélicas de responsabilidade, uma relacionada a controle e à necessidade de identificar o agente responsável, e outra que examina o conhecimento do agente. Primeiramente, assume-se que, mesmo que as tecnologias de AI ganhem mais agência, humanos permanecem sendo responsáveis, pois apenas eles podem ser responsáveis: tecnologias de AI podem ter agência, mas não atendem aos critérios tradicionais de agência moral e responsabilidade moral. Contudo, há muitos desafios envolvidos na atribuição e distribuição de responsabilidade, não apenas devido ao problema das “muitas mãos”, mas também devido ao que denomino de “muitas coisas”. É importante considerar também a dimensão temporal quando se pensa em causas. Atenção especial é dada, então, a problemas sobre o conhecimento relativo a algumas aplicações de machine learning que têm implicações para a questão da responsabilidade. Usualmente, esses problemas são discutidos em termos de transparência e explicabilidade. Porém, em contraste com muitas das discussões na literatura e em contextos públicos, ressalta-se que o problema do endereçado não deveria ser negligenciado quando se considera a explicabilidade: aqueles a quem os agentes morais são responsáveis. Visto de uma perspectiva mais relacional, há não apenas agentes morais, mas também pacientes morais na relação de responsabilidade. Argumenta-se que a demanda por explicabilidade não se justifica apenas pela condição de conhecimento (saber o que você está fazendo como um agente de responsabilidade), mas deveria basear-se no requisito moral de oferecer razões para uma decisão ou ação àqueles a quem você responde , para os pacientes da responsabilidade. Por fim, outros sentidos do termo “relacional” são explorados: responsabilidade coletiva e o aspecto social de se dar explicações.
Creio que compreender o processo de produção de tecnologias de AI é fundamental para desfazermos o “nó” que parece caracterizar muitas das discussões “não técnicas” dessas tecnologias. Essa compreensão está representada no texto, em particular, nas ideias das “muitas mãos” e “muitas coisas”: os muitos atores, humanos e não-humanos, bem como suas relações, todos mobilizados nessa produção. Nessa perspectiva, a questão da atribuição de responsabilidade se revela ainda mais complexa, mas é a questão da explicabilidade, em si, que permanece como um dos pontos problemáticos para mim. No trecho a seguir, o autor explica o problema (para mim, em parte):
(…) a maior parte dos comentaristas sobre AI concorda que há um problema particular com as ditas “caixas-pretas” constituídas por sistemas baseados em machine learning e redes neurais. Ao passo que, no caso da AI clássica, simbólica, a forma pela qual a tecnologia chega a uma decisão é clara, por meio, por exemplo, de uma árvore de decisão que tenha sido programada no software por especialistas de um domínio [específico do conhecimento], no caso de aplicações de machine learning, não fica claro como, exatamente, o sistema de AI chega a uma decisão ou recomendação. Trata-se de um processo estatístico, e aqueles que o criaram sabem como funciona de modo geral, mas mesmo os desenvolvedores – que dirá os usuários e aqueles afetados pelo algoritmo (…) – não sabem como o sistema chega a uma decisão específica relevante a uma pessoa específica. Eles não podem explicar ou tornar transparente o processo decisório em todos os seus passos.
Mais adiante, Coecklebergh cita estudos que buscam desenvolver técnicas para “abrir a caixa-preta” – essa é uma metáfora problemática que precisa ser examinada mais cuidadosamente (eu sempre desconfiei, desde os tempos de estudante de engenharia, de caixas-pretas – pensava sempre em caixas de Pandora…), juntamente com várias outras metáforas (e metonímias) encontradas nos discursos sobre AI. Pois a questão aqui é como conceber essa “explicabilidade”, uma vez que explicações e razões são contingentes ao público ao qual se destinam. Essa me parece ser a outra parte do problema da explicabilidade.
O artigo, no geral, se soma a outras leituras sobre o assunto que me deixam com a impressão de que o “projeto AI” atualmente em curso é uma péssima ideia. Escrevo isso sem querer implicar que haja qualquer tom profético no texto (ou seja, não identifico esse tipo de sentimento ali); tampouco há qualquer relação do argumento com a futurologia (ou seja, não há especulação em torno de uma possível tomada do mundo pela máquina ou outras ideias afins). Há uma argumentação lógica cujas premissas são explicitadas (inclusive o autor menciona que há limites em partir da perspectiva aristotélica de responsabilidade), e que sugere que as demandas para o desenvolvimento e uso responsáveis de AI são variadas.
Postas em contexto político e econômico (aqui já saímos do escopo do texto), essas demandas mostram-se ainda mais complexas. Reconhecendo o caráter ideológico da tecnologia, bem como daquilo que se diz sobre ela, me parece que a questão da explicabilidade não é apenas “técnica” no sentido de criarem-se descrições do comportamento de diferentes redes neurais a partir de diferentes modelos estatísticos, que permitam esclarecer as formas nas quais as representações destacadas da realidade são processadas por esses sistemas. As descrições precisam ser inteligíveis (se não aceitáveis, legítimas) para uma gama variada de “pacientes”, para usar o termo do autor.
Na palestra, Mark seguiu um caminho ligeiramente diferente do argumento do artigo, e, em seus comentários finais, disse algo me encantou: a necessidade premente (também por questões ecológicas) de pensarmos lógicas diferentes daquela centrada na ideia do “domínio”: da natureza, de outros seres, da própria técnica. Os usos de linguagem que remetem a essa ideia (em inglês, há o bendito harness e master) me incomodam muito e sempre me fazem pensar sobre a atualidade de Frankenstein (obra que ele explora neste lindíssimo texto). De todo modo, no fechamento, Mark mencionou o possível papel da Arte na “desconstrução” dessa lógica (ele não usou esse termo, daí as scare quotes). Gostaria que ele tivesse falado mais sobre isso, mas não era o cerne da palestra.
Fiquei animada para pensar um novo projeto (relacionado a este), mas estava afogada em ruído antes de John Cage me resgatar ontem…
Bem, para fechar (e parar de divagar…): por questões técnicas, a palestra foi gravada em parte, então o material está na fila de edição. Quando for disponibilizado, adicionarei o link em um edit aqui.
Deixo aqui apenas algumas notas apressadas: há muito a pensar e explorar, mas acho útil deixar algum registro compartilhado de, pelo menos, algumas partes.
Ainda estamos em fase de tentar estabelecer aquele território compartilhado sobre o qual comentei aqui, e isso ficou bem claro durante a discussão, que, dessa vez, havia sido planejada para explorar a primeira linha temática que identificamos no primeiro encontro: projeções de futuros imaginados (especulação ou futurologia). Assim, propusemos uma pequena seleção de textos sobre AI (Inteligência Artificial) como leituras preparatórias: um trecho do capítulo 6 de Superinteligência, de Nick Bostrom, e os capítulo 4 e 5 de Futuros Imaginários, de Richard Barbrook.
Richard Barbrook é co-autor (com Andy Cameron, in memoriam) do excelente ensaio A Ideologia Californiana (último capítulo publicado neste livro – tradução para o português acompanhada do original em inglês). O autor é um cientista político baseado na Faculdade de Ciências Sociais e Humanidades da Universidade de Westminster, Inglaterra. Pesquisador e ativista de perspectiva marxista, Barbrook atua também junto ao Partido Trabalhista Britânico como militante e consultor. Seu mais recente projeto, Class Wargames (Jogos de Guerra de Classes), apresenta-se como uma “subversão lúdica contra o capitalismo da espetacularização” baseada nas ideias de Guy Debord.
Nick Bostrom é um filósofo baseado na Universidade de Oxford, onde fundou e dirige o Future of Humanity Institute (FHI). Bostrom lista como interesses “ética, filosofia da mente e anthropics” (a descobrir como traduziram isso para o português). Oxford hospeda o renomado Oxford Internet Institute, que, aliás, publicou recentemente um relatório muito interessante sobre processos maciços de desinformação (veja aqui), no qual o Brasil figura como um dos campos de pesquisa examinados. Bem, eu não conhecia nem o FHI, nem o autor proposto pelo Edgar, então fui dar uma olhada no site institucional.
Passando os olhos rapidamente pela página que lista a equipe do instituto, me veio à mente o filme Jogos do Apocalipse (tradução estranha de The Philosophers ou After the Dark nos US of A, que sempre somem com palavras difíceis dos títulos de filmes e livros, por exemplo, o primeiro da série Harry Potter…). No filme, um professor de filosofia propõe a uma turma de formandos do ensino médio uma atividade de role play em cenário apocalíptico, na qual os jovens precisam escolher um número limitado de pessoas que iriam habitar um abrigo e, assim, permitir que a raça humana não desaparecesse. As escolhas são feitas com base em informações sobre profissão/habilidades, sorteadas pelos alunos a partir de papeizinhos contidos em uma caixa preta. A cada rodada os alunos têm que argumentar de forma lógica em sua defesa e negociar sua escolha com o resto do grupo, mas, apesar disso, quase todas as tentativas terminam com o extermínio total do humano.
O que é interessante é ver como os jovens escolhem, defendem e depois interpretam os diferentes papéis: de eletricista a poeta, cantor de ópera, engenheiros de diferentes especialidades, etc. Mais interessante de tudo é como a vida (fictícia) no abrigo difere e, sobretudo, parece melhor quando os escolhidos (se não me engano, na última rodada) são os artistas (ou um grupo majoritariamente de artistas – não lembro de todos os detalhes, quero rever quando tiver tempo), preteridos em encenações anteriores que haviam privilegiado argumentos de base utilitarista (por exemplo, um técnico eletrônico seria mais importante para manter a coisa funcionando do que um cantor de ópera). Por fim, é nesse último cenário que o grupo consegue sobreviver o ano necessário para a mínima descontaminação do mundo exterior.
Pois, o Instituto do Futuro da Humanidade (e que nome…) de Oxford não parece ter nenhum artista, músico, poeta. Apenas formigas sem nenhuma cigarra?
Enfim, como sempre, I digress…
Voltando ao assunto: o encontro…
Precisarei ler o livro do Bostrom inteiro para ter uma ideia melhor, pois a parte selecionada focaliza um “cenário de tomada de poder por uma AI” sem discutir porque o objetivo dessa “criatura” seria “tomar o poder”. Acho isso essencial para entender o que o autor pretende, pois a AI poderia ter qualquer outro objetivo, inclusive nada pensado por humanos – com relação a isso, Bostrom faz questão de ressaltar que, sendo “fortemente inteligente” (grifo meu), a AI não iria pensar “nenhum plano tão idiota que mesmo nós, humanos, sejamos capazes de antever como esse plano poderia falhar inevitavelmente”.
É que “tomada de poder” me parece ser algo tão humano… De fato, a ficção tem transferido esse “desejo” para a máquina repetidamente, criando múltiplos cenários de conflito entre criatura e criador, e o cenário de Bostrom me remeteu a várias obras de ficção na literatura e no cinema (do óbvio O Exterminador do Futuro, a A Matrix,os Borg em Jornada nas Estrelas, The Lawnmower Man – no Brasil, recebeu o estranho título O passageiro do futuro -, Transcendence– no Brasil, título Transcendence – a revolução -, Battlestar Galactica e, como sempre, o seminal Frankenstein). Essas obras podem ser vistas como “tendenciosas” no sentido que sempre há pequenas lacunas e espaços para resistência por parte do humano, de diferentes formas (mesmo que seja a hibridização em vez da aniquilação), e o que Bostrom parece (como disse, preciso ler o livro inteiro) querer fazer é pensar a possibilidade de situações criadas por máquinas que, criadas por outras máquinas, teriam escapado das nossas imperfeições. Dá para entender os elogios de Elon Musk a Bostrom: Musk, que enviou para Marte um carro tripulado por um manequim vestido de astronauta (veja aqui uma leitura crítica)…
Há muito a pensar aqui além da necessidade de discutir o porquê da tomada de poder. Será que a ficção, ainda que marcada pelas limitações da imaginação do humano, em seu apelo estético, nos daria bases mais interessantes para discutir questões relativas à AI? Se realmente há medo e preocupação com essa possível “tomada de poder”, até que ponto discussões especulativas e abstratas podem ajudar? Haveria um papel necessário para a mobilização de conhecimentos mais “técnicos” em discussões sobre a viabilidade dessa super AI? Além das hipérboles, há questões mais básicas de significados não compartilhados de termos fundamentais dessas discussões, começando com a própria ideia de “inteligência” (pontuação que o Ralph fez logo no início). É tão fácil ficar perdido em jogos de linguagem nesse cruzamento de discursos tão díspares…
Sugeri que pegássemos o Futuros Imaginárioscomo contraponto ao Bostrom precisamente porque o autor joga um bom “balde de água fria” nas hipérboles associadas à AI, invariavelmente carentes de especificidades contextuais e, sobretudo, históricas. Esses exageros são um problema nas discussões sobre tecnologia na área da Educação, e, para mim é fundamental questioná-los: acho necessário historicizar.
O livro de Barbrook costura uma narrativa pessoal do autor com a história da tecnologia, e seu argumento central fica bem resumido logo no início (versão preprint, p. 6):
As in the mid-1960s, the invention of artificial intelligence and the advent of the information society are still only a couple of decades away. If the prophecy isn’t fulfilled in this generation, then its realisation must take place in the next one. In a continual loop, belief leads to disappointment and failure inspires conviction. The present is continually changing, but the imaginary future is always the same.
Em tradução livre:
Como em meados da década de 1960, a invenção da inteligência artificial e o advento de uma sociedade da informação estão poucas décadas à frente. Se a profecia não se cumpre em uma geração, então o será na próxima. Em um loop contínuo, crença leva à decepção, e fracasso inspira convicção. O presente está sempre mudando, mas o futuro imaginário é sempre o mesmo.
Como qualquer tomada de posição, o argumento de Barbrook não poderia estar inteiramente livre de escolhas (opiniões), mas, minimamente, trata-se de uma argumentação informada por especificidades históricas que permitem contextualizar os discursos sobre a AI – principalmente da indústria que nela aposta. A descrição de um loop é consistente com as evidências que ele traz de suas fontes, além de ser, é claro, consistente com a perspectiva marxista do autor. Daí, talvez, decorra também um aspecto apontado pelo pessoal do Departamento de Filosofia como um problema: há, sim, indicações no texto de uma visão instrumental da tecnologia. Apesar da perspectiva crítica, Barbrook tende a se posicionar como um otimista (veja aqui seu Manifesto Cibercomunista – em inglês).
Em meio à discussão, muitos assuntos foram mencionados, alguns comentados em mais detalhes, outros de passagem. A questão da agência me parece algo fundamental, bem como as concepções de tecnologia mobilizadas (e foram múltiplas), perspectivas sobre a presença de artefatos na educação (que não se restringe a contextos de Educação a Distância – uma visão de senso comum infelizmente também compartilhada na própria área da Educação), enfim, alguns eixos teóricos basais. Talvez precisemos pensá-los: identificá-los, não “defini-los”.
Creio que precisaremos repensar, também, o formato dos encontros, pois o grupo é bem numeroso e inclui estudantes de vários níveis, formações e expectativas. Em particular, temos alunos de graduação, que estão apenas iniciando sua participação em grupos de pesquisa. Os encontros têm um importante aspecto formativo que precisa de atenção.
Estou sempre em busca de audiovisuais novos para usar com os meus alunos, e os três documentários que vou listar aqui são bastante interessantes. Os três estão disponíveis no catálogo nacional da Netflix.
As falas da jornalista Carole Cadwalladr merecem destaque. Nesse espírito, vale, também, assistir a sua palestra TED que explora o papel da plataforma de redes sociais Facebook no processo Brexit. Aqui está, com legendas em português:
A segunda recomendação é Eis os delírios do mundo conectado (do original Lo and behold: reveries of the connected world, 2016), do cineasta alemão Werner Herzog. Também a partir de múltiplas entrevistas, Herzog explora o “impacto” da Internet no olhar de engenheiros (alguns dos entrevistados são figuras importantes dos primórdios da criação da rede – por exemplo, Ted Nelson), cientistas de diversas especialidades e pessoas que relatam efeitos (a maioria, terríveis) da Internet em suas vidas.
Por fim, sugiro Está tudo nos números (do original Prediction by the numbers– 2018). O programa explora a noção de se fazer previsões a partir de dados numéricos usando, em particular, modelos probabilísticos e estatísticos. Para quem tem um olhar mais crítico, será preciso dar um razoável desconto pelo “ufanismo matemático” (lá no final, a previsão é que a matemática continuará a mostrar os caminhos para a humanidade…). Falando (exagerando…) sobre desenvolvimentos de ponta – machine learning e deep learning possibilitados pelo processamento de Big Data – o entrevistado é Sebastian Thrun, que também conversa com Herzog em Eis os delírios do mundo conectado.
Educação e Tecnologia: visões periféricas 