Inteligência Artificial, Explicabilidade e Responsabilidade

Fonte: imagem de Gert Aldman, disponível na plataforma Pìxabay – https://pixabay.com/illustrations/web-network-programming-3706562/

Um ano após uma das minhas corridas pela internet atrás do coelho branco, tive o enorme prazer de participar, como uma das mediadoras, da aula inaugural do Dept. de Filosofia da PUC-Rio, ministrada exatamente pelo filósofo Mark Coeckelbergh. A convite do Prof. Edgar Lyra, diretor do Departamento de Filosofia da PUC-Rio, Mark falou para uma público de mais de 300 pessoas (incluindo muitos participantes de fora da PUC-Rio, de fato, de fora do Rio, também). Com o título Artificial Intelligence and the problem of responsibility, foi uma palestra muitíssimo interessante, seguida de uma bateria de perguntas bem variadas (várias delas aludiram a implicações para a educação, especificamente).

Em preparação, eu havia feito a leitura do artigo “Artificial Intelligence, Responsibility Attribution, and a Relational Justification of Explainability” (clique aqui para baixar em pdf do site do autor), seguindo uma indicação do Edgar. De forma geral, o artigo discute a questão da atribuição de responsabilidade em relação ao desenvolvimento (e aos efeitos/decorrências) de tecnologias de AI/IA. Eis uma tradução livre da síntese do argumento, apresentada no finalzinho da Introdução:

O problema da atribuição de responsabilidade é inicialmente abordado a partir da distinção entre duas condições artistotélicas de responsabilidade, uma relacionada a controle e à necessidade de identificar o agente responsável, e outra que examina o conhecimento do agente. Primeiramente, assume-se que, mesmo que as tecnologias de AI ganhem mais agência, humanos permanecem sendo responsáveis, pois apenas eles podem ser responsáveis: tecnologias de AI podem ter agência, mas não atendem aos critérios tradicionais de agência moral e responsabilidade moral. Contudo, há muitos desafios envolvidos na atribuição e distribuição de responsabilidade, não apenas devido ao problema das “muitas mãos”, mas também devido ao que denomino de “muitas coisas”. É importante considerar também a dimensão temporal quando se pensa em causas. Atenção especial é dada, então, a problemas sobre o conhecimento relativo a algumas aplicações de machine learning que têm implicações para a questão da responsabilidade. Usualmente, esses problemas são discutidos em termos de transparência e explicabilidade. Porém, em contraste com muitas das discussões na literatura e em contextos públicos, ressalta-se que o problema do endereçado não deveria ser negligenciado quando se considera a explicabilidade: aqueles a quem os agentes morais são responsáveis. Visto de uma perspectiva mais relacional, há não apenas agentes morais, mas também pacientes morais na relação de responsabilidade. Argumenta-se que a demanda por explicabilidade não se justifica apenas pela condição de conhecimento (saber o que você está fazendo como um agente de responsabilidade), mas deveria basear-se no requisito moral de oferecer razões para uma decisão ou ação àqueles a quem você responde , para os pacientes da responsabilidade. Por fim, outros sentidos do termo “relacional” são explorados: responsabilidade coletiva e o aspecto social de se dar explicações.

Creio que compreender o processo de produção de tecnologias de AI é fundamental para desfazermos o “nó” que parece caracterizar muitas das discussões “não técnicas” dessas tecnologias. Essa compreensão está representada no texto, em particular, nas ideias das “muitas mãos” e “muitas coisas”: os muitos atores, humanos e não-humanos, bem como suas relações, todos mobilizados nessa produção. Nessa perspectiva, a questão da atribuição de responsabilidade se revela ainda mais complexa, mas é a questão da explicabilidade, em si, que permanece como um dos pontos problemáticos para mim. No trecho a seguir, o autor explica o problema (para mim, em parte):

(…) a maior parte dos comentaristas sobre AI concorda que há um problema particular com as ditas “caixas-pretas” constituídas por sistemas baseados em machine learning e redes neurais. Ao passo que, no caso da AI clássica, simbólica, a forma pela qual a tecnologia chega a uma decisão é clara, por meio, por exemplo, de uma árvore de decisão que tenha sido programada no software por especialistas de um domínio [específico do conhecimento], no caso de aplicações de machine learning, não fica claro como, exatamente, o sistema de AI chega a uma decisão ou recomendação. Trata-se de um processo estatístico, e aqueles que o criaram sabem como funciona de modo geral, mas mesmo os desenvolvedores – que dirá os usuários e aqueles afetados pelo algoritmo (…) – não sabem como o sistema chega a uma decisão específica relevante a uma pessoa específica. Eles não podem explicar ou tornar transparente o processo decisório em todos os seus passos.

Mais adiante, Coecklebergh cita estudos que buscam desenvolver técnicas para “abrir a caixa-preta” – essa é uma metáfora problemática que precisa ser examinada mais cuidadosamente (eu sempre desconfiei, desde os tempos de estudante de engenharia, de caixas-pretas – pensava sempre em caixas de Pandora…), juntamente com várias outras metáforas (e metonímias) encontradas nos discursos sobre AI. Pois a questão aqui é como conceber essa “explicabilidade”, uma vez que explicações e razões são contingentes ao público ao qual se destinam. Essa me parece ser a outra parte do problema da explicabilidade.

O artigo, no geral, se soma a outras leituras sobre o assunto que me deixam com a impressão de que o “projeto AI” atualmente em curso é uma péssima ideia. Escrevo isso sem querer implicar que haja qualquer tom profético no texto (ou seja, não identifico esse tipo de sentimento ali); tampouco há qualquer relação do argumento com a futurologia (ou seja, não há especulação em torno de uma possível tomada do mundo pela máquina ou outras ideias afins). Há uma argumentação lógica cujas premissas são explicitadas (inclusive o autor menciona que há limites em partir da perspectiva aristotélica de responsabilidade), e que sugere que as demandas para o desenvolvimento e uso responsáveis de AI são variadas.

Postas em contexto político e econômico (aqui já saímos do escopo do texto), essas demandas mostram-se ainda mais complexas. Reconhecendo o caráter ideológico da tecnologia, bem como daquilo que se diz sobre ela, me parece que a questão da explicabilidade não é apenas “técnica” no sentido de criarem-se descrições do comportamento de diferentes redes neurais a partir de diferentes modelos estatísticos, que permitam esclarecer as formas nas quais as representações destacadas da realidade são processadas por esses sistemas. As descrições precisam ser inteligíveis (se não aceitáveis, legítimas) para uma gama variada de “pacientes”, para usar o termo do autor.

Na palestra, Mark seguiu um caminho ligeiramente diferente do argumento do artigo, e, em seus comentários finais, disse algo me encantou: a necessidade premente (também por questões ecológicas) de pensarmos lógicas diferentes daquela centrada na ideia do “domínio”: da natureza, de outros seres, da própria técnica. Os usos de linguagem que remetem a essa ideia (em inglês, há o bendito harness e master) me incomodam muito e sempre me fazem pensar sobre a atualidade de Frankenstein (obra que ele explora neste lindíssimo texto). De todo modo, no fechamento, Mark mencionou o possível papel da Arte na “desconstrução” dessa lógica (ele não usou esse termo, daí as scare quotes). Gostaria que ele tivesse falado mais sobre isso, mas não era o cerne da palestra.

Fiquei animada para pensar um novo projeto (relacionado a este), mas estava afogada em ruído antes de John Cage me resgatar ontem…

Bem, para fechar (e parar de divagar…): por questões técnicas, a palestra foi gravada em parte, então o material está na fila de edição. Quando for disponibilizado, adicionarei o link em um edit aqui.

Segundo encontro do projeto *Educação, tecnologia e filosofia: diálogos interdisciplinares*

Image result for futuros imaginários barbrook
Image result for superinteligência nick bostrom

Na sexta-feira 04/10, tivemos o segundo encontro dos grupos Filosofia da Tecnologia, coordenado pelo prof. Edgar Lyra, do Dept. de Filosofia da PUC-RioFormação Docente e Tecnologias, ForTec, coordenado pela profa. Magda Pischetola, do Dept. de Educação da PUC-Rio, e o DEdTec. O encontro é uma das atividades pertinentes ao projeto “Educação, Filosofia e Tecnologia: diálogos interdisciplinares”, que é apoiado pelo Instituto de Estudos Avançados em Humanidades, IEAHu, do Centro de Teologia e Ciências Humanas, CTCH da PUC-Rio. Dessa vez, além do prof. Alexandre Rosado do INES, tivemos também a presença (por pouco tempo, infelizmente) do Prof. Ralph Ings Bannell, nosso colega no Dept. de Educação, e, como no primeiro encontro, Magda se juntou a nós por videoconferência.

Deixo aqui apenas algumas notas apressadas: há muito a pensar e explorar, mas acho útil deixar algum registro compartilhado de, pelo menos, algumas partes.

Ainda estamos em fase de tentar estabelecer aquele território compartilhado sobre o qual comentei aqui, e isso ficou bem claro durante a discussão, que, dessa vez, havia sido planejada para explorar a primeira linha temática que identificamos no primeiro encontro: projeções de futuros imaginados (especulação ou futurologia). Assim, propusemos uma pequena seleção de textos sobre AI (Inteligência Artificial) como leituras preparatórias: um trecho do capítulo 6 de Superinteligência, de Nick Bostrom, e os capítulo 4 e 5 de Futuros Imaginários, de Richard Barbrook.

Richard Barbrook é co-autor (com Andy Cameron, in memoriam) do excelente ensaio A Ideologia Californiana (último capítulo publicado neste livro – tradução para o português acompanhada do original em inglês). O autor é um cientista político baseado na Faculdade de Ciências Sociais e Humanidades da Universidade de Westminster, Inglaterra. Pesquisador e ativista de perspectiva marxista, Barbrook atua também junto ao Partido Trabalhista Britânico como militante e consultor. Seu mais recente projeto, Class Wargames (Jogos de Guerra de Classes), apresenta-se como uma “subversão lúdica contra o capitalismo da espetacularização” baseada nas ideias de Guy Debord.

Nick Bostrom é um filósofo baseado na Universidade de Oxford, onde fundou e dirige o Future of Humanity Institute (FHI). Bostrom lista como interesses “ética, filosofia da mente e anthropics” (a descobrir como traduziram isso para o português). Oxford hospeda o renomado Oxford Internet Institute, que, aliás, publicou recentemente um relatório muito interessante sobre processos maciços de desinformação (veja aqui), no qual o Brasil figura como um dos campos de pesquisa examinados. Bem, eu não conhecia nem o FHI, nem o autor proposto pelo Edgar, então fui dar uma olhada no site institucional.

Passando os olhos rapidamente pela página que lista a equipe do instituto, me veio à mente o filme Jogos do Apocalipse (tradução estranha de The Philosophers ou After the Dark nos US of A, que sempre somem com palavras difíceis dos títulos de filmes e livros, por exemplo, o primeiro da série Harry Potter…). No filme, um professor de filosofia propõe a uma turma de formandos do ensino médio uma atividade de role play em cenário apocalíptico, na qual os jovens precisam escolher um número limitado de pessoas que iriam habitar um abrigo e, assim, permitir que a raça humana não desaparecesse. As escolhas são feitas com base em informações sobre profissão/habilidades, sorteadas pelos alunos a partir de papeizinhos contidos em uma caixa preta. A cada rodada os alunos têm que argumentar de forma lógica em sua defesa e negociar sua escolha com o resto do grupo, mas, apesar disso, quase todas as tentativas terminam com o extermínio total do humano.

O que é interessante é ver como os jovens escolhem, defendem e depois interpretam os diferentes papéis: de eletricista a poeta, cantor de ópera, engenheiros de diferentes especialidades, etc. Mais interessante de tudo é como a vida (fictícia) no abrigo difere e, sobretudo, parece melhor quando os escolhidos (se não me engano, na última rodada) são os artistas (ou um grupo majoritariamente de artistas – não lembro de todos os detalhes, quero rever quando tiver tempo), preteridos em encenações anteriores que haviam privilegiado argumentos de base utilitarista (por exemplo, um técnico eletrônico seria mais importante para manter a coisa funcionando do que um cantor de ópera). Por fim, é nesse último cenário que o grupo consegue sobreviver o ano necessário para a mínima descontaminação do mundo exterior.

Pois, o Instituto do Futuro da Humanidade (e que nome…) de Oxford não parece ter nenhum artista, músico, poeta. Apenas formigas sem nenhuma cigarra?

Enfim, como sempre, I digress

Voltando ao assunto: o encontro…

Precisarei ler o livro do Bostrom inteiro para ter uma ideia melhor, pois a parte selecionada focaliza um “cenário de tomada de poder por uma AI” sem discutir porque o objetivo dessa “criatura” seria “tomar o poder”. Acho isso essencial para entender o que o autor pretende, pois a AI poderia ter qualquer outro objetivo, inclusive nada pensado por humanos – com relação a isso, Bostrom faz questão de ressaltar que, sendo “fortemente inteligente” (grifo meu), a AI não iria pensar “nenhum plano tão idiota que mesmo nós, humanos, sejamos capazes de antever como esse plano poderia falhar inevitavelmente”.

É que “tomada de poder” me parece ser algo tão humano… De fato, a ficção tem transferido esse “desejo” para a máquina repetidamente, criando múltiplos cenários de conflito entre criatura e criador, e o cenário de Bostrom me remeteu a várias obras de ficção na literatura e no cinema (do óbvio O Exterminador do Futuro, a A Matrix, os Borg em Jornada nas Estrelas, The Lawnmower Man – no Brasil, recebeu o estranho título O passageiro do futuro -, Transcendence – no Brasil, título Transcendence – a revolução -, Battlestar Galactica e, como sempre, o seminal Frankenstein). Essas obras podem ser vistas como “tendenciosas” no sentido que sempre há pequenas lacunas e espaços para resistência por parte do humano, de diferentes formas (mesmo que seja a hibridização em vez da aniquilação), e o que Bostrom parece (como disse, preciso ler o livro inteiro) querer fazer é pensar a possibilidade de situações criadas por máquinas que, criadas por outras máquinas, teriam escapado das nossas imperfeições. Dá para entender os elogios de Elon Musk a Bostrom: Musk, que enviou para Marte um carro tripulado por um manequim vestido de astronauta (veja aqui uma leitura crítica)…

Há muito a pensar aqui além da necessidade de discutir o porquê da tomada de poder. Será que a ficção, ainda que marcada pelas limitações da imaginação do humano, em seu apelo estético, nos daria bases mais interessantes para discutir questões relativas à AI? Se realmente há medo e preocupação com essa possível “tomada de poder”, até que ponto discussões especulativas e abstratas podem ajudar? Haveria um papel necessário para a mobilização de conhecimentos mais “técnicos” em discussões sobre a viabilidade dessa super AI? Além das hipérboles, há questões mais básicas de significados não compartilhados de termos fundamentais dessas discussões, começando com a própria ideia de “inteligência” (pontuação que o Ralph fez logo no início). É tão fácil ficar perdido em jogos de linguagem nesse cruzamento de discursos tão díspares…

Sugeri que pegássemos o Futuros Imaginários como contraponto ao Bostrom precisamente porque o autor joga um bom “balde de água fria” nas hipérboles associadas à AI, invariavelmente carentes de especificidades contextuais e, sobretudo, históricas. Esses exageros são um problema nas discussões sobre tecnologia na área da Educação, e, para mim é fundamental questioná-los: acho necessário historicizar.

O livro de Barbrook costura uma narrativa pessoal do autor com a história da tecnologia, e seu argumento central fica bem resumido logo no início (versão preprint, p. 6):

As in the mid-1960s, the invention of artificial intelligence and the advent of the information society are still only a couple of decades away. If the prophecy isn’t fulfilled in this generation, then its realisation must take place in the next one. In a continual loop, belief leads to disappointment and failure inspires conviction. The present is continually changing, but the imaginary future is always the same.

Em tradução livre:

Como em meados da década de 1960, a invenção da inteligência artificial e o advento de uma sociedade da informação estão poucas décadas à frente. Se a profecia não se cumpre em uma geração, então o será na próxima. Em um loop contínuo, crença leva à decepção, e fracasso inspira convicção. O presente está sempre mudando, mas o futuro imaginário é sempre o mesmo.

Como qualquer tomada de posição, o argumento de Barbrook não poderia estar inteiramente livre de escolhas (opiniões), mas, minimamente, trata-se de uma argumentação informada por especificidades históricas que permitem contextualizar os discursos sobre a AI – principalmente da indústria que nela aposta. A descrição de um loop é consistente com as evidências que ele traz de suas fontes, além de ser, é claro, consistente com a perspectiva marxista do autor. Daí, talvez, decorra também um aspecto apontado pelo pessoal do Departamento de Filosofia como um problema: há, sim, indicações no texto de uma visão instrumental da tecnologia. Apesar da perspectiva crítica, Barbrook tende a se posicionar como um otimista (veja aqui seu Manifesto Cibercomunista – em inglês).

Em meio à discussão, muitos assuntos foram mencionados, alguns comentados em mais detalhes, outros de passagem. A questão da agência me parece algo fundamental, bem como as concepções de tecnologia mobilizadas (e foram múltiplas), perspectivas sobre a presença de artefatos na educação (que não se restringe a contextos de Educação a Distância – uma visão de senso comum infelizmente também compartilhada na própria área da Educação), enfim, alguns eixos teóricos basais. Talvez precisemos pensá-los: identificá-los, não “defini-los”.

Creio que precisaremos repensar, também, o formato dos encontros, pois o grupo é bem numeroso e inclui estudantes de vários níveis, formações e expectativas. Em particular, temos alunos de graduação, que estão apenas iniciando sua participação em grupos de pesquisa. Os encontros têm um importante aspecto formativo que precisa de atenção.

Apresentam-se desafios maravilhosos. Continuaremos trabalhando neles.

Três documentários interessantes

Estou sempre em busca de audiovisuais novos para usar com os meus alunos, e os três documentários que vou listar aqui são bastante interessantes. Os três estão disponíveis no catálogo nacional da Netflix.

A primeira recomendação é a produção mais recente: Privacidade hackeada (do original The Great Hack, 2018). Este documentário reconta o escândalo em torno da empresa Cambridge Analytica a partir de entrevistas com alguns atores centrais envolvidos no caso, que recebeu uma cobertura aprofundada do jornal britânico The Guardian.

Veja, a seguir, o trailer oficial legendado:

As falas da jornalista Carole Cadwalladr merecem destaque. Nesse espírito, vale, também, assistir a sua palestra TED que explora o papel da plataforma de redes sociais Facebook no processo Brexit. Aqui está, com legendas em português:

A segunda recomendação é Eis os delírios do mundo conectado (do original Lo and behold: reveries of the connected world, 2016), do cineasta alemão Werner Herzog. Também a partir de múltiplas entrevistas, Herzog explora o “impacto” da Internet no olhar de engenheiros (alguns dos entrevistados são figuras importantes dos primórdios da criação da rede – por exemplo, Ted Nelson), cientistas de diversas especialidades e pessoas que relatam efeitos (a maioria, terríveis) da Internet em suas vidas.

Por fim, sugiro Está tudo nos números (do original Prediction by the numbers – 2018). O programa explora a noção de se fazer previsões a partir de dados numéricos usando, em particular, modelos probabilísticos e estatísticos. Para quem tem um olhar mais crítico, será preciso dar um razoável desconto pelo “ufanismo matemático” (lá no final, a previsão é que a matemática continuará a mostrar os caminhos para a humanidade…). Falando (exagerando…) sobre desenvolvimentos de ponta – machine learning e deep learning possibilitados pelo processamento de Big Data – o entrevistado é Sebastian Thrun, que também conversa com Herzog em Eis os delírios do mundo conectado.