Um ano após uma das minhas corridas pela internet atrás do coelho branco, tive o enorme prazer de participar, como uma das mediadoras, da aula inaugural do Dept. de Filosofia da PUC-Rio, ministrada exatamente pelo filósofo Mark Coeckelbergh. A convite do Prof. Edgar Lyra, diretor do Departamento de Filosofia da PUC-Rio, Mark falou para uma público de mais de 300 pessoas (incluindo muitos participantes de fora da PUC-Rio, de fato, de fora do Rio, também). Com o título Artificial Intelligence and the problem of responsibility, foi uma palestra muitíssimo interessante, seguida de uma bateria de perguntas bem variadas (várias delas aludiram a implicações para a educação, especificamente).

Em preparação, eu havia feito a leitura do artigo “Artificial Intelligence, Responsibility Attribution, and a Relational Justification of Explainability” (clique aqui para baixar em pdf do site do autor), seguindo uma indicação do Edgar. De forma geral, o artigo discute a questão da atribuição de responsabilidade em relação ao desenvolvimento (e aos efeitos/decorrências) de tecnologias de AI/IA. Eis uma tradução livre da síntese do argumento, apresentada no finalzinho da Introdução:

O problema da atribuição de responsabilidade é inicialmente abordado a partir da distinção entre duas condições artistotélicas de responsabilidade, uma relacionada a controle e à necessidade de identificar o agente responsável, e outra que examina o conhecimento do agente. Primeiramente, assume-se que, mesmo que as tecnologias de AI ganhem mais agência, humanos permanecem sendo responsáveis, pois apenas eles podem ser responsáveis: tecnologias de AI podem ter agência, mas não atendem aos critérios tradicionais de agência moral e responsabilidade moral. Contudo, há muitos desafios envolvidos na atribuição e distribuição de responsabilidade, não apenas devido ao problema das “muitas mãos”, mas também devido ao que denomino de “muitas coisas”. É importante considerar também a dimensão temporal quando se pensa em causas. Atenção especial é dada, então, a problemas sobre o conhecimento relativo a algumas aplicações de machine learning que têm implicações para a questão da responsabilidade. Usualmente, esses problemas são discutidos em termos de transparência e explicabilidade. Porém, em contraste com muitas das discussões na literatura e em contextos públicos, ressalta-se que o problema do endereçado não deveria ser negligenciado quando se considera a explicabilidade: aqueles a quem os agentes morais são responsáveis. Visto de uma perspectiva mais relacional, há não apenas agentes morais, mas também pacientes morais na relação de responsabilidade. Argumenta-se que a demanda por explicabilidade não se justifica apenas pela condição de conhecimento (saber o que você está fazendo como um agente de responsabilidade), mas deveria basear-se no requisito moral de oferecer razões para uma decisão ou ação àqueles a quem você responde , para os pacientes da responsabilidade. Por fim, outros sentidos do termo “relacional” são explorados: responsabilidade coletiva e o aspecto social de se dar explicações.

Creio que compreender o processo de produção de tecnologias de AI é fundamental para desfazermos o “nó” que parece caracterizar muitas das discussões “não técnicas” dessas tecnologias. Essa compreensão está representada no texto, em particular, nas ideias das “muitas mãos” e “muitas coisas”: os muitos atores, humanos e não-humanos, bem como suas relações, todos mobilizados nessa produção. Nessa perspectiva, a questão da atribuição de responsabilidade se revela ainda mais complexa, mas é a questão da explicabilidade, em si, que permanece como um dos pontos problemáticos para mim. No trecho a seguir, o autor explica o problema (para mim, em parte):

(…) a maior parte dos comentaristas sobre AI concorda que há um problema particular com as ditas “caixas-pretas” constituídas por sistemas baseados em machine learning e redes neurais. Ao passo que, no caso da AI clássica, simbólica, a forma pela qual a tecnologia chega a uma decisão é clara, por meio, por exemplo, de uma árvore de decisão que tenha sido programada no software por especialistas de um domínio [específico do conhecimento], no caso de aplicações de machine learning, não fica claro como, exatamente, o sistema de AI chega a uma decisão ou recomendação. Trata-se de um processo estatístico, e aqueles que o criaram sabem como funciona de modo geral, mas mesmo os desenvolvedores – que dirá os usuários e aqueles afetados pelo algoritmo (…) – não sabem como o sistema chega a uma decisão específica relevante a uma pessoa específica. Eles não podem explicar ou tornar transparente o processo decisório em todos os seus passos.

Mais adiante, Coecklebergh cita estudos que buscam desenvolver técnicas para “abrir a caixa-preta” – essa é uma metáfora problemática que precisa ser examinada mais cuidadosamente (eu sempre desconfiei, desde os tempos de estudante de engenharia, de caixas-pretas – pensava sempre em caixas de Pandora…), juntamente com várias outras metáforas (e metonímias) encontradas nos discursos sobre AI. Pois a questão aqui é como conceber essa “explicabilidade”, uma vez que explicações e razões são contingentes ao público ao qual se destinam. Essa me parece ser a outra parte do problema da explicabilidade.

O artigo, no geral, se soma a outras leituras sobre o assunto que me deixam com a impressão de que o “projeto AI” atualmente em curso é uma péssima ideia. Escrevo isso sem querer implicar que haja qualquer tom profético no texto (ou seja, não identifico esse tipo de sentimento ali); tampouco há qualquer relação do argumento com a futurologia (ou seja, não há especulação em torno de uma possível tomada do mundo pela máquina ou outras ideias afins). Há uma argumentação lógica cujas premissas são explicitadas (inclusive o autor menciona que há limites em partir da perspectiva aristotélica de responsabilidade), e que sugere que as demandas para o desenvolvimento e uso responsáveis de AI são variadas.

Postas em contexto político e econômico (aqui já saímos do escopo do texto), essas demandas mostram-se ainda mais complexas. Reconhecendo o caráter ideológico da tecnologia, bem como daquilo que se diz sobre ela, me parece que a questão da explicabilidade não é apenas “técnica” no sentido de criarem-se descrições do comportamento de diferentes redes neurais a partir de diferentes modelos estatísticos, que permitam esclarecer as formas nas quais as representações destacadas da realidade são processadas por esses sistemas. As descrições precisam ser inteligíveis (se não aceitáveis, legítimas) para uma gama variada de “pacientes”, para usar o termo do autor.

Na palestra, Mark seguiu um caminho ligeiramente diferente do argumento do artigo, e, em seus comentários finais, disse algo me encantou: a necessidade premente (também por questões ecológicas) de pensarmos lógicas diferentes daquela centrada na ideia do “domínio”: da natureza, de outros seres, da própria técnica. Os usos de linguagem que remetem a essa ideia (em inglês, há o bendito harness e master) me incomodam muito e sempre me fazem pensar sobre a atualidade de Frankenstein (obra que ele explora neste lindíssimo texto). De todo modo, no fechamento, Mark mencionou o possível papel da Arte na “desconstrução” dessa lógica (ele não usou esse termo, daí as scare quotes). Gostaria que ele tivesse falado mais sobre isso, mas não era o cerne da palestra.

Fiquei animada para pensar um novo projeto (relacionado a este), mas estava afogada em ruído antes de John Cage me resgatar ontem…

Bem, para fechar (e parar de divagar…): por questões técnicas, a palestra foi gravada em parte, então o material está na fila de edição. Quando for disponibilizado, adicionarei o link em um edit aqui.