Redes, dilema e ironia

Finalmente assisti o documentário da Netflix que está sendo tão falado, O Dilema das Redes. Há muitas reações e comentários a partir de múltiplas perspectivas já publicados na rede, e a hype em alguns dos textos que li estava meio que me tirando o ânimo, mas acabei me rendendo à curiosidade.

Para quem tem pouca ou nenhuma reflexão sobre tecnologia, o documentário é bem interessante como porta de entrada para perspectivas mais críticas, pois, ao apresentar alguns aspectos dos bastidores da indústria das tecnologias digitais, sugere que nem tudo são flores, como muitos entusiastas das “redes” nos tentam convencer. Se você está começando a duvidar dos discursos do otimismo desmedido em torno da tecnologia, vale dar uma lida nesta matéria para aquele empurrãozinho extra…

Enfim, estas são as linhas gerais do documentário: a partir de entrevistas com ex-empregados de grandes empresas do Vale do Silício (incluindo as “5 grandes” ou GAFAM – Google, Amazon, Facebook, Apple e Microsoft), O Dilema das Redes traz uma variedade de questionamentos relativos às táticas que essas empresas utilizam em sua “competição por nossa atenção”, bem como suas decorrências. Veja aqui uma postagem bem didática que inclui excelentes recomendações complementares de vídeos e textos (acesso aberto) de alguns dos entrevistados.

Casino, Arcade, Slot Machines, Machines, Gambling, Risk
Fonte: Pixabay

A linguagem dessa indústria é digna de nota: predict behaviour (prever o comportamento), influence/change behaviour (influenciar/modificar o comportamento), attention extraction model (modelo de extração de atenção – o modelo de negócio das empresas em questão, segundo os entrevistados), e por aí vai. A lógica dos caça-níqueis, explicada e claramente exemplificada aqui por Tristan Harris, um dos entrevistados no documentário, perpassa a forma como muitas dessas tecnologias operam.

Office, People, Accused, Accusing, Bullying, Crowd
Fonte: Pixabay

Também achei interessante que tantos dos entrevistados articulem suas preocupações em termos de linguagem que remete a batalhas e guerra. As empresas estão em “guerra” pela nossa atenção, os “críticos” estão em “guerra” contra as empresas, as pessoas estão em “guerra” contra as tecnologias, as redes, as estratégias das empresas, enfim, a velha (porém talvez não familiar para muitos) metáfora conceitual discussão é guerra aparece de múltiplas formas no documentário.

Duas das entrevistadas – Shoshana Zuboff, autora de The Age of Surveillance Capitalism (sem tradução para o português – o livro saiu em janeiro de 2019), e Cathy O’Neil, autora de Weapons of Math Destruction (também sem tradução para o português, mas com uma tradução para o espanhol – o original é de 2016) – têm pouco tempo de tela, mas sua presença é essencial e, definitivamente, vale a pena saber mais sobre o que elas têm a dizer. De perspectivas diferentes, ambas são estudiosas que analisam criticamente as implicações dos usos autais de dados. Zuboff, em particular, discorda da dita “máxima” da Web citada no documentário – “se o produto não é pago, você é o produto”. Em The Age of Surveillance Capitalism (veja aqui um comentário e entrevista com a autora feita pelo professor John Naughton, comentarista no jornal The Guardian), ela sugere que não somos o produto, mas sim algo bem pior. Sendo um pouco relaxada com a questão de direitos autorais, copio abaixo a página do livro que mostra nossa localização nesse sistema, mais consistente com o papel destinado ao humano na Matrix do que com o romantizado produto ao qual a máxima se refere.

Em S. Zuboff The Age of Surveillance Capitalism (Nova Iorque: Public Affairs, 2019, p. 97)
Mad-men-title-card.jpg
Fonte: Wikipedia

O Dilema das Redes é um docudrama, isto é, há uma narrativa entremeada aos fragmentos de entrevistas que ajuda a contextualizar e a encorajar reflexão. Usos da ficção como porta de entrada para a reflexão crítica me interessam, e, nesse sentido, acho que o documentário faz um bom uso do dispositivo (se bem que, em uma discussão com alunos, houve algumas reclamações no sentido do cenário representado nessa narrativa ser um pouco “tosco” – eu diria estereotípico, mas, ainda assim, para mim, efetivo). Em particular, ter o ator Vincent Kartheiser no papel dos algoritmos me pareceu uma forma de ironizar, ao menos em parte, a lógica que permeia o universo do marketing a subsidiar muito do que os entrevistados dizem e criticam – lembrando que Kartheiser foi um dos personagens principais da excelente série Mad Men, que retrata o mundo da publicidade estadunidense na década de 1960. O personagem de Kartheiser era o mais jovem dos publicitários em Mad Men, mas, rapidamente, ele se adapta às práticas chauvinistas e sórdidas dos colegas – para mim, essa escolha é representativa de como algoritmos concretizam (e aperfeiçoam) a lógica de exploração do ser humano tão criticada pelos entrevistados.

Outro aspecto que observei é que quase todos os comentários são apresentados em plano frontal, sugerindo que os entrevistados estão falando diretamente para o espectador, como se não houvesse roteiro, entrevistador, mediação, como se o documentário apresentasse fatos incontroversos, retratos fieis. A verdade?

Há muito mais a dizer, mas, para mim, a ironia máxima do documentário, porém, decorre do contraste entre as descrições das táticas concretizadas nas plataformas e as propostas de ações de “resistência” sugeridas no final do documentário. Entendo que, para muita gente, o programa terá sido (ou será) perturbador, e que os produtores talvez não tenham querido deixar o público com nenhuma espécie de “gosto amargo” ao final. Mas, francamente, concordo com o que este texto diz sobre os limites da crítica proposta, em parte porque as sugestões são borderline naive:

  • Usar plataformas para emitir opiniões (e alguém precisa de encorajamento para isso?)
  • Desligar notificações (apenas pesquisas empíricas podem confirmar isto, mas a minha intuição é que grande parte das pessoas já faz isso, pelo menos parcialmente)
  • Desinstalar apps da categoria “perda de tempo” (Facebook está nessa categoria?)
  • Escolher o próximo vídeo a assistir, em vez de seguir sugestões de plataformas (sinceramente, as recomendações da Netflix não podem ser puramente baseadas no que já assisti – as suas são? A mim parecem mais promoção do que personalização…)
  • Verificar fatos (os meninos e meninas do Vale do Silício claramente não estão a par das muitas discussões sobre as múltiplas formas de letramento que nós, na Educação, temos discutido: letramento midiático, letramento digital, letramento científico etc. etc. etc.)

Bem, a lista é maior, mas anotei apenas alguns que me fizeram rir (ou quase), pois todas as explicações dadas pelos entrevistados são indicações claras de que a tecnologia não é neutra (veja aqui um exemplo simples de como escolhas dos desenvolvedores são embutidas nos objetos que desenvolvem). No final, após tantos exemplos ao contrário, o documentário volta ao argumento ironizado no quadrinho ao lado.

Resumindo: acho que vale a pena assistir O Dilema das Redes – mas é preciso questionar as questões nele postas.

Inteligência Artificial, Explicabilidade e Responsabilidade

Fonte: imagem de Gert Aldman, disponível na plataforma Pìxabay – https://pixabay.com/illustrations/web-network-programming-3706562/

Um ano após uma das minhas corridas pela internet atrás do coelho branco, tive o enorme prazer de participar, como uma das mediadoras, da aula inaugural do Dept. de Filosofia da PUC-Rio, ministrada exatamente pelo filósofo Mark Coeckelbergh. A convite do Prof. Edgar Lyra, diretor do Departamento de Filosofia da PUC-Rio, Mark falou para uma público de mais de 300 pessoas (incluindo muitos participantes de fora da PUC-Rio, de fato, de fora do Rio, também). Com o título Artificial Intelligence and the problem of responsibility, foi uma palestra muitíssimo interessante, seguida de uma bateria de perguntas bem variadas (várias delas aludiram a implicações para a educação, especificamente).

Em preparação, eu havia feito a leitura do artigo “Artificial Intelligence, Responsibility Attribution, and a Relational Justification of Explainability” (clique aqui para baixar em pdf do site do autor), seguindo uma indicação do Edgar. De forma geral, o artigo discute a questão da atribuição de responsabilidade em relação ao desenvolvimento (e aos efeitos/decorrências) de tecnologias de AI/IA. Eis uma tradução livre da síntese do argumento, apresentada no finalzinho da Introdução:

O problema da atribuição de responsabilidade é inicialmente abordado a partir da distinção entre duas condições artistotélicas de responsabilidade, uma relacionada a controle e à necessidade de identificar o agente responsável, e outra que examina o conhecimento do agente. Primeiramente, assume-se que, mesmo que as tecnologias de AI ganhem mais agência, humanos permanecem sendo responsáveis, pois apenas eles podem ser responsáveis: tecnologias de AI podem ter agência, mas não atendem aos critérios tradicionais de agência moral e responsabilidade moral. Contudo, há muitos desafios envolvidos na atribuição e distribuição de responsabilidade, não apenas devido ao problema das “muitas mãos”, mas também devido ao que denomino de “muitas coisas”. É importante considerar também a dimensão temporal quando se pensa em causas. Atenção especial é dada, então, a problemas sobre o conhecimento relativo a algumas aplicações de machine learning que têm implicações para a questão da responsabilidade. Usualmente, esses problemas são discutidos em termos de transparência e explicabilidade. Porém, em contraste com muitas das discussões na literatura e em contextos públicos, ressalta-se que o problema do endereçado não deveria ser negligenciado quando se considera a explicabilidade: aqueles a quem os agentes morais são responsáveis. Visto de uma perspectiva mais relacional, há não apenas agentes morais, mas também pacientes morais na relação de responsabilidade. Argumenta-se que a demanda por explicabilidade não se justifica apenas pela condição de conhecimento (saber o que você está fazendo como um agente de responsabilidade), mas deveria basear-se no requisito moral de oferecer razões para uma decisão ou ação àqueles a quem você responde , para os pacientes da responsabilidade. Por fim, outros sentidos do termo “relacional” são explorados: responsabilidade coletiva e o aspecto social de se dar explicações.

Creio que compreender o processo de produção de tecnologias de AI é fundamental para desfazermos o “nó” que parece caracterizar muitas das discussões “não técnicas” dessas tecnologias. Essa compreensão está representada no texto, em particular, nas ideias das “muitas mãos” e “muitas coisas”: os muitos atores, humanos e não-humanos, bem como suas relações, todos mobilizados nessa produção. Nessa perspectiva, a questão da atribuição de responsabilidade se revela ainda mais complexa, mas é a questão da explicabilidade, em si, que permanece como um dos pontos problemáticos para mim. No trecho a seguir, o autor explica o problema (para mim, em parte):

(…) a maior parte dos comentaristas sobre AI concorda que há um problema particular com as ditas “caixas-pretas” constituídas por sistemas baseados em machine learning e redes neurais. Ao passo que, no caso da AI clássica, simbólica, a forma pela qual a tecnologia chega a uma decisão é clara, por meio, por exemplo, de uma árvore de decisão que tenha sido programada no software por especialistas de um domínio [específico do conhecimento], no caso de aplicações de machine learning, não fica claro como, exatamente, o sistema de AI chega a uma decisão ou recomendação. Trata-se de um processo estatístico, e aqueles que o criaram sabem como funciona de modo geral, mas mesmo os desenvolvedores – que dirá os usuários e aqueles afetados pelo algoritmo (…) – não sabem como o sistema chega a uma decisão específica relevante a uma pessoa específica. Eles não podem explicar ou tornar transparente o processo decisório em todos os seus passos.

Mais adiante, Coecklebergh cita estudos que buscam desenvolver técnicas para “abrir a caixa-preta” – essa é uma metáfora problemática que precisa ser examinada mais cuidadosamente (eu sempre desconfiei, desde os tempos de estudante de engenharia, de caixas-pretas – pensava sempre em caixas de Pandora…), juntamente com várias outras metáforas (e metonímias) encontradas nos discursos sobre AI. Pois a questão aqui é como conceber essa “explicabilidade”, uma vez que explicações e razões são contingentes ao público ao qual se destinam. Essa me parece ser a outra parte do problema da explicabilidade.

O artigo, no geral, se soma a outras leituras sobre o assunto que me deixam com a impressão de que o “projeto AI” atualmente em curso é uma péssima ideia. Escrevo isso sem querer implicar que haja qualquer tom profético no texto (ou seja, não identifico esse tipo de sentimento ali); tampouco há qualquer relação do argumento com a futurologia (ou seja, não há especulação em torno de uma possível tomada do mundo pela máquina ou outras ideias afins). Há uma argumentação lógica cujas premissas são explicitadas (inclusive o autor menciona que há limites em partir da perspectiva aristotélica de responsabilidade), e que sugere que as demandas para o desenvolvimento e uso responsáveis de AI são variadas.

Postas em contexto político e econômico (aqui já saímos do escopo do texto), essas demandas mostram-se ainda mais complexas. Reconhecendo o caráter ideológico da tecnologia, bem como daquilo que se diz sobre ela, me parece que a questão da explicabilidade não é apenas “técnica” no sentido de criarem-se descrições do comportamento de diferentes redes neurais a partir de diferentes modelos estatísticos, que permitam esclarecer as formas nas quais as representações destacadas da realidade são processadas por esses sistemas. As descrições precisam ser inteligíveis (se não aceitáveis, legítimas) para uma gama variada de “pacientes”, para usar o termo do autor.

Na palestra, Mark seguiu um caminho ligeiramente diferente do argumento do artigo, e, em seus comentários finais, disse algo me encantou: a necessidade premente (também por questões ecológicas) de pensarmos lógicas diferentes daquela centrada na ideia do “domínio”: da natureza, de outros seres, da própria técnica. Os usos de linguagem que remetem a essa ideia (em inglês, há o bendito harness e master) me incomodam muito e sempre me fazem pensar sobre a atualidade de Frankenstein (obra que ele explora neste lindíssimo texto). De todo modo, no fechamento, Mark mencionou o possível papel da Arte na “desconstrução” dessa lógica (ele não usou esse termo, daí as scare quotes). Gostaria que ele tivesse falado mais sobre isso, mas não era o cerne da palestra.

Fiquei animada para pensar um novo projeto (relacionado a este), mas estava afogada em ruído antes de John Cage me resgatar ontem…

Bem, para fechar (e parar de divagar…): por questões técnicas, a palestra foi gravada em parte, então o material está na fila de edição. Quando for disponibilizado, adicionarei o link em um edit aqui.

Metáforas: o criador nos ossos da criatura?

O que tricotar nos diz sobre a aprendizagem móvel?
https://cogdog.github.io/edtechaphors/

Segundo George Lakoff e Mark Johnson em Metáforas da Vida Cotidiana, metáforas são mapeamentos que conectam um domínio fonte a um domínio alvo: por exemplo, uma metáfora conhecida na área da Educação é a da “educação bancária”, que associa o processo de ensinar (domínio alvo) ao ato de fazer um depósito bancário (domínio fonte). Meu projeto de pesquisa atual utiliza essa noção como um de seus eixos teóricos fundantes, pois, nessa concepção, metáforas têm múltiplas implicações (epistemológicas, ontológicas e políticas), ou seja, não são meros ornamentos.

Em nosso (grupo de autores – não é o detestável “nós da majestade”) artigo Metaphors we’re colonised by? The case of data-driven technologies in Brazil (clique aqui para baixar uma e-print gratuita – ainda há – ou aqui para baixar um pre-print), discutimos algumas metáforas da EdTech (Big Data, especificamente), concluindo o texto com a ideia de que, se Borges estiver certo em sua sugestão que a história universal seria a história de diferentes formas tomadas por algumas metáforas, precisamos resgatar ou criar outras metáforas, distintas das que identificamos em associação à temática do estudo.

Eis que, coincidentemente, Martin Weller, meu colega de tempos da Open University, criou e instalou recentemente em seu blog um gerador de metáforas para a EdTech! A princípio, pensei que se tratava de uma iniciativa de crowdsourcing (que daria um belíssimo projeto), mas não: é o app que sugere aleatoriamente mapeamentos entre um domínio fonte e um domínio alvo. Uma segunda versão do app está aqui e comentada aqui.

Como o código do app é curto e simples, é bem fácil ver com clareza como as escolhas do programador estão embutidas no algoritmo – essa não é uma ideia fácil de discutir com pessoas que nunca tiveram qualquer experiência de programação, e um exemplo “tangível” ajuda. O fragmento de print de tela abaixo mostra o trecho onde o programa define as opções: como domínios alvo, rótulos da EdTech (learning analytics, VLE, blockchain, etc.); como domínios fonte, ideias, coisas e atividades (preparar um bolo, uma planta, correr uma maratona, etc.).

Código completo aqui

As opções de domínio fonte, especificamente, sugerem interesses do programador (ao menos, estão em seu radar) – poderiam ser outras inteiramente diferentes (talvez eu usasse categorias relacionas a música, lugares, enfim, coisas que me interessam). As opções do domínio alvo, as categorias da EdTech, também poderiam ser outras – minimamente, a lista poderia ser ampliada.

Nesse caso, não fica bem visível o criador nos ossos da criatura?

Existem muitas outras metáforas no universo da computação – a começar pelas ideias de “área de trabalho”, “pastas”, “arquivos”, só para mencionar as mais comuns e já inteiramente naturalizadas. É sempre interessante desnaturalizá-las e, nesse sentido, a brincadeira de Martin, ao conectar domínios tão distintos, permite destacar sua natureza arbitrária e nada universal: metáforas revelam especificidades de um contexto enquanto tendem a se disseminar e enquadrar nossas formas de perceber e pensar em outros.