Pra não dizer que não falei …

… (ainda) do chatGPT….

O assunto #dahora não passou despercebido por aqui – seria impossível, até porque parece já estar instalado um certo pânico moral generalizado, principalmente na educação. Mas parece que estamos naquele momento no qual everybody is talking about it, então vamos lá com meus dois centavos (de observações gerais e uma analogia colorida…).

Não lembro de onde tirei o meme no início da postagem, e também não sei se é “ruim” que a fila à direita seja mais longa do que a fila à esquerda, que me parece representar uma aceitação sem questionamentos da inevitabilidade dessa e de outras “coisas” associadas à IA. Já andei, mesmo sem intenções explícitas, na fila à direita :-), junto com gente querida que compartilhou comigo trocas bastante interessantes. A fluidez dos textos é realmente impressionante, mas parece que erros factuais não são raros (por ora, pelo menos).

Separei alguns escritos que sintetizam pontos que acho interessantes:

  • Já estarem cobrando (no Brasil) por um serviço que, até agora, parece ser mais uma “solução em busca de um problema” (parafraseando Neil Selwyn neste texto, neste livro);
  • Interessante como foram “cavar” um precursor local, considerando como é pequena, no geral, a preocupação atual com enraizamentos históricos da tecnologia (comentei sobre esse problema nos estudos sobre a tecnologia educacional, especificamente, aqui);
  • O medo do fim de certas profissões;
  • Várias matérias no site Porvir, quase todas cobrando “inovação” de escolas (ou “da educação”);
  • Uma rápida mudança de perspectiva, de “tecnologia útil” a “barganha fáustica“, em matérias de John Naughton no jornal The Guardian. Aqui, acrescento que aprecio demais mudanças assim – acho que são importantes para “balançar” as pessoas que pensam que autores, acadêmicos, autores, enfim, gentes criativas seriam seres acabados que estariam sempre a “defender” o mesmo ponto de vista, quando o que torna a vida intelectual e artística interessante e rica é exatamente a possibilidade de mudança.
  • Preocupação com uma possível “escassez de dados” para treinar IA: matéria no MIT Tech Review (uma das fontes que listei aqui sobre “coisas edtech”, mas em português), que me chegou ainda há pouco via Camila Leporace. Achei de uma ironia absurda…

Esses são alguns dos textos que andei lendo – há muitos sobre preocupações com plágio e, sobretudo, a falta de fontes nas respostas. Eu mesma já perguntei ao bot sobre as fontes que usa, e a resposta foi a mesma que outras pessoas me disseram ter recebido: em essência, algo como “não fui desenhado para citar minhas fontes”. Essa é a base da preocupação de muita gente na educação, pois o texto retornado pelo chat pode passar por “original”, pelo menos na perspectiva dos detetores de plágio. Para mim, a preocupação com plágio é algo a ser repensado, pois não vejo como um “problema” que passa apenas pelo texto (escrevi um pouco sobre isso aqui), mas isso é o que temos para hoje, como dizem.

Uns dias atrás, estava curtindo com minha filha uma certa nostalgia da infância dela enquanto assistíamos um dos filmes da saga de Harry Potter, e IA me veio à mente. Especificamente, estávamos vendo o segundo filme, Harry Potter and the Chamber of Secrets. [spoilers adiante, então pare aqui se não leu/viu e pretende ainda fazê-lo] Nesse episódio, surge o malévolo Lord Voldemort na figura de seu self adolescente, Tom Riddle, preservado em um diário. O diário parece vazio, mas Harry descobre que, ao escrever nele, recebe respostas – veja no clip abaixo.

O diário é manipulador, também, induzindo seu interlocutor a ações, mesmo contra sua vontade (não Harry, que tem a “mente” mais forte da ficção infanto-juvenil…). Fiquei pensando se seriam, de certa forma, pedaços da “alma” humana (coletiva, no caso) o que sustenta coisas como chatGPT – seriam “diários”, como o de Riddle, parciais, enviesados e temporais? (ainda que estejam “aprendendo” com as próprias perguntas que lhe são feitas – em ato falho interessante, escrevi, originalmente, “apreendendo”) O desejo de Riddle pela imortalidade e sua ambição de querer controlar tudo e todos tornam o diário triplamente amaldiçoado, pois, para ter um “pedaço” armazenado, a alma precisa ser fragmentada por meio do ato mais vil possível: o assassinato de outro ser humano. Essa história, pelo menos, tem um final (relativamente) feliz: os fãs da saga lembrarão de que Harry triunfa sobre o diário e sobre Voldemort, que, ao fim e ao cabo, não era mais humano, mas sim puro “mal” destilado.

Enfim, avisei que seriam apenas algumas observações gerais e uma analogia colorida…

O mundo digital em perspectivas feministas (+ tradução de texto curto)

Acaba de sair na revista Freuensolidarität, publicação do coletivo feminista austríaco de mesmo nome, um texto curtinho meu: Digitalen Technologien in Brasilien: Metaphern, nach denen wir leben, auf die wir aber lieber, verzichten würden. Trata-se de um número especial dedicado à discussão, em perspectivas feministas, de questões relativas à digitalização em diferentes países, dentro da proposta geral da revista de levar perspectivas do Sul ao Norte global.

Fui convidada para escrever sobre Big Data e colonialismo de dados no Brasil, creio que, a partir de outra publicação sobre o assunto que saiu no ano passado. Foi um desafio muito interessante, pois me abriu os olhos para questões que não estava considerando em meus estudos a partir de metáforas. Com isso, me senti motivada a finalmente começar um engajamento com formas de pensar (e leituras) com as quais venho “flertando” há um tempo, mas vinha adiando por falta de tempo.

A revista circula, primordialmente, no impresso, mas combinei, com uma das editoras, que iria circular aqui versões em inglês (o original, pois, infelizmente, apenas consigo ler em alemão – e bem mal, hoje em dia) e português (tradução apressada, como sempre).

Transcrevo abaixo o texto pré-edição, e deixo a versão em português neste pdf.

Clique aqui para saber mais sobre o coletivo.

Digital technologies in Brazil: Metaphors we live by, but would prefer not to.

Leader: Ideas surrounding digital technologies in Brazil are often expressed in terms of metaphors that are imported and translated from the Anglophone world. Metaphors, however, are not mere figures of speech, but cognitve devices that create worlds and subjects to inhabit them. This article suggests that technology-related metaphors sustain Modernity’s rationale of progress through control, supporting the country´s (re)colonisation, now via digital means.

Main text

A perfect storm appears to be brewing in Brazil. Whilst an extreme right-wing government unashamedly rewrites history, daily feeding its mob of supporters with countless absurdities, control of national oil reserves and other exploits from the land is quietly given away to multilateral interest groups, with no concern for the environment, nor any real gain for the common citizen. Also traded away with a borderless industry is all the data created daily in internet-based transactions, from ordinary activities like grocery shopping to the exchanges of personal information on social networks and learning platforms that have become, undoubtedly, lifelines during the covid-19 pandemic. As the pandemic rages on in the country, fuelled by denialism, cynicism and other manners of violence, data is fast becoming the new oil, to use its (arguably) most common conception as a metaphor in circulation in the Anglophone world.

But what does it mean, to have a metaphor as a form of conceiving something?

Common-sense understandings of metaphor tend to be, to a large extent, dismissive, even cavalier: mere figures of speech, embellishments, at best, perhaps obfuscating devices, in some academic circles. To illustrate the reductionist character of these perspectives, let´s take an example that remains in use even as it is (or should be) appalling to women: dolls as a vocative.

Dolls have traditionally played a key role in child development across cultures. Highjacked by the capitalist order, however, they eventually came to function as aesthetic models. Despite recent attempts of the toy industry to represent diversity in the abstract sorts of prettiness they (re)present, dolls have come to personify ideals that, in the extreme, support terrible forms of self-mutilation. They are lifeless bodies that sit quietly in a corner until dragged into role playing to scripts created by others. They are animated, managed and manoeuvred by others. They speak with the voices of others. Doll-women have no minds of their own: they exist to articulate, channel, and serve the desires of others.

This example illustrates that metaphors are much more than figures of speech. Metaphors outline specific ways of being, existing and acting in the world. Whilst expressed in language, they possess a physical base and point to materiality: as ways of conceiving things, they outline possibilities and limits to what these things may be, how they are supposed to behave, what they are allowed to do and say. In this sense, metaphors condense specific worldviews, shedding light on certain aspects of existence whilst obscuring others and, thus, embodying ideology.

As women-dolls are creatures destined to a mode of being devoid of agency, data-as-the-new-oil is fated to be a very lucrative commodity, although, as usual, not really to those who effectively produce it.

In this vein, it is not surprising that this is not the most common metaphor of data to be found in Brazilian talk and writing. In my research on how digital educational technologies are being conceived in the country, three other more general metaphors have emerged: data as a natural resource; data as a tool; data as a subject. Talk and writing about data claims that raw data is captured, collected and extracted, prior to being treated and processed in operations such as grouping, cross-referencing and, interestingly, welding. Eventually, data is transferred, stored and exploited, deposited in databases or databanks. Data also helps, supports, facilitates, i.e., personifies a guide that measures, assesses, predicts, and encourages desirable behaviours.

Some claims associated with data and, more generally, digital technologies push us towards the realm of fantasy: Artificial Intelligence (AI), for example, is equated with a powerful precog, a soothsayer who can foretell the future. Data-driven AI becomes an entity with predictive abilities due to an assumed capacity to find meaning in large volumes of data that cannot be processed by human beings. In this way, data-driven technologies are framed not only as subjects but, more specifically, as better subjects, since data is supposedly objective (unbiased), encompassing (omniscient) and precise. Data is thought of as an immaterial being who knows us better than we do ourselves.

However, it is unproductive to talk about the digital world as immaterial, as some commentators insist on doing, considering that their effects in the world are anything but immaterial. In Brazil, the ongoing pandemic has unleashed a huge increase in the adoption, by all sectors and levels of education, for example, of services provided by the ‘Big 5’ (GAFAM – Google, Amazon, Facebook, Apple and Microsoft). Training and other types of support activities have already begun to grow into a profitable trade surrounding this uptake, but little is said in terms of what is effectively being done with all the data generated, how privacy and security may be guaranteed to teachers, students, and their families, and, crucially, how pedagogy is or may be affected by imported standards and their associated practices. Educationalists worry about the sorts of human beings who will emerge from this digital assembly line supported on (and, perhaps more importantly, supportive of) a cross-national infrastructure that escapes all jurisdictions.

To a large extent, technology-related metaphors in Brazil are translations and (mal)adaptations, primarily imports from the Anglophone world made via the industry that produces them. We are thus colonised by a rhetoric that is beset with self-fulfilling prophecies epitomising technological solutionism: the idea that technology will provide the solution to all human problems – although some humans are more equal than others in matters of distribution and access. Like most digital technologies, technologies that trade in data are also tediously marketed as tools, perhaps the most common, albeit unfortunate, manner of conceiving them and defending their assumed usefulness: this is yet another metaphor that conveniently obscures the various types of biases inscribed in these objects throughout their processes of design, manufacture and marketing.

In contemporary Brazil, all of this takes place within an environment of expanding fundamentalism that pays little attention to pre-existing inequalities – digital and otherwise. Hard-won victories on issues related to gender, sexuality and treatment of all manners of minorities are gradually unravelled by a destructive government that supports a local ‘Aunt Lydia’ as the Minister of Women, Families and Human Rights. In this dystopian scenario, despite the lesson taught by the pandemic on the key role of teachers and what they do, home-schooling is now the ‘apple in the eye’ of a powerful elite that gazes covetously at those naively searching for tools to sort out their differences with a battered public education system.

Big data and AI are, in fact, only the latest in a long succession of technological fads, their metaphors consistent with a much older underlying logic: the idea of progress through science and technology that supports the Faustian project of Modernity. In defending the power of science to model and predict, as well as the potential of technology to be harnessed and transformed into solutions to problems, this is a logic that entails a certain type of relationship with nature: nature as something to be tamed, mastered and, ultimately, exploited. This rationale permeates other manners of relations – between people, between classes, between nations – historically associated, through a common genealogy, with a logic of control. All of these metaphors thus compose a conceptual backdrop shared by imperialism, colonialism and, more generally, patriarchy, and can hardly escape supporting subjugation and servitude.

Political life in Brazil appears to be purposefully driving the country back to its original status as an exploitation colony, with data positioned as perhaps one of its most sought-after commodities in emerging digital geopolitics. We are two decades into this century, yet representation of Brazil´s diversity remains poor. To be sure, we have made some strides towards remedying, in particular, women’s representation. However, although we recognise the value of increasing rates of female students in STEM and business or politics, we are confronted with rising numbers of femicides whilst watching media promotion of anthropomorphic female robots, embodiments of a chauvinistic industry.

Identifying and reflecting upon the metaphors that construct our world may be a way forward and away from the logic of oppression that supports Modernity’s technological enterprise. Goethe’s Gretchen declined the invitation to play the supporting role of a doll in Faust’s (mis)adventure, but, in remaining true to what was dear to her, her refusal costed her life. As the Faustian drama continues to unfold, albeit now with a digital façade, we need new metaphors and optional paths for Gretchen and all of those in positions of subservience. Perhaps alternatives may emerge from localised reflection and action in the midst of a brewing storm.

Comment: ‘Aunt Lydia’ is a character is Margaret Atwood’s The Handmaid’s Tale, a piece of dystopian future that portrays a world where young and fertile women of popular classes have been reduced to breeders after a ‘revolution’ that established as norm some of the cruellest patriarchal practices.

Bibliography

Berman, Marshall (1982). All that is solid melts into air. The experience of modernity. New York; London: Penguin.

Ferreira, Giselle M.S. et al. (2020). Metaphors we’re colonised by? The case of data-driven educational technologies in Brazil. Learning, Media and Technology 45(1) pp. 46-60. Available at: https://doi.org/10.1080/17439884.2019.1666872.

Lakoff, George & Johnson, Mark. (1980) Metaphors we live by. Chicago: University of Chicago Press.

Terceirizando a aprendizagem?

Fonte: Pexels

Nesta semana que passou, fui apresentada a uma novidade que não é tão nova, afinal: as plataformas de geração de paráfrases. Um detalhe interessante é que foram alunos de graduação que me indicaram dois exemplos – segundo disseram, usam para ajudá-los a reescrever e compreender (talvez essa parte tenha surgido ali, no ato da confissão não solicitada?) trechos que não entendem em textos complicados.

Ainda não sei o que pensar sobre isso, mas curiouser and curiouser, entrei no Google Scholar para ter uma noção dos pontos de discussão no momento, e fiz uma busca por [“paraphrasing tools” AND learning]. Desmarcando a caixa com “include citations”, sobraram 446 resultados. Restringindo o ano de publicação para 2017-2021, sobraram 80 resultados.

Olhando por alto, saltaram-me aos olhos os trabalhos relativos ao “problema” do plágio, alguns focalizados no desenvolvimento de sistemas para apoiar a detecção de plágio a partir da identificação de paráfrases geradas automaticamente, o que me pareceu bem esquisito. Além disso, há também também a questão da venda de serviços especializados de escrita de trabalhos acadêmicos, automatizados ou não. Esta plataforma, por exemplo, promovida pela Google Ads, segue o modelo Freemium – serviço básico gratuito com a monetização de serviços extra (pretensamente, pois necessidades vão sendo criadas ao longo da interação com o artefato, por exemplo, jogos).

Tenho uma forte inclinação a achar que as discussões sobre plágio na educação que partem de perspectivas moralizadoras (“é errado e, assim, repreensível”) ou legalistas (“é ilegal”) afastam-se de aspectos que me parecem fundamentais: questões relativas à forma e ao papel da avaliação, questões relativas ao que se pode esperar de estudantes em diferentes momentos de sua formação, questões sobre o papel da imitação, mesmo, no processo, enfim, questões que têm a ver com aprendizagem – o processo, nossas concepções dele, bem como as dos estudantes, tudo isso concretizado em práticas.

Usei learning na busca porque queria ver se havia discussão em torno de algum desses assuntos. Precisaria fazer outras buscas (como digo aos meus alunos de Metodologia de Pesquisa: “usem bases acadêmicas melhores”…), então, por hora, permanece comigo a ideia de que o uso desses geradores seria mais uma forma de terceirizar (ao menos, aspectos de) esse processo. 

A pensar mais…

Redes, dilema e ironia

Finalmente assisti o documentário da Netflix que está sendo tão falado, O Dilema das Redes. Há muitas reações e comentários a partir de múltiplas perspectivas já publicados na rede, e a hype em alguns dos textos que li estava meio que me tirando o ânimo, mas acabei me rendendo à curiosidade.

Para quem tem pouca ou nenhuma reflexão sobre tecnologia, o documentário é bem interessante como porta de entrada para perspectivas mais críticas, pois, ao apresentar alguns aspectos dos bastidores da indústria das tecnologias digitais, sugere que nem tudo são flores, como muitos entusiastas das “redes” nos tentam convencer. Se você está começando a duvidar dos discursos do otimismo desmedido em torno da tecnologia, vale dar uma lida nesta matéria para aquele empurrãozinho extra…

Enfim, estas são as linhas gerais do documentário: a partir de entrevistas com ex-empregados de grandes empresas do Vale do Silício (incluindo as “5 grandes” ou GAFAM – Google, Amazon, Facebook, Apple e Microsoft), O Dilema das Redes traz uma variedade de questionamentos relativos às táticas que essas empresas utilizam em sua “competição por nossa atenção”, bem como suas decorrências. Veja aqui uma postagem bem didática que inclui excelentes recomendações complementares de vídeos e textos (acesso aberto) de alguns dos entrevistados.

Casino, Arcade, Slot Machines, Machines, Gambling, Risk
Fonte: Pixabay

A linguagem dessa indústria é digna de nota: predict behaviour (prever o comportamento), influence/change behaviour (influenciar/modificar o comportamento), attention extraction model (modelo de extração de atenção – o modelo de negócio das empresas em questão, segundo os entrevistados), e por aí vai. A lógica dos caça-níqueis, explicada e claramente exemplificada aqui por Tristan Harris, um dos entrevistados no documentário, perpassa a forma como muitas dessas tecnologias operam.

Fonte: Pixabay

Também achei interessante que tantos dos entrevistados articulem suas preocupações em termos de linguagem que remete a batalhas e guerra. As empresas estão em “guerra” pela nossa atenção, os “críticos” estão em “guerra” contra as empresas, as pessoas estão em “guerra” contra as tecnologias, as redes, as estratégias das empresas, enfim, a velha (porém talvez não familiar para muitos) metáfora conceitual discussão é guerra aparece de múltiplas formas no documentário.

Duas das entrevistadas – Shoshana Zuboff, autora de The Age of Surveillance Capitalism (sem tradução para o português – o livro saiu em janeiro de 2019), e Cathy O’Neil, autora de Weapons of Math Destruction (também sem tradução para o português, mas com uma tradução para o espanhol – o original é de 2016) – têm pouco tempo de tela, mas sua presença é essencial e, definitivamente, vale a pena saber mais sobre o que elas têm a dizer. De perspectivas diferentes, ambas são estudiosas que analisam criticamente as implicações dos usos autais de dados. Zuboff, em particular, discorda da dita “máxima” da Web citada no documentário – “se o produto não é pago, você é o produto”. Em The Age of Surveillance Capitalism (veja aqui um comentário e entrevista com a autora feita pelo professor John Naughton, comentarista no jornal The Guardian), ela sugere que não somos o produto, mas sim algo bem pior. Sendo um pouco relaxada com a questão de direitos autorais, copio abaixo a página do livro que mostra nossa localização nesse sistema, mais consistente com o papel destinado ao humano na Matrix do que com o romantizado produto ao qual a máxima se refere.

Em S. Zuboff The Age of Surveillance Capitalism (Nova Iorque: Public Affairs, 2019, p. 97)
Mad-men-title-card.jpg
Fonte: Wikipedia

O Dilema das Redes é um docudrama, isto é, há uma narrativa entremeada aos fragmentos de entrevistas que ajuda a contextualizar e a encorajar reflexão. Usos da ficção como porta de entrada para a reflexão crítica me interessam, e, nesse sentido, acho que o documentário faz um bom uso do dispositivo (se bem que, em uma discussão com alunos, houve algumas reclamações no sentido do cenário representado nessa narrativa ser um pouco “tosco” – eu diria estereotípico, mas, ainda assim, para mim, efetivo). Em particular, ter o ator Vincent Kartheiser no papel dos algoritmos me pareceu uma forma de ironizar, ao menos em parte, a lógica que permeia o universo do marketing a subsidiar muito do que os entrevistados dizem e criticam – lembrando que Kartheiser foi um dos personagens principais da excelente série Mad Men, que retrata o mundo da publicidade estadunidense na década de 1960. O personagem de Kartheiser era o mais jovem dos publicitários em Mad Men, mas, rapidamente, ele se adapta às práticas chauvinistas e sórdidas dos colegas – para mim, essa escolha é representativa de como algoritmos concretizam (e aperfeiçoam) a lógica de exploração do ser humano tão criticada pelos entrevistados.

Outro aspecto que observei é que quase todos os comentários são apresentados em plano frontal, sugerindo que os entrevistados estão falando diretamente para o espectador, como se não houvesse roteiro, entrevistador, mediação, como se o documentário apresentasse fatos incontroversos, retratos fieis. A verdade?

Há muito mais a dizer, mas, para mim, a ironia máxima do documentário, porém, decorre do contraste entre as descrições das táticas concretizadas nas plataformas e as propostas de ações de “resistência” sugeridas no final do documentário. Entendo que, para muita gente, o programa terá sido (ou será) perturbador, e que os produtores talvez não tenham querido deixar o público com nenhuma espécie de “gosto amargo” ao final. Mas, francamente, concordo com o que este texto diz sobre os limites da crítica proposta, em parte porque as sugestões são borderline naive:

  • Usar plataformas para emitir opiniões (e alguém precisa de encorajamento para isso?)
  • Desligar notificações (apenas pesquisas empíricas podem confirmar isto, mas a minha intuição é que grande parte das pessoas já faz isso, pelo menos parcialmente)
  • Desinstalar apps da categoria “perda de tempo” (Facebook está nessa categoria?)
  • Escolher o próximo vídeo a assistir, em vez de seguir sugestões de plataformas (sinceramente, as recomendações da Netflix não podem ser puramente baseadas no que já assisti – as suas são? A mim parecem mais promoção do que personalização…)
  • Verificar fatos (os meninos e meninas do Vale do Silício claramente não estão a par das muitas discussões sobre as múltiplas formas de letramento que nós, na Educação, temos discutido: letramento midiático, letramento digital, letramento científico etc. etc. etc.)

Bem, a lista é maior, mas anotei apenas alguns que me fizeram rir (ou quase), pois todas as explicações dadas pelos entrevistados são indicações claras de que a tecnologia não é neutra (veja aqui um exemplo simples de como escolhas dos desenvolvedores são embutidas nos objetos que desenvolvem). No final, após tantos exemplos ao contrário, o documentário volta ao argumento ironizado no quadrinho ao lado.

Resumindo: acho que vale a pena assistir O Dilema das Redes – mas é preciso questionar as questões nele postas.

Inteligência Artificial, Explicabilidade e Responsabilidade

Fonte: imagem de Gert Aldman, disponível na plataforma Pìxabay – https://pixabay.com/illustrations/web-network-programming-3706562/

Um ano após uma das minhas corridas pela internet atrás do coelho branco, tive o enorme prazer de participar, como uma das mediadoras, da aula inaugural do Dept. de Filosofia da PUC-Rio, ministrada exatamente pelo filósofo Mark Coeckelbergh. A convite do Prof. Edgar Lyra, diretor do Departamento de Filosofia da PUC-Rio, Mark falou para uma público de mais de 300 pessoas (incluindo muitos participantes de fora da PUC-Rio, de fato, de fora do Rio, também). Com o título Artificial Intelligence and the problem of responsibility, foi uma palestra muitíssimo interessante, seguida de uma bateria de perguntas bem variadas (várias delas aludiram a implicações para a educação, especificamente).

Em preparação, eu havia feito a leitura do artigo “Artificial Intelligence, Responsibility Attribution, and a Relational Justification of Explainability” (clique aqui para baixar em pdf do site do autor), seguindo uma indicação do Edgar. De forma geral, o artigo discute a questão da atribuição de responsabilidade em relação ao desenvolvimento (e aos efeitos/decorrências) de tecnologias de AI/IA. Eis uma tradução livre da síntese do argumento, apresentada no finalzinho da Introdução:

O problema da atribuição de responsabilidade é inicialmente abordado a partir da distinção entre duas condições artistotélicas de responsabilidade, uma relacionada a controle e à necessidade de identificar o agente responsável, e outra que examina o conhecimento do agente. Primeiramente, assume-se que, mesmo que as tecnologias de AI ganhem mais agência, humanos permanecem sendo responsáveis, pois apenas eles podem ser responsáveis: tecnologias de AI podem ter agência, mas não atendem aos critérios tradicionais de agência moral e responsabilidade moral. Contudo, há muitos desafios envolvidos na atribuição e distribuição de responsabilidade, não apenas devido ao problema das “muitas mãos”, mas também devido ao que denomino de “muitas coisas”. É importante considerar também a dimensão temporal quando se pensa em causas. Atenção especial é dada, então, a problemas sobre o conhecimento relativo a algumas aplicações de machine learning que têm implicações para a questão da responsabilidade. Usualmente, esses problemas são discutidos em termos de transparência e explicabilidade. Porém, em contraste com muitas das discussões na literatura e em contextos públicos, ressalta-se que o problema do endereçado não deveria ser negligenciado quando se considera a explicabilidade: aqueles a quem os agentes morais são responsáveis. Visto de uma perspectiva mais relacional, há não apenas agentes morais, mas também pacientes morais na relação de responsabilidade. Argumenta-se que a demanda por explicabilidade não se justifica apenas pela condição de conhecimento (saber o que você está fazendo como um agente de responsabilidade), mas deveria basear-se no requisito moral de oferecer razões para uma decisão ou ação àqueles a quem você responde , para os pacientes da responsabilidade. Por fim, outros sentidos do termo “relacional” são explorados: responsabilidade coletiva e o aspecto social de se dar explicações.

Creio que compreender o processo de produção de tecnologias de AI é fundamental para desfazermos o “nó” que parece caracterizar muitas das discussões “não técnicas” dessas tecnologias. Essa compreensão está representada no texto, em particular, nas ideias das “muitas mãos” e “muitas coisas”: os muitos atores, humanos e não-humanos, bem como suas relações, todos mobilizados nessa produção. Nessa perspectiva, a questão da atribuição de responsabilidade se revela ainda mais complexa, mas é a questão da explicabilidade, em si, que permanece como um dos pontos problemáticos para mim. No trecho a seguir, o autor explica o problema (para mim, em parte):

(…) a maior parte dos comentaristas sobre AI concorda que há um problema particular com as ditas “caixas-pretas” constituídas por sistemas baseados em machine learning e redes neurais. Ao passo que, no caso da AI clássica, simbólica, a forma pela qual a tecnologia chega a uma decisão é clara, por meio, por exemplo, de uma árvore de decisão que tenha sido programada no software por especialistas de um domínio [específico do conhecimento], no caso de aplicações de machine learning, não fica claro como, exatamente, o sistema de AI chega a uma decisão ou recomendação. Trata-se de um processo estatístico, e aqueles que o criaram sabem como funciona de modo geral, mas mesmo os desenvolvedores – que dirá os usuários e aqueles afetados pelo algoritmo (…) – não sabem como o sistema chega a uma decisão específica relevante a uma pessoa específica. Eles não podem explicar ou tornar transparente o processo decisório em todos os seus passos.

Mais adiante, Coecklebergh cita estudos que buscam desenvolver técnicas para “abrir a caixa-preta” – essa é uma metáfora problemática que precisa ser examinada mais cuidadosamente (eu sempre desconfiei, desde os tempos de estudante de engenharia, de caixas-pretas – pensava sempre em caixas de Pandora…), juntamente com várias outras metáforas (e metonímias) encontradas nos discursos sobre AI. Pois a questão aqui é como conceber essa “explicabilidade”, uma vez que explicações e razões são contingentes ao público ao qual se destinam. Essa me parece ser a outra parte do problema da explicabilidade.

O artigo, no geral, se soma a outras leituras sobre o assunto que me deixam com a impressão de que o “projeto AI” atualmente em curso é uma péssima ideia. Escrevo isso sem querer implicar que haja qualquer tom profético no texto (ou seja, não identifico esse tipo de sentimento ali); tampouco há qualquer relação do argumento com a futurologia (ou seja, não há especulação em torno de uma possível tomada do mundo pela máquina ou outras ideias afins). Há uma argumentação lógica cujas premissas são explicitadas (inclusive o autor menciona que há limites em partir da perspectiva aristotélica de responsabilidade), e que sugere que as demandas para o desenvolvimento e uso responsáveis de AI são variadas.

Postas em contexto político e econômico (aqui já saímos do escopo do texto), essas demandas mostram-se ainda mais complexas. Reconhecendo o caráter ideológico da tecnologia, bem como daquilo que se diz sobre ela, me parece que a questão da explicabilidade não é apenas “técnica” no sentido de criarem-se descrições do comportamento de diferentes redes neurais a partir de diferentes modelos estatísticos, que permitam esclarecer as formas nas quais as representações destacadas da realidade são processadas por esses sistemas. As descrições precisam ser inteligíveis (se não aceitáveis, legítimas) para uma gama variada de “pacientes”, para usar o termo do autor.

Na palestra, Mark seguiu um caminho ligeiramente diferente do argumento do artigo, e, em seus comentários finais, disse algo me encantou: a necessidade premente (também por questões ecológicas) de pensarmos lógicas diferentes daquela centrada na ideia do “domínio”: da natureza, de outros seres, da própria técnica. Os usos de linguagem que remetem a essa ideia (em inglês, há o bendito harness e master) me incomodam muito e sempre me fazem pensar sobre a atualidade de Frankenstein (obra que ele explora neste lindíssimo texto). De todo modo, no fechamento, Mark mencionou o possível papel da Arte na “desconstrução” dessa lógica (ele não usou esse termo, daí as scare quotes). Gostaria que ele tivesse falado mais sobre isso, mas não era o cerne da palestra.

Fiquei animada para pensar um novo projeto (relacionado a este), mas estava afogada em ruído antes de John Cage me resgatar ontem…

Bem, para fechar (e parar de divagar…): por questões técnicas, a palestra foi gravada em parte, então o material está na fila de edição. Quando for disponibilizado, adicionarei o link em um edit aqui.

Metáforas: o criador nos ossos da criatura?

O que tricotar nos diz sobre a aprendizagem móvel?
https://cogdog.github.io/edtechaphors/

Segundo George Lakoff e Mark Johnson em Metáforas da Vida Cotidiana, metáforas são mapeamentos que conectam um domínio fonte a um domínio alvo: por exemplo, uma metáfora conhecida na área da Educação é a da “educação bancária”, que associa o processo de ensinar (domínio alvo) ao ato de fazer um depósito bancário (domínio fonte). Meu projeto de pesquisa atual utiliza essa noção como um de seus eixos teóricos fundantes, pois, nessa concepção, metáforas têm múltiplas implicações (epistemológicas, ontológicas e políticas), ou seja, não são meros ornamentos.

Em nosso (grupo de autores – não é o detestável “nós da majestade”) artigo Metaphors we’re colonised by? The case of data-driven technologies in Brazil (clique aqui para baixar uma e-print gratuita – ainda há – ou aqui para baixar um pre-print), discutimos algumas metáforas da EdTech (Big Data, especificamente), concluindo o texto com a ideia de que, se Borges estiver certo em sua sugestão que a história universal seria a história de diferentes formas tomadas por algumas metáforas, precisamos resgatar ou criar outras metáforas, distintas das que identificamos em associação à temática do estudo.

Eis que, coincidentemente, Martin Weller, meu colega de tempos da Open University, criou e instalou recentemente em seu blog um gerador de metáforas para a EdTech! A princípio, pensei que se tratava de uma iniciativa de crowdsourcing (que daria um belíssimo projeto), mas não: é o app que sugere aleatoriamente mapeamentos entre um domínio fonte e um domínio alvo. Uma segunda versão do app está aqui e comentada aqui.

Como o código do app é curto e simples, é bem fácil ver com clareza como as escolhas do programador estão embutidas no algoritmo – essa não é uma ideia fácil de discutir com pessoas que nunca tiveram qualquer experiência de programação, e um exemplo “tangível” ajuda. O fragmento de print de tela abaixo mostra o trecho onde o programa define as opções: como domínios alvo, rótulos da EdTech (learning analytics, VLE, blockchain, etc.); como domínios fonte, ideias, coisas e atividades (preparar um bolo, uma planta, correr uma maratona, etc.).

Código completo aqui

As opções de domínio fonte, especificamente, sugerem interesses do programador (ao menos, estão em seu radar) – poderiam ser outras inteiramente diferentes (talvez eu usasse categorias relacionas a música, lugares, enfim, coisas que me interessam). As opções do domínio alvo, as categorias da EdTech, também poderiam ser outras – minimamente, a lista poderia ser ampliada.

Nesse caso, não fica bem visível o criador nos ossos da criatura?

Existem muitas outras metáforas no universo da computação – a começar pelas ideias de “área de trabalho”, “pastas”, “arquivos”, só para mencionar as mais comuns e já inteiramente naturalizadas. É sempre interessante desnaturalizá-las e, nesse sentido, a brincadeira de Martin, ao conectar domínios tão distintos, permite destacar sua natureza arbitrária e nada universal: metáforas revelam especificidades de um contexto enquanto tendem a se disseminar e enquadrar nossas formas de perceber e pensar em outros.