Algorithmic Fragility: How Organizations Stabilize Unstable Machines

À medida que os sistemas de IA se incorporam aos processos organizacionais, são amplamente celebrados por sua precisão e objetividade. No entanto, as implementações no mundo real frequentemente revelam uma realidade diferente: os sistemas algorítmicos produzem resultados tendenciosos, exibem desvios de desempenho e geram decisões socialmente desalinhadas, expondo sua instabilidade inerente. Este artigo introduz o conceito de fragilidade algorítmica para capturar essa instabilidade persistente como uma condição estrutural, e não um defeito técnico temporário, resultante da interação entre as propriedades de aprendizado de máquina e os ambientes socialmente complexos nos quais esses sistemas operam. Para explicar como as organizações lidam com isso, avançamos o conceito de trabalho de estabilização: o trabalho sociomaterial distribuído através do qual os atores absorvem, reinterpretam e gerenciam as falhas algorítmicas para sustentar a aparência de confiabilidade. Identificamos três práticas em nível micro — tamponamento, recontextualização e correção — e mostramos como essas se institucionalizam em rotinas em nível meso e legitimidade em nível macro. O quadro conceitualiza a fragilidade algorítmica como constitutiva em vez de excepcional, avança o trabalho de estabilização como uma forma de trabalho organizacional invisível, e reformula a governança da IA como uma realização contínua e baseada em práticas, em vez de um controle técnico ex-ante.

Artigo publicado em inglês.

Citação recomendada: Queiroz, M. M., & Domingues, I. (In press). Algorithmic Fragility: How Organizations Stabilize Unstable Machines. Communications of the Association for Information Systems, 59, pp-pp. Retrieved from https://aisel.aisnet.org/cais/vol59/iss1/9