Algoritmos e sentenças: o que o devido processo requer?

Existem benefícios potenciais significativos no uso de avaliações de risco baseadas em dados em sentenças criminais. Por exemplo, as avaliações de risco foram corretamente endossadas como um mecanismo para permitir que os tribunais reduzam ou renunciem às sentenças de prisão para infratores que provavelmente não reincidirão. Vários estados promulgaram recentemente leis que exigem o uso de instrumentos de avaliação de risco. E em 2017, o American Law Institute , uma organização altamente respeitada que trabalhou por muitas décadas para esclarecer, modernizar e melhorar a lei, aprovado uma proposta de minuta final do Código Penal Modelo: Penas. O documento reconhece especificamente o valor da condenação baseada em evidências com base em instrumentos atuariais que estimam os riscos relativos que os infratores individuais representam para a segurança pública por meio de sua futura conduta criminal.

No entanto, junto com os benefícios, o uso crescente de ferramentas de avaliação de risco baseadas em algoritmos está levantando questões importantes sobre o devido processo. O devido processo legal é um direito constitucional fundamental fornecido por meio da Quinta e da Décima Quarta Emendas, ambas as quais protegem as pessoas de serem privadas da vida, liberdade ou propriedade, sem o devido processo legal. Uma subcategoria chave do devido processo é o devido processo processual, que visa garantir a justiça em procedimentos legais que colocam a vida, a liberdade ou a propriedade em risco.

Quando ferramentas de avaliação de risco baseadas em algoritmos são usadas em processos criminais, questões de devido processo podem surgir com relação aos direitos dos infratores de questionar a precisão e relevância das informações usadas na sentença. Destacamos dois desses desafios. O primeiro está relacionado ao direito do infrator à informação sobre o algoritmo usado para calcular as pontuações de risco, e o segundo está relacionado ao direito do infrator de saber quais são essas pontuações.



Preocupações com avaliações de risco proprietárias

Em maio de 2013, Eric Loomis se confessou culpado no Tribunal de Circuito do Condado de La Crosse, Wisconsin, das acusações de tentativa de fuga de um oficial de trânsito e operação de veículo motorizado sem o consentimento do proprietário. Antes da audiência de condenação de Loomis em agosto de 2013, os dados sobre ele foram inseridos em uma ferramenta de avaliação de risco conhecida como COMPAS (Perfil de Gestão de Delinquente Correcional para Sanções Alternativas). Embora o algoritmo COMPAS usado para produzir pontuações de risco seja proprietário, a saída não é. O relatório COMPAS de Loomis indicou um alto risco de reincidência.

Na audiência de agosto de 2013, Loomis foi condenado a uma pena de prisão de vários anos. Fazendo referência ao COMPAS em sua decisão, o juiz disse:

Você foi identificado, por meio da avaliação COMPAS, como um indivíduo de alto risco para a comunidade. Em termos de pesar os vários fatores, estou descartando liberdade condicional por causa da gravidade do crime e porque seu histórico, seu histórico de supervisão e as ferramentas de avaliação de risco que foram utilizadas sugerem que você tem um risco extremamente alto de re-ofender.

Depois de buscar, sem sucesso, alívio pós-condenação no tribunal do condado, Loomis apelou para a Suprema Corte de Wisconsin, argumentando que confiar no COMPAS é uma violação de seus direitos ao devido processo porque a natureza proprietária do COMPAS impede que um réu questione a validade científica da avaliação .

Em 2016, a Suprema Corte de Wisconsin decidiu contra Loomis, encontrando que se usado corretamente com a consciência das limitações e cuidados. . . a consideração de uma avaliação de risco COMPAS na sentença não viola o direito do réu ao devido processo. E, escreveu o tribunal, embora o juiz na audiência de sentença tenha mencionado a avaliação de risco COMPAS, não foi determinante para decidir se Loomis deveria ser encarcerado, a severidade da sentença ou se ele poderia ser supervisionado com segurança e eficácia na comunidade . Loomis então apelou para a Suprema Corte dos EUA, que em junho de 2017 se recusou a ouvir seu caso.

Quando um algoritmo proprietário é usado para produzir uma avaliação de risco, a questão do devido processo não deve ser se a avaliação de risco foi - para usar o termo na decisão da Suprema Corte de Wisconsin - determinante, mas se e como foi usada. Para Loomis, o resultado do COMPAS foi supostamente usado apenas para reforçar a avaliação dos outros fatores considerados. A Suprema Corte de Wisconsin declarou que o tribunal de condenação teria imposto exatamente a mesma sentença sem ela. Consequentemente, determinamos que a consideração do tribunal de circuito do COMPAS neste caso não violou os direitos do devido processo de Loomis.

Essa lógica leva a um paradoxo preocupante. Por um lado, se o uso de uma ferramenta proprietária de avaliação de risco na sentença é apropriada apenas quando a mesma decisão de sentença seria alcançada sem ela, isso sugere que a avaliação de risco não desempenha absolutamente nenhum papel nas decisões de liberdade condicional ou sentença. Se for esse o caso, então por que usá-lo? Se, por outro lado, pode ter um impacto potencial - apesar da afirmação do tribunal de Wisconsin em contrário - então a questão do devido processo não pode ser deixada de lado.

O direito dos infratores de saberem suas pontuações de risco

Outra questão importante do devido processo diz respeito às informações que os infratores recebem - ou não - sobre suas pontuações de risco. Em um recente caso no Kansas, John Walls não contestou uma acusação de ameaça criminal. Ele foi então avaliado usando a ferramenta de avaliação de risco LSI-R (Level of Service Inventory-Revised). Quando ele pediu para ver os resultados, ele só teve acesso a uma página de rosto resumindo suas pontuações gerais; seu pedido para ver as perguntas e respostas específicas e as pontuações associadas a essas perguntas foi negado.

Depois de ser condenado por um tribunal distrital a uma forma altamente supervisionada de liberdade condicional geralmente usada para infratores de risco moderado ou alto, ele contestou sua sentença perante o Tribunal de Apelações do Kansas, argumentando que a recusa em divulgar os detalhes de seu LSI-R avaliação violou seu direito ao devido processo. O tribunal de apelações decidiu a favor de Walls, observando que negar a Walls o acesso a sua avaliação LSI-R completa tornou impossível para ele contestar a exatidão das informações usadas na determinação das condições de sua liberdade condicional. A sentença original foi anulada e o caso foi reenviado para nova sentença.

Problemas de política

O Departamento de Justiça dos EUA reconhecido que o uso de avaliações de risco atuariais por um tribunal de condenação levanta novas questões constitucionais. E as questões não são apenas constitucionais - há também questões substanciais de política e tecnologia. Como os dois exemplos acima ilustram, a falta de transparência pode surgir em relação a como as pontuações de risco são calculadas e se um infrator é capaz de acessá-las. Um fator complicador adicional são os direitos de segredo comercial, que as empresas que fazem ferramentas proprietárias de avaliação de risco invocarão ao argumentar que os detalhes de seus algoritmos não podem ser divulgados.

As perguntas que surgirão com frequência cada vez maior nos próximos anos incluem: Que nível de detalhe sobre um algoritmo de avaliação de risco e seus resultados o infrator tem direito de acesso? São necessárias novas leis para facilitar esse acesso? Como os direitos de segredo comercial de empresas que fazem ferramentas de avaliação de risco devem ser tratados? E no futuro, conforme as avaliações de risco baseadas em inteligência artificial se tornem comuns, como a natureza dinâmica dos algoritmos de IA complicará ainda mais essas questões?

Como acontece com tantos problemas na interseção de lei, política e tecnologia, não há respostas fáceis. Mas uma suposição básica no diálogo precisará ser que o direito ao devido processo não pode ser um dano colateral à adoção de tecnologias algorítmicas de avaliação de risco cada vez mais sofisticadas.