Compreender os instrumentos de avaliação de risco na justiça criminal

Ferramentas de algoritmo são amplamente utilizadas em todo o sistema de justiça criminal hoje. Algoritmos de policiamento preditivo, incluindo PredPol e HunchLab, informam a implantação da polícia com estimativas de onde o crime é mais provável de ocorrer.1Patternizr é uma ferramenta de reconhecimento de padrões do Departamento de Polícia de Nova York que ajuda os detetives a descobrirem crimes relacionados automaticamente.doisOs departamentos de polícia também usam software de reconhecimento facial para identificar possíveis suspeitos em imagens de vídeo.3Os procuradores distritais em Chicago e Nova York alavancaram modelos preditivos para concentrar os esforços da promotoria em indivíduos de alto risco.4Em San Francisco, o promotor público usa um algoritmo que obscurece as informações raciais dos materiais do caso para reduzir o preconceito nas decisões de cobrança.5 6

o projeto de lei de infraestrutura foi aprovado

Instrumentos de avaliação de risco

Uma classe de ferramentas algorítmicas, chamadas instrumentos de avaliação de risco (RAIs), são projetadas para prever o risco futuro de um réu por má conduta. Essas previsões informam decisões judiciais de alto risco, como a decisão de encarcerar um indivíduo antes de seu julgamento. Por exemplo, um RAI chamado Avaliação de Segurança Pública (PSA) considera a idade de um indivíduo e o histórico de má conduta, junto com outros fatores, para produzir três pontuações de risco diferentes: o risco de serem condenados por qualquer novo crime, o risco de que eles serão condenados por um novo crime violento, e sob o risco de não comparecerem em tribunal.7Uma estrutura de tomada de decisão traduz essas pontuações de risco em recomendações de condição de liberação, com pontuações de risco mais altas correspondendo a condições de liberação mais rígidas. Os juízes podem desconsiderar essas recomendações se elas parecerem muito rígidas ou relaxadas. Outros RAIs influenciam uma ampla variedade de decisões judiciais, incluindo decisões de condenação e requisitos de liberdade condicional e liberdade condicional.

Os RAIs algorítmicos têm o potencial de trazer consistência, precisão e transparência às decisões judiciais. Por exemplo, Jung et al. simularam o uso de um RAI simples do tipo checklist, que considerava apenas a idade do réu e o número de faltas anteriores para comparecimento.8Os autores observaram que os juízes em uma jurisdição não divulgada tinham taxas de liberação amplamente variáveis ​​(de aproximadamente 50% a quase 90% dos indivíduos liberados). Os autores descobriram que se os juízes tivessem usado seu modelo de lista de verificação proposto para determinar a liberação pré-julgamento, as decisões teriam sido mais consistentes entre os casos e teriam detido 30% menos réus em geral, sem um aumento correspondente na má conduta pré-julgamento. Outros estudos encontraram evidências adicionais de que os modelos estatísticos superam consistentemente as decisões humanas sem ajuda.9Em contraste com a opacidade da tomada de decisão humana tradicional, a natureza transparente de um modelo do tipo lista de verificação, como o proposto por Jung et al., Também permitiria aos tribunais descrever abertamente como calculam o risco.10Esses benefícios - junto com a crença geral de que decisões importantes devem ser baseadas em dados - obrigaram muitas jurisdições em todo o país a implementar RAIs.



O COMPASS RAI

Paralelamente à sua expansão pelo país, os RAIs também se tornaram cada vez mais controversos. Os críticos se concentraram em quatro preocupações principais com os RAIs: sua falta de individualização, ausência de transparência sob alegações de segredos comerciais, possibilidade de parcialidade e questões sobre seu verdadeiro impacto.onzeUm caso de 2016 da Suprema Corte de Wisconsin, Loomis v. Wisconsin , lutou com muitos desses problemas. O peticionário, Eric Loomis, apresentou vários argumentos contra o uso de um RAI denominado Perfil de Gestão de Criminosos Correcional para Sanções Alternativas (COMPAS) em sua decisão de condenação.12

Primeiro, Loomis argumentou que sua sentença não foi individualizada. Em vez disso, ele alegou que foi informado por tendências históricas do grupo para má conduta, conforme avaliado pelo COMPAS. O tribunal discordou, argumentando que a decisão do juiz não foi determinada exclusivamente pelo COMPAS, evitando as preocupações de individualização de Loomis. Embora o tribunal tenha feito essa distinção, é importante notar que tanto os humanos quanto os algoritmos aprendem com o comportamento histórico. Uma previsão de risco para um determinado indivíduo - seja de um juiz ou de um RAI - é, como resultado, ancorada no comportamento histórico de indivíduos semelhantes.

Em segundo lugar, Loomis argumentou que a empresa que criou o COMPAS se recusou a divulgar detalhes suficientes sobre como o algoritmo calculava sua pontuação de risco, impedindo-o de examinar a exatidão de todas as informações apresentadas em sua sentença. Muitos RAIs podem explicar exatamente como chegam às suas decisões, uma vantagem sobre a tradicional tomada de decisão humana. No entanto, os fornecedores comerciais que vendem RAIs costumam ocultar esses detalhes por trás de alegações de segredos comerciais.13Embora o tribunal não concordasse estritamente com Loomis - argumentando que era suficiente observar as entradas e saídas do COMPAS - existem razões convincentes para transparência e interpretabilidade em tais contextos de alto risco.

Por exemplo, embora Loomis não conhecesse a estrutura completa do modelo, ele sabia que incorporava o gênero como um fator e argumentou que isso era discriminação. O tribunal discordou, enfatizando que incluir gênero no modelo ajudou a aumentar sua precisão. Isso segue o fato de que, dados históricos criminais semelhantes, as taxas de reincidência são estatisticamente mais baixas para as mulheres do que para os homens.14De qualquer forma, o conhecimento de Loomis sobre o uso do gênero pelo modelo permitiu que ele desafiasse sua inclusão, um exemplo de como a transparência nos RAIs pode ajudar as partes interessadas a entender melhor este processo de tomada de decisão de alto risco.

quais são os direitos dos cidadãos na China

Discriminação potencial e problemas de RAI

Outras acusações de discriminação foram feitas contra RAIs (e algoritmos de aprendizado de máquina em geral), observando que eles podem perpetuar e exacerbar os preconceitos existentes no sistema de justiça criminal.quinzeTalvez a afirmação mais notável tenha aparecido em um artigo da ProPublica de 2016 sobre o uso do COMPAS junto com as decisões de detenção pré-julgamento no condado de Broward, Flórida.16O artigo concluiu que o COMPAS foi tendencioso porque apresentou pior desempenho em uma medida de desempenho (taxas de falsos positivos) para indivíduos negros em comparação com indivíduos brancos. No entanto, outros pesquisadores notaram uma falha estatística substancial nas descobertas do ProPublica: eles podem ser explicados matematicamente por diferenças nas taxas de infração subjacentes para cada raça, sem exigir um modelo tendencioso.17Quando os pesquisadores aplicam uma medida tradicional de justiça do modelo - se os indivíduos com a mesma pontuação de risco reincidem na mesma taxa, independentemente da raça - as evidências de discriminação racial desaparecem.18

Mesmo assim, a falta de provas não garante que não haja discriminação, e essas alegações devem ser levadas a sério. Uma das fontes de distorção mais preocupantes pode vir dos resultados históricos que um RAI aprende a prever. Se esses resultados forem produto de práticas injustas, é possível que qualquer modelo derivado aprenda a replicá-los, em vez de prever o verdadeiro risco subjacente de má conduta. Por exemplo, embora se tenha estimado que grupos raciais consomem maconha em taxas quase iguais, os negros americanos têm sido historicamente condenados por porte de maconha em taxas mais altas.19Um modelo que aprende a prever condenações por porte de maconha a partir desses registros históricos classificaria injustamente os negros americanos como de maior risco, embora as verdadeiras taxas subjacentes de uso sejam as mesmas entre os grupos raciais. A seleção cuidadosa de resultados que refletem as verdadeiras taxas de crimes subjacentes pode evitar esse problema. Por exemplo, um modelo que prevê condenações por crimes violentos tem menos probabilidade de ser tendencioso, porque as condenações por crimes violentos parecem refletir as verdadeiras taxas subjacentes de vitimização.vinte

[A] falta de evidências não garante que não haja discriminação, e essas alegações devem ser levadas a sério.

Muitos argumentariam que um foco puro no comportamento algorítmico é muito limitado; que a questão mais importante é como os RAIs influenciam as decisões judiciais na prática, incluindo qualquer diferença nos impactos por raça. Para ilustrar esse ponto, é útil pensar em dois extremos possíveis. Podemos não estar tão preocupados com um RAI impreciso se for categoricamente ignorado pelos juízes e não afetar seu comportamento. Por outro lado, um RAI perfeitamente justo pode ser motivo de preocupação se for usado seletivamente por juízes para justificar o tratamento punitivo para comunidades de cor.

Embora muitos estudos tenham simulado o impacto dos RAIs, as pesquisas sobre seu uso no mundo real são limitadas. Um estudo de RAIs na Virgínia entre 2012–2014 sugere que a má conduta pré-julgamento e o encarceramento podem ser reduzidos ao mesmo tempo.vinte e umOutro estudo examinou a implementação de um PSA em 2014 no condado de Mecklenburg, Carolina do Norte, e descobriu que sua implementação coincidiu com taxas de liberação mais altas, enquanto as taxas de má conduta pré-julgamento permaneceram inalteradas.22Um terceiro estudo examinou a implementação de RAIs em Kentucky entre 2009-2016, encontrando evidências limitadas de que a ferramenta reduziu as taxas de encarceramento.23O estudo descobriu que o uso de um RAI por um juiz não causou um impacto desigual nos resultados entre os grupos raciais.

Recomendações

Qualquer pessoa, incluindo equipe executiva, de planejamento, gestão, análise e desenvolvimento de software, considerando o uso de algoritmos na justiça criminal - ou qualquer contexto impactante de forma mais ampla - deve prestar atenção a essas preocupações ao planejar políticas que alavancam algoritmos, especialmente aqueles que conduzem as decisões da justiça criminal.

causas da superpopulação na China

Em primeiro lugar, os formuladores de políticas devem preservar a supervisão humana e a discrição cuidadosa ao implementar algoritmos de aprendizado de máquina. No contexto dos RAIs, é sempre possível que fatores incomuns possam afetar a probabilidade de má conduta de um indivíduo. Como resultado, um juiz deve reter a capacidade de anular as recomendações de um RAI, mesmo que esta discrição possa reduzir a precisão e consistência. Uma maneira de equilibrar essas prioridades conflitantes é exigir uma explicação detalhada sempre que um juiz se desviar de uma recomendação da RAI. Isso encorajaria os juízes a motivar conscientemente sua decisão e desencorajaria desvios arbitrários das recomendações de um RAI. Em geral, o ser humano deve sempre tomar a decisão final, sendo que eventuais desvios requerem explicação e algum esforço do juiz.

[P] olicymakers devem preservar a supervisão humana e discrição cuidadosa ao implementar algoritmos de aprendizado de máquina.

Em segundo lugar, qualquer algoritmo usado em um contexto de política de alto risco, como sentenças criminais, deve ser transparente. Isso garante que qualquer parte interessada possa entender exatamente como uma determinação de risco é feita, uma vantagem distinta sobre os processos de tomada de decisão humana. Dessa forma, a transparência pode ajudar a estabelecer confiança e é um reconhecimento do papel que essas ferramentas desempenham em decisões impactantes e consequentes.

Terceiro, os algoritmos e os dados usados ​​para gerar suas previsões devem ser examinados cuidadosamente quanto ao potencial de qualquer grupo ser injustamente prejudicado pelos resultados. Juízes, promotores e cientistas de dados devem examinar criticamente cada elemento dos dados fornecidos a um algoritmo - particularmente os resultados previstos - para entender se esses dados são tendenciosos contra alguma comunidade. Além disso, as previsões do modelo devem ser testadas para garantir que os indivíduos com pontuações de risco semelhantes reincidam em taxas semelhantes. Finalmente, o uso de modelos interpretáveis ​​pode ajudar a demonstrar que as pontuações geradas por cada modelo parecem ser justas e em grande parte estão de acordo com a experiência do domínio sobre o que constitui risco.

Quarto, os cientistas de dados devem trabalhar para construir algoritmos de risco de próxima geração que prevejam reduções no risco causadas por intervenções de suporte. Por exemplo, os RAIs atuais apenas inferem o risco de má conduta se um indivíduo for libertado sem apoio. Eles não consideram a influência de intervenções de apoio - como lembretes por mensagem de texto com data de julgamento - mesmo que possam ter um efeito adulterador sobre o risco de conduta indevida de um indivíduo. Imagine um indivíduo que, segundo um RAI tradicional, tem baixa probabilidade de comparecer ao tribunal se for solto sem apoio. Com apenas essa classificação, um juiz provavelmente escolheria encarcerar o indivíduo para garantir que ele comparecesse ao tribunal. No entanto, com RAIs de próxima geração, um juiz também pode ver que os lembretes por mensagem de texto aumentam substancialmente a probabilidade da aparência do indivíduo. Com essas informações adicionais, o juiz pode optar por liberar o indivíduo e inscrevê-lo nos lembretes. Os algoritmos de risco da próxima geração que estimam o impacto das intervenções de apoio poderiam encorajar os juízes e outros tomadores de decisão a evitar os consideráveis ​​custos sociais e financeiros da ação punitiva em favor de alternativas mais humanas.

hillary está perdendo a eleição

Finalmente - e talvez o mais importante - os algoritmos devem ser avaliados à medida que são implementados. É possível que os participantes em qualquer sistema complicado reajam de maneiras inesperadas a uma nova política (por exemplo, usando seletivamente as previsões de RAI para penalizar as comunidades de cor). Dado esse risco, os formuladores de políticas devem monitorar cuidadosamente o comportamento e os resultados à medida que cada novo algoritmo é introduzido e devem continuar o monitoramento de rotina uma vez que um programa seja estabelecido para entender os efeitos de longo prazo. Em última análise, esses estudos serão essenciais para avaliar se as inovações algorítmicas geram os impactos que aspiram alcançar.

RAIs são apenas uma ferramenta algorítmica em consideração hoje. Desafios separados envolvem o uso de outros algoritmos. Mais notavelmente, as agências de justiça criminal devem explicar como planejam proteger a privacidade e a liberdade individuais no uso de reconhecimento facial, bancos de dados públicos de DNA e outras novas formas de vigilância. Mas, se usados ​​de maneira apropriada e cuidadosa, os algoritmos podem melhorar substancialmente as decisões impactantes, tornando-as mais consistentes e transparentes para qualquer parte interessada. Como acontece com qualquer nova política ou prática, esses esforços devem incluir avaliação e melhoria contínuas para garantir que sua adoção gere resultados eficazes e justos ao longo do tempo.