Percepção de risco, responsabilidade civil e tecnologias emergentes

A inteligência artificial, a Internet das coisas e as tecnologias robóticas trazem grandes promessas de melhorar nossas vidas por meio de produtos mais seguros e novas tecnologias médicas. Carros sem motorista reduzem acidentes causados ​​por erros humanos. Cirurgias assistidas por robô requerem incisões mínimas e permitem recuperações mais rápidas. Produtos inteligentes conectados à Internet permitem que os produtores comuniquem riscos à segurança aos usuários e, possivelmente, consertem os problemas em tempo real. Ao mesmo tempo, essas novas tecnologias também podem impor novos riscos de danos: a conectividade pode tornar os sistemas vulneráveis ​​a ataques cibernéticos, a autoaprendizagem e a natureza opaca dos algoritmos de aprendizado de máquina podem tornar os problemas difíceis de prever ou diagnosticar e a complexidade de a integração do sistema e a cadeia de valor podem tornar o funcionamento de um produto mais dependente do de outros. Nesse contexto, legisladores de vários países estão se debatendo sobre se e em que medida o atual arcabouço jurídico sobre segurança e responsabilidade pode proteger adequadamente os consumidores.

Em fevereiro de 2020, a Comissão Europeia divulgou seu Relatório sobre as implicações de segurança e responsabilidade da Inteligência Artificial, Internet das Coisas e Robótica, que fornece uma discussão abrangente dessas questões. A mensagem abrangente do relatório é que as estruturas existentes sobre segurança e responsabilidade podem lidar com muitos aspectos dessas tecnologias emergentes, mas há lacunas importantes que os formuladores de políticas precisam abordar para garantir a proteção do consumidor e encorajar a inovação tecnológica.

Neste artigo, discutimos várias lições com base em nossa própria pesquisa e a de outros sobre as relações entre percepção de risco, responsabilidade civil e inovação. Sem a intenção de ser exaustivo, mergulhamos profundamente em dois cenários históricos envolvendo scanners de tomografia computadorizada (TC) e implantes médicos. Essas configurações capturam alguns dos principais recursos de muitas novas tecnologias durante seus estágios iniciais de desenvolvimento e comercialização. Em primeiro lugar, muitos fatores de risco - relacionados às maneiras pelas quais os humanos interagem com as máquinas, as maneiras como os diferentes componentes e produtos interagem entre si e as maneiras pelas quais os consumidores são prejudicados - podem ser difíceis de prever ex-ante. Em segundo lugar, uma infinidade de participantes está envolvida na cadeia de abastecimento e distribuição, muitos dos quais fornecem entradas e serviços de uso geral (por exemplo, provedores de dados, sensores e conectividade). Terceiro, muitos produtores de produtos finais são pequenos inovadores que podem não ser capazes de sustentar os custos de responsabilidade de danos inesperados (e não segurados).



Um desafio fundamental para muitas tecnologias novas é que muitos riscos são difíceis de prever. É, portanto, importante que os formuladores de políticas mantenham e aproveitem os incentivos de vários tipos de participantes, incluindo mídia, especialistas e empresas, para produzir e disseminar novas informações sobre risco. As respostas inovadoras dos produtores de scanners de TC aos extensos relatórios de risco de radiação médica mostram que, quando os riscos de segurança são claros para os consumidores, as forças de mercado tendem a incentivar as empresas a aumentar a segurança.

Sistemas e procedimentos precisam estar em vigor para monitorar, relatar, documentar e avaliar novos riscos que não são previstos pelos fabricantes e pelas autoridades reguladoras em sua avaliação de risco inicial. Para inteligência artificial e tecnologias robóticas, por exemplo, isso inclui os impactos na segurança de novas maneiras como os humanos usam ou fazem mau uso dessas novas tecnologias, novas maneiras como as máquinas interagem umas com as outras e novas funcionalidades ou comportamento de produtos autônomos e algoritmos de autoaprendizagem. Os sistemas existentes de vigilância pós-mercado e relatórios para muitas tecnologias mais tradicionais, como dispositivos médicos, medicamentos, transporte ferroviário e aéreo, fornecem exemplos úteis. Os fabricantes e operadores são obrigados a relatar as falhas do produto, efeitos adversos e acidentes a um depositário centralizado na agência relevante.

A mídia desempenha um papel crucial na divulgação de informações sobre riscos à saúde para o público em geral, influenciando assim a demanda por segurança. Por exemplo, a atenção do Congresso e do público ao risco de radiação médica que examinamos em nosso estudo começou com uma série de relatórios investigativos eficazes por O jornal New York Times . Os preconceitos pró-corporativos ou anticorporativos e a tendência de sensacionalizar podem ter consequências importantes na percepção de risco do consumidor. A literatura econômica sobre o preconceito da mídia sugere que a política de concorrência e as regulamentações destinadas a promover a pluralidade e a independência da mídia são importantes para reduzir muitos desses preconceitos e manter a precisão e objetividade dos relatórios.14Além disso, os algoritmos de mídia social que perpetuam as câmaras de eco também podem levar a percepções mais extremas de riscos. Algoritmos transparentes e designs de plataforma que incentivam a interação entre diversos usuários podem ser benéficos a esse respeito.quinze

Os reguladores podem complementar o estabelecimento de padrões do setor fornecendo orientações claras, tornando os usuários de tecnologia mais informados e demonstrando uma ameaça clara de intervenção formal se o setor não fizer o suficiente. No caso do tomógrafo, embora o FDA tenha optado por deixar a indústria tomar a iniciativa de revisar os padrões de segurança, a agência também forneceu i) um conjunto claro de melhorias sugeridas para a associação da indústria de fabricantes de equipamentos e ii) recomendações para associações profissionais médicas que regem as instalações de imagem, radiologistas e tecnologistas radiológicos sobre a melhor forma de prevenir casos adicionais de exposição excessiva à radiação. Este último tornou os usuários de tecnologias (os profissionais médicos) mais informados sobre o risco da radiação e suas próprias responsabilidades, incentivando ainda mais os produtores a aumentar a segurança, aumentando a demanda por segurança.

Os formuladores de políticas também devem considerar a melhor forma de utilizar os aprendizados do uso e acidente de produtos já colocados no mercado para ajudar a avaliar o risco de tecnologias futuras antes de eles estão autorizados a entrar no mercado. Isso pode ser alcançado incumbindo as agências relevantes ou organizações de definição de padrões para codificar esses aprendizados de maneiras que podem ser generalizáveis ​​para tecnologias semelhantes e relacionadas. Conforme discutido acima, parece eficaz se tal aprendizado puder ser claramente codificado e comunicado ao mercado, incluindo os consumidores, os operadores dessas tecnologias (como médicos e outros prestadores de serviços de saúde para dispositivos médicos), os tribunais e a mídia. Manter essas partes mais informadas pode aumentar os incentivos das empresas para alavancar a demanda do mercado por segurança.

Além de produzir e divulgar informações sobre riscos, os regulamentos de segurança e os sistemas de responsabilidade civil também têm a tarefa de incentivar a segurança quando as forças do mercado não são suficientes. A literatura tem mostrado que as reformas de responsabilidade civil e outras mudanças nos sistemas de responsabilidade têm efeitos que vão além de seu impacto de curto prazo na segurança do consumidor, ao afetar a disponibilidade e a lucratividade de produtos já existentes no mercado. Eles também têm efeitos de longo prazo sobre a taxa e a direção das mudanças tecnológicas. O reconhecimento desses efeitos dinâmicos é crucial para avaliar os custos e benefícios das reformas de políticas. Embora nossa pesquisa e de outros sugiram que o sistema de responsabilidade civil atual, geralmente, parece atingir o objetivo da política de incentivar as empresas a aumentar a segurança, os formuladores de políticas precisam prestar atenção às condições em que o efeito inibidor sobre a inovação potencialmente supera os ganhos sociais de maior segurança e ajustar as estruturas legais existentes com políticas direcionadas.

A escassez de material experimentada pela indústria de implantes médicos na década de 1990 sugere que fornecedores grandes e cheios de recursos de insumos de uso geral podem restringir seu fornecimento a aplicações em que o risco de responsabilidade e a incerteza são os mais elevados. Embora fornecedores menores possam intervir, os custos podem ser maiores (devido à falta de escala ou escopo) e o controle de qualidade pode ser inconsistente. No caso da inteligência artificial, da Internet das Coisas e das tecnologias robóticas, dada a importância das economias de escala e escopo, muitos provedores de dados e software provavelmente serão provedores de tecnologia e dados de uso geral. Quando suas preocupações com o risco de responsabilidade os tornam relutantes em fornecer aplicativos arriscados, mas econômica e socialmente críticos, políticas voltadas para a redução dessa incerteza podem ser cruciais para sustentar o desenvolvimento de novas tecnologias.

No caso dos implantes médicos discutidos acima, para restaurar o incentivo de fornecimento dos produtores de matéria-prima, o Congresso dos EUA aprovou a Lei de Garantia de Acesso a Biomateriais (BAAA) em agosto de 1998. A Lei fornece isenção de responsabilidade para os fornecedores de componentes a granel e matérias-primas para implantes permanentes, contanto que não participem do projeto, teste e produção dos implantes e os insumos em si não sejam perigosos ou defeituosos. É importante observar que o BAAA é baseado nos mesmos princípios subjacentes às proteções da lei comum para fornecedores de componentes e materiais. Embora essas disposições de direito consuetudinário estivessem em vigor durante todo o nosso período de amostra, uma política de nível federal pode efetivamente reduzir a incerteza e as despesas associadas ao processo de litígio - por exemplo, demandantes de fornecedores materiais podem invocar a Lei para solicitar demissão antecipada do tribunal, bem como as complicações que podem surgir de diferentes leis estaduais.16Nossa análise mostra que a inovação em implantes médicos se recuperou alguns anos após a promulgação do BAAA. Isso é consistente com a ideia de que políticas federais direcionadas que reduzam a incerteza e os custos de litígios ajudam a restaurar os incentivos ao fornecimento, que, por sua vez, restauram a inovação downstream.

Tais políticas de isenção de responsabilidade devem ser usadas apenas de forma direcionada, pois a desvantagem é que os fornecedores não teriam incentivos para ajustar suas políticas de fornecimento - por exemplo, aumentando os custos de insumos ou restringindo a triagem do cliente - para reduzir o número de produtos prejudiciais no mercado. Conforme discutido na seção anterior, seria uma política preferível responsabilizar os fornecedores pelo déficit nos custos de responsabilidade não cobertos pelos produtores insolventes, quando os fornecedores podem efetivamente repassar esses custos aos produtores ou filtrar os que não são seguros, sem incorrer em muitas perdas para produtores que podem parecer arriscados, mas não são realmente problemáticos.

Embora nosso estudo se concentre na compensação de responsabilizar os fornecedores por produtos inseguros, a questão de responsabilizar os não produtores quando os produtores estão insolventes é bastante geral e também se aplica a outros participantes críticos na cadeia de valor. Por exemplo, grandes plataformas, integradores de sistema e provedores de conectividade também fornecem insumos e serviços essenciais e potencialmente genéricos que facilitam as interações entre os produtores dessas tecnologias emergentes e os consumidores.17Embora a cadeia de valor e a integração do sistema dessas tecnologias emergentes possam gerar novos cenários, princípios orientadores semelhantes e as compensações associadas, conforme discutido acima, também devem ser aplicados.

Para novas tecnologias, como inteligência artificial, a Internet das coisas e tecnologias robóticas, muitos dos riscos subjacentes são difíceis de prever ex-ante, mas se tornarão mais claros com a expansão do uso. A pesquisa levantada neste artigo destaca que, quando os riscos são claros para os usuários, a demanda do mercado por segurança pode impulsionar o desenvolvimento de tecnologias de mitigação de risco. As políticas públicas que podem complementar essas forças de mercado incluem sistemas e infraestruturas que coletam e validam dados sobre riscos à saúde e segurança antes e depois da entrada no mercado, comunicam informações de risco ao público em geral e promovem o acesso a dados para agências governamentais, instituições de pesquisa e empresas . Os papéis importantes de fornecedores de insumos e serviços de uso geral, plataformas e integradores de sistemas para esses produtos também levantam a questão de se esses atores devem ser responsabilizados por produtos não seguros que não são produzidos por eles. Nossa pesquisa documentou como, em algumas circunstâncias, a incerteza de responsabilidade pode torná-los relutantes em fornecer ou integrar produtos arriscados, mas econômica e socialmente críticos. Isso sugere que as políticas destinadas a mitigar essa incerteza podem ser críticas para preservar os incentivos à inovação.