Como melhorar a segurança cibernética para inteligência artificial

Em janeiro de 2017, um grupo de pesquisadores de inteligência artificial se reuniu no Asilomar Conference Grounds, na Califórnia, e desenvolveu 23 princípios para inteligência artificial , que mais tarde foi apelidado de Princípios Asilomar AI. O sexto princípio afirma que os sistemas de IA devem ser seguros e protegidos ao longo de sua vida operacional e verificável quando aplicável e viável. Desde então, milhares de pessoas na academia e no setor privado aderiram a esses princípios, mas, mais de três anos após a conferência de Asilomar, muitas perguntas permanecem sobre o que significa tornar os sistemas de IA seguros e protegidos. Verificar esses recursos no contexto de um campo de rápido desenvolvimento e implantações altamente complicadas em assistência médica, comércio financeiro, transporte e tradução, entre outros, complica esse esforço.

visão republicana sobre mudança climática

Muito da discussão até o momento tem se concentrado em como os algoritmos de aprendizado de máquina podem ser benéficos para identificar e se defender contra vulnerabilidades e ameaças baseadas em computador, automatizando a detecção e a resposta às tentativas de ataques.1Por outro lado, surgiram preocupações de que o uso de IA para fins ofensivos pode tornar os ataques cibernéticos cada vez mais difíceis de bloquear ou se defender, permitindo a adaptação rápida de malware para se ajustar às restrições impostas por contramedidas e controles de segurança.doisEsses também são os contextos em que muitos formuladores de políticas pensam com mais frequência sobre os impactos da IA ​​na segurança. Por exemplo, um relatório de 2020 sobre Inteligência Artificial e Segurança Nacional do Reino Unido encomendado pela Sede de Comunicações do Governo do Reino Unido destacou a necessidade de o Reino Unido incorporar IA em suas defesas cibernéticas para detectar e mitigar proativamente ameaças que exigem uma velocidade de resposta muito maior do que a tomada de decisão humana permite.3

Um conjunto de questões relacionadas, mas distintas, lida com a questão de como os próprios sistemas de IA podem ser protegidos, não apenas sobre como podem ser usados ​​para aumentar a segurança de nossos dados e redes de computadores. O impulso para implementar soluções de segurança de IA para responder às ameaças em rápida evolução torna a necessidade de proteger a própria IA ainda mais premente; se dependermos de algoritmos de aprendizado de máquina para detectar e responder a ataques cibernéticos, é ainda mais importante que esses algoritmos sejam protegidos contra interferência, comprometimento ou uso indevido. O aumento da dependência da IA ​​para funções e serviços críticos não só criará maiores incentivos para que os invasores atinjam esses algoritmos, mas também o potencial de cada ataque bem-sucedido ter consequências mais graves.



O aumento da dependência da IA ​​para funções e serviços críticos não só criará maiores incentivos para que os invasores atinjam esses algoritmos, mas também o potencial de cada ataque bem-sucedido ter consequências mais graves.

Este resumo de política explora os principais problemas na tentativa de melhorar a segurança cibernética e a segurança da inteligência artificial, bem como as funções dos formuladores de políticas para ajudar a enfrentar esses desafios. O Congresso já indicou seu interesse na legislação de segurança cibernética voltada para certos tipos de tecnologia, incluindo a Internet das Coisas e sistemas de votação. À medida que a IA se torna uma tecnologia mais importante e amplamente usada em muitos setores, os formuladores de políticas acharão cada vez mais necessário considerar a interseção da segurança cibernética com a IA. Neste artigo, descrevo alguns dos problemas que surgem nesta área, incluindo o comprometimento dos sistemas de tomada de decisões de IA para fins maliciosos, o potencial de adversários acessarem dados ou modelos de treinamento de IA confidenciais e propostas de políticas destinadas a abordar essas preocupações .

Protegendo sistemas de tomada de decisão de IA

Um dos principais riscos de segurança para os sistemas de IA é o potencial de os adversários comprometerem a integridade de seus processos de tomada de decisão, de forma que não façam escolhas da maneira que seus projetistas esperariam ou desejariam. Uma maneira de conseguir isso seria os adversários assumirem diretamente o controle de um sistema de IA para que possam decidir quais saídas o sistema gera e quais decisões ele toma. Como alternativa, um invasor pode tentar influenciar essas decisões de forma mais sutil e indireta, fornecendo entradas maliciosas ou dados de treinamento para um modelo de IA.4

Por exemplo, um adversário que deseja comprometer um veículo autônomo para que tenha mais probabilidade de se envolver em um acidente pode explorar vulnerabilidades no software do carro para tomar as próprias decisões de direção. No entanto, acessar e explorar remotamente o software que opera um veículo pode ser difícil, então, em vez disso, um adversário pode tentar fazer o carro ignorar os sinais de parada desfigurando-os na área com pichações. Portanto, o algoritmo de visão por computador não seria capaz de reconhecê-los como sinais de parada. Esse processo pelo qual os adversários podem fazer com que os sistemas de IA cometam erros ao manipular entradas é chamado de aprendizado de máquina adversário. Os pesquisadores descobriram que pequenas mudanças nas imagens digitais que são indetectáveis ​​ao olho humano podem ser suficientes para fazer com que os algoritmos de IA classifiquem completamente essas imagens de maneira errada.5

Uma abordagem alternativa para a manipulação de entradas é o envenenamento de dados, que ocorre quando os adversários treinam um modelo de IA com dados imprecisos e mal rotulados. Imagens de sinais de parada que são rotulados como sendo outra coisa para que o algoritmo não reconheça os sinais de parada quando os encontrar na estrada é um exemplo disso. Esse envenenamento de modelo pode então levar um algoritmo de IA a cometer erros e classificações incorretas posteriormente, mesmo se um adversário não tiver acesso para manipular diretamente as entradas que recebe.6Mesmo apenas treinar seletivamente um modelo de IA em um subconjunto de dados rotulados corretamente pode ser suficiente para comprometer um modelo de modo que ele tome decisões imprecisas ou inesperadas.

Esses riscos falam da necessidade de um controle cuidadoso sobre os conjuntos de dados de treinamento usados ​​para construir modelos de IA e as entradas que esses modelos recebem para garantir a segurança dos processos de tomada de decisão habilitados para aprendizado de máquina. No entanto, nenhum desses objetivos é direto. As entradas para seus sistemas de aprendizado de máquina, em particular, muitas vezes estão além do escopo de controle dos desenvolvedores de IA - haja ou não pichações em placas de rua que os sistemas de visão de computador em veículos autônomos encontram, por exemplo. Por outro lado, os desenvolvedores normalmente têm um controle muito maior sobre os conjuntos de dados de treinamento para seus modelos. Mas, em muitos casos, esses conjuntos de dados podem conter informações muito pessoais ou confidenciais, levantando ainda outro conjunto de preocupações sobre como essas informações podem ser protegidas e tornadas anônimas da melhor forma. Essas preocupações muitas vezes podem criar compensações para os desenvolvedores sobre como o treinamento é feito e quanto acesso direto aos dados de treinamento eles próprios têm.7

A pesquisa sobre aprendizado de máquina adversário mostrou que tornar os modelos de IA mais robustos para envenenamento de dados e entradas adversárias frequentemente envolve a construção de modelos que revelam mais informações sobre os pontos de dados individuais usados ​​para treinar esses modelos.8Quando dados confidenciais são usados ​​para treinar esses modelos, isso cria um novo conjunto de riscos de segurança, ou seja, que os adversários serão capazes de acessar os dados de treinamento ou inferir pontos de dados de treinamento a partir do próprio modelo. Tentar proteger os modelos de IA desse tipo de ataque de inferência pode deixá-los mais suscetíveis às táticas adversas de aprendizado de máquina descritas acima e vice-versa. Isso significa que parte da manutenção da segurança da inteligência artificial é navegar pelos trade-offs entre esses dois conjuntos de riscos diferentes, mas relacionados.

Propostas de política para segurança de IA

Nos últimos quatro anos, houve uma rápida aceleração do interesse do governo e das propostas de políticas em relação à inteligência artificial e segurança, com 27 governos publicando planos ou iniciativas oficiais de IA até 2019.9No entanto, muitas dessas estratégias se concentram mais nos planos dos países para financiar mais atividades de pesquisa de IA, treinar mais trabalhadores neste campo e incentivar o crescimento econômico e a inovação por meio do desenvolvimento de tecnologias de IA do que na manutenção da segurança para IA. Os países que propuseram ou implementaram políticas voltadas para a segurança para IA enfatizaram a importância da transparência, teste e responsabilidade para algoritmos e seus desenvolvedores, embora poucos tenham chegado ao ponto de operacionalizar essas políticas ou descobrir como funcionariam na prática .

Os países que propuseram ou implementaram políticas voltadas para a segurança para IA enfatizaram a importância da transparência, teste e responsabilidade para algoritmos e seus desenvolvedores.

Nos Estados Unidos, a Comissão de Segurança Nacional de Inteligência Artificial (NSCAI) destacou a importância de construir sistemas de IA confiáveis ​​que possam ser auditados por meio de um sistema de documentação padronizado e rigoroso.10Para esse fim, a comissão recomendou o desenvolvimento de um extenso processo de documentação de design e padrões para modelos de IA, incluindo quais dados são usados ​​pelo modelo, quais são os parâmetros e pesos do modelo, como os modelos são treinados e testados e quais os resultados deles produzir. Essas recomendações de transparência falam sobre alguns dos riscos de segurança em torno da tecnologia de IA, mas a comissão ainda não as estendeu para explicar como esta documentação seria usada para fins de contabilidade ou auditoria. No nível do governo local, o Conselho da Cidade de Nova York estabeleceu uma Força-Tarefa de Sistemas de Decisão Automatizada em 2017 que enfatizou a importância da segurança para sistemas de IA; no entanto, a força-tarefa forneceu algumas recomendações concretas além de observar que ela lutou para encontrar o equilíbrio certo entre enfatizar oportunidades de compartilhar informações publicamente sobre ferramentas, sistemas e processos da cidade, ao mesmo tempo que garantia que quaisquer riscos legais, de segurança e privacidade relevantes fossem considerados .onze

Um relatório de 2018 de uma missão parlamentar francesa, intitulado Por uma Inteligência Artificial Significativa: Rumo a uma Estratégia Francesa e Europeia, ofereceu sugestões igualmente vagas. Ele destacou várias ameaças de segurança potenciais levantadas pela IA, incluindo a manipulação de dados de entrada ou dados de treinamento, mas concluiu apenas que havia uma necessidade de maior consciência coletiva e mais consideração dos riscos de segurança e proteção começando na fase de design dos sistemas de IA. Além disso, instou o governo a buscar o apoio de atores especializados, que são capazes de propor soluções graças à sua experiência e conhecimentos e aconselhou que a Agência Nacional francesa para a Sécurité des Systèmes d'information (ANSSI) deveria ser responsável pelo monitoramento e avaliar a segurança e proteção dos sistemas de IA. Em uma linha semelhante, o Plano de Desenvolvimento de IA da Nova Geração de 2017 da China propôs o desenvolvimento de certificações de segurança e proteção para tecnologias de IA, bem como mecanismos de responsabilidade e medidas disciplinares para seus criadores, mas o plano ofereceu poucos detalhes sobre como esses sistemas podem funcionar.

Para muitos governos, o próximo estágio de considerar a segurança da IA ​​exigirá descobrir como implementar ideias de transparência, auditoria e responsabilidade para lidar com os riscos de processos de decisão inseguros de IA e vazamento de dados do modelo.

A transparência exigirá o desenvolvimento de um processo de documentação mais abrangente para os sistemas de IA, nos moldes das propostas apresentadas pelo NSCAI. A documentação rigorosa de como os modelos são desenvolvidos e testados e quais resultados eles produzem permitirá que os especialistas identifiquem vulnerabilidades na tecnologia, possíveis manipulações de dados de entrada ou dados de treinamento e saídas inesperadas.

A documentação completa dos sistemas de IA também permitirá que os governos desenvolvam técnicas eficazes de teste e auditoria, bem como programas de certificação significativos que fornecem orientação clara para desenvolvedores e usuários de IA. Idealmente, essas auditorias aproveitariam a pesquisa sobre aprendizado de máquina adversário e vazamento de dados de modelo para testar modelos de IA para vulnerabilidades e avaliar sua robustez e resiliência geral a diferentes formas de ataques por meio de uma forma de equipe vermelha focada em IA. Dado o domínio do setor privado no desenvolvimento de IA, é provável que muitas dessas atividades de auditoria e certificação sejam deixadas para as empresas privadas realizarem. Mas os formuladores de políticas ainda podem desempenhar um papel central no incentivo ao desenvolvimento desse mercado, financiando pesquisas e desenvolvimento de padrões nesta área e exigindo certificações para sua própria aquisição e uso de sistemas de IA.

Finalmente, os formuladores de políticas desempenharão um papel vital na determinação dos mecanismos de responsabilidade e regimes de responsabilidade para governar a IA quando ocorrerem incidentes de segurança. Isso envolverá o estabelecimento de requisitos básicos para o que os desenvolvedores de IA devem fazer para mostrar que realizaram sua devida diligência em relação à segurança e proteção, como obter certificações recomendadas ou submeter-se a rigorosos padrões de auditoria e teste. Os desenvolvedores que não atendem a esses padrões e criam sistemas de IA que são comprometidos por envenenamento de dados ou entradas adversárias, ou que vazam dados de treinamento confidenciais, seriam responsáveis ​​pelos danos causados ​​por suas tecnologias. Isso servirá como um incentivo para as empresas cumprirem as políticas relacionadas à auditoria e certificação de IA e também como um meio de esclarecer quem é o responsável quando os sistemas de IA causam danos graves devido à falta de medidas de segurança adequadas e quais são as penalidades apropriadas nessas circunstâncias.

A proliferação de sistemas de IA em setores críticos - incluindo transporte, saúde, aplicação da lei e tecnologia militar - deixa claro o quão importante é para os formuladores de políticas levar a sério a segurança desses sistemas. Isso exigirá que os governos olhem além da promessa econômica e do potencial de segurança nacional dos sistemas automatizados de tomada de decisão para entender como esses próprios sistemas podem ser protegidos por meio de uma combinação de diretrizes de transparência, padrões de certificação e auditoria e medidas de responsabilidade.