Consequências imprevistas da inteligência artificial
Embora IA e análises avançadas tragam muitos benefícios, elas também podem abrir caminho para consequências imprevistas (ou que tenham intenções maliciosas) importantes para indivíduos, organizações e a sociedade como um todo.
Indivíduos
Segurança física
Segurança digital
Saúde financeira
Tratamento igualitário e justo
Organizações
Desempenho financeiro
Desempenho não financeiro
Cumprimento de normas e regulamentação e questões jurídicas
Integridade de reputação
Sociedade
Segurança nacional
Estabilidade econômica
Estabilidade política
Labor-market stability
Integridade de infraestrutura
1/13
Indivíduos
Segurança física
• Mau funcionamento de veículo autônomo causa ferimentos
ou morte
• Excesso de confiança em decisões inadequadas quanto
à manutenção preditiva de equipamentos causa ferimentos
em trabalhadores
• Modelos de aprendizado de máquina fazem diagnósticos
errados de sintomas médicos
3/13
Segurança digital
• Distorção de dados/informações individuais leva a calúnias
e difamações
4/13
Saúde financeira
• Recomendações financeiras inadequadas causam
o gerenciamento errado dos fundos de clientes ou
funcionários
• Phishing sofisticado realizado por máquinas rouba
e explora informações financeiras
5/13
Tratamento igualitário e justo
• Modelo de subscrição inadvertidamente discrimina com
base em raça, impedindo que clientes que fazem parte de
minorias contratem hipotecas
• Algoritmo de empréstimos leva em consideração conexões
em mídias sociais, dando notas mais elevadas a pessoas
com redes percebidas como de “melhor qualidade”,
penalizando os demais
2/13
Privacidade e reputação
• Dados privados são utilizados sem o consentimento
do consumidor
• Dados com informações pessoais identificáveis (IPI) não
são armazenados de forma segura, causando violação de
informações e implicações para os indivíduos envolvidos
6/13
Desempenho financeiro
• Algoritmos de trading, incapazes de se adaptar
corretamente a novas circunstâncias (p.ex., eventos
similares a um flash crash), causam perdas financeiras
repentinas
• Organização toma decisões erradas sobre precificação,
avaliando materialmente mal a elasticidade de preços
de consumidores, o que leva a decisões inapropriadas
sobre a produção
Organizações
7/13
Desempenho não financeiro
• Contratações e promoções utilizam algoritmos complexos
que levam involuntariamente a comportamentos
involuntários ou a uma força de trabalho pouco
diversificada
• Estimativas abaixo do ideal quanto a fundos e recursos
necessários durante emergências/desastres naturais
diversos resultam em preparação inadequada
8/13
Cumprimento de normas e regulamentação e questões jurídicas
• Discriminação involuntária inserida nas decisões sobre
concessão de empréstimos leva a litígios
• Dados sigilosos sobre saúde de consumidores
são revelados
9/13
Integridade de reputação
• Falta de clareza com relação às configurações de
privacidade dos dados de consumidores causa reações
negativas da sociedade
• Algoritmo publicitário utiliza IPI (ou outras informações
pessoais) de maneira inapropriada, fazendo com que
o público perceba a empresa como sendo desonesta
e invasiva
10/13
Segurança nacional
11/13
Estabilidade econômica
• Algoritmos de trading automatizados aumentam
a volatilidade dos mercados financeiros
• Algoritmos criam instabilidade nos mercados de câmbio,
levando a uma queda no volume de comércio
• Instrumentos financeiros pouco conhecidos causam risco
sistêmico involuntário
12/13
Estabilidade política
• Manipulação de processos institucionais nacionais (p.ex.,
eleições, designações de cargos) por meio de distorção de
informações e mensagens falsas
13/14
Labor-market stability
• Mass intelligent machine-led automation leads
to instability of labor market
• As medical diagnoses are automated, medical workforce
de-skills (ie, health professionals lose expertise), creating
problems when unforeseen circumstances create need for
nonautomated doctors
13/13
Integridade de infraestrutura
• Concentração de risco afeta materialmente a infraestrutura
da sociedade, à medida que um número maior de processos
e decisões se tornam interconectados (p.ex., desabilitando
comunicações, fornecimento de água e energia)
• Sistemas inteligentes causam uso excessivo/inadequado da
infraestrutura (p.ex., GPS direciona carros para ruas vicinais,
causando tráfego sem precedentes em áreas residenciais)
Indivíduos
Indivíduos
Indivíduos
Indivíduos
Organizações
Organizações
Organizações
Sociedade
Sociedade
Sociedade
Society
Sociedade
• Atores com intenções maliciosas cooptam produtos
alavancados por IA (p.ex., armas, drones, ferramentas
cibernéticas) e os utilizam para atividades ilegais
• Violações de dados sensíveis expõem segredos
técnicos/vulnerabilidades militares importantes
Privacidade e reputação
