Limites e Princípios da IA Responsável na Série Cassandra da Netflix

Em fevereiro, a Netflix lançou a série Cassandra, que acompanha a vida de uma família que se muda para uma “Casa Inteligente”. O que começa como uma experiência inovadora se transforma em um verdadeiro pesadelo, conforme a ingênua assistente virtual se torna uma vilã – capaz até mesmo de causar danos físicos. (Alerta de spoiler!)

A inteligência artificial já faz parte do nosso dia a dia, mas em Cassandra, ela está presente em cada detalhe. Uma assistente virtual que não apenas auxilia na agenda e acendendo as luzes, mas também demonstra o poder e os perigos de uma IA sem limites. Segundo a Agência Brasil (2023), o primeiro relatório sobre inteligência artificial (IA), produzido por um grupo de 16 cientistas de diferentes áreas e de várias instituições a pedido da Academia Brasileira de Ciências (ABC), defende a regulamentação da IA para minimizar os riscos que essa tecnologia avançada pode gerar. O professor da Coppe/UFRJ, Edmundo Albuquerque de Souza e Silva, alertou: “Há um risco social e ético que nós, como sociedade, temos que estar cientes e educados para o impacto que isso pode causar”.

Ao longo dos episódios, Cassandra assume um controle cada vez maior sobre a casa e seus moradores. Suas decisões vão muito além da conveniência: ela os prende dentro da casa, age com base em regras ultrapassadas herdadas da época em que a casa foi construída e viola completamente a privacidade ao escutar e divulgar conversas pessoais. O que antes parecia um avanço tecnológico se torna motivo de medo e desconfiança.

A série destaca as falhas de uma IA sem limites, desrespeitando princípios de responsabilidade essenciais como imparcialidade, segurança, responsabilidade, transparência e confiabilidade – conceitos fundamentais do Padrão de IA Responsável desenvolvido pela Microsoft e envolvidos na Formação Microsoft Azure AI Fundamentals (AI-900) da DIO.

Embora o enredo esteja inserido na ficção científica e tenha passado em uma casa construída há 50 anos, a discussão é mais atual do que nunca. Casas conectadas já são uma realidade e o uso de IA está se tornando cada vez mais comum em diferentes áreas da nossa vida. Os desafios apresentados na série refletem dilemas reais no desenvolvimento da IA. Casos como os descritos a seguir mostram que falhas tecnológicas podem ter impactos significativos na vida das pessoas.

Sexismo nas contratações: Em 2018 a Amazon descobriu que a inteligência artificial de seu software de recrutamento, criada em 2014 para automatizar a busca por candidatos, estava discriminando candidatas mulheres por ter sido treinada com uma base de dados da última década, onde a maioria dos currículos eram de homens. O software foi desativado em 2018.

A revolta do chatbot: Em 2016, a Microsoft retirou em menos de 24h de seu lançamento um robô intitulado “Tay” do Twitter após mensagens de conteúdo racista, sexista e xenofóbico. O intuito de Tay era estimular conversas casuais e atrair o público de 18 a 24 anos dos Estados Unidos. Porém, o chatbot foi desenvolvido para aprender utilizando uma base de dados de publicações reais da web. Por isso, Tay aprendeu a escrever como os jovens do Twitter e expor opiniões sem conseguir avaliar e filtrar as afirmações.

Falha de reconhecimento facial: Em 2019, com base no erro de um software de reconhecimento facial, a Polícia de Detroit, nos Estados Unidos, acusou erroneamente um homem de ter furtado uma loja com base na comparação das imagens com a foto de sua carteira de motorista, que constava na base de dados da polícia. A ferramenta foi instalada com o objetivo de examinar as imagens da câmera de segurança do estabelecimento e apontou Robert Williams, um homem negro, como o responsável pelo crime. Robert passou 30 horas em um centro de detenção até que os fatos fossem esclarecidos. Ele passou a ser considerado a primeira pessoa a ser presa injustamente com base em tecnologias de reconhecimento facial.

Posto isso, fica evidente o risco do uso da IA sem responsabilidade e sem uma gestão adequada dos dados. Por outro lado, de acordo com a Microsoft (2024):

Os sistemas de IA são o produto de muitas decisões diferentes tomadas por aqueles que os desenvolvem e os implantam. Da finalidade do sistema à forma como as pessoas interagem com sistemas de IA, a IA responsável pode ajudar a orientar proativamente essas decisões visando resultados mais benéficos e equitativos.

Diante desse contexto, deixo a reflexão: até que ponto estamos dispostos a confiar na IA? E como garantir que seus princípios de responsabilidade sejam respeitados?

Referências

AGÊNCIA BRASIL. Cientistas veem riscos e benefícios da inteligência artificial. Brasília: Agência Brasil, 10 nov. 2023. Disponível em: <https://agenciabrasil.ebc.com.br/geral/noticia/2023-11/cientistas-veem-riscos-e-benef%C3%ADcios-da-intelig%C3%AAncia-artificial>. Acesso em: 5 mar. 2025.

MICROSOFT. Conceitos de IA responsável. Learn Microsoft, 2025. Disponível em:<https://learn.microsoft.com/pt-br/azure/machine-learning/concept-responsible-ai?view=azureml-api-2>. Acesso em: 5 mar. 2025.

FORBES BRASIL. 7 casos em que a implementação da inteligência artificial foi um fiasco. Forbes Tech, 18 mar. 2021. Disponível em: <https://forbes.com.br/forbes-tech/2021/03/7-casos-em-que-a-implementacao-da-inteligencia-artificial-foi-um-fiasco/#foto1>. Acesso em: 5 mar. 2025.