A IA Maliciosa Pode se Tornar uma Ameaça à Segurança Cibernética?

imagem: Shuterchock

Sem inteligência humana, com certeza pode. Porque especialistas explicam por que a prevenção é a melhor cura...

Todos nós brincamos sobre isso em algum momento: e se a IA fosse desonesta e assumisse o mundo com todas as informações que demos?

O próprio Stephen Hawking fez uma nota de que a IA acabará tentando replicar tudo até que seja o mesmo que um humano, substituindo-nos completamente.

E apesar de todo o condicionamento que colocamos sob para colocá-lo sob controle, ainda é possível que a IA seja desonesta.

O que é o Rogue AI?

A IA é um algoritmo de inteligência artificial que comete atividades potencialmente perigosas. O sistema tornou-se popular na ficção científica como seres artificiais que se tornam auto-suportados ignoram o que eles foram originalmente programados para fazer.

Esse tipo de IA se comporta de maneira imprevisível e maliciosa, tomando decisões inesperadas que não necessariamente beneficiariam seu dono.

Uma vez que o pool de dados tenha sido corrompido, a IA desonesta pode exibir características como autonomia, falta de responsabilidade e pode até aumentar com o tempo.

A IA ainda está em fase de desenvolvimento e assim será, porém, muitas indústrias estão confiando nela para automatizar e simplificar diferentes processos. Que também, é particularmente usado na cibersegurança para ajudar a detectar ameaças mais rapidamente.

Mas, ao contrário dos humanos, a IA não tem a empatia que a impede de seguir o caminho errado. Isso pode levar a um fenômeno chamado IA que se tornou desonesto.

A inteligência humana ainda está tentando controlar esse elemento, mas não podemos deixar de nos perguntar:

- ela acabará se tornando uma ameaça à segurança cibernética?

Em caso afirmativo, como as empresas devem mitigá-lo?

Como a IA se torna desonesta?

Quando a IA foi criada, foi feita com um grande propósito em mente:

-- ajudar a humanidade a terminar suas tarefas mais rapidamente;

-- como um segundo cérebro.

Nessa medida, armazenamos quantidades significativas de informações em seu banco de dados, equipando-as com algo que poderia ser uma bênção e uma arma como conhecimento.

Quando esse conhecimento é mal utilizado, isso leva a IA a se tornar desonesta. Isso pode acontecer de várias maneiras. Pode ocorrer quando alguém adultera os dados com más intenções, particularmente durante seus estágios iniciais.

Se não for devidamente supervisionado, a IA não saberá como usar esses dados e poderá se tornar autônoma. Por último, mas não menos importante, se os pools de informações lhe derem autonomia suficiente para definir seus próprios objetivos, elas podem tomar decisões baseadas em dados que não necessariamente têm em mente o bem-estar humano.

Um exemplo popular de IA desonesto é o chatbot da Microsoft, Tay.

Dentro de poucas horas de sua liberação, o pool de dados foi adulterado pelos usuários do Twitter, ensinando a IA a ser racista.

Em breve, Tay estava citando Hitler e exibindo comportamento racista. A Microsoft fechou o projeto, percebendo que ele havia se tornado desonesto.

Por que a IA desonesta poderia ser perigosa?

Quando pego e parado em seus estágios iniciais, a IA desonesta pode ser impedida de causar danos graves. Isso é especialmente verdadeiro se o propósito para o qual foi feito é relativamente inofensivo, como o chatbot Tay.

No entanto, quando usado para fins de segurança, a IA se tornando desonesto pode ter efeitos devastadores. Como essa falha da IA está se tornando cada vez mais de conhecimento comum, os hackers já começaram a tentar fazer com que os sistemas de IA dessem errado.

Com cada violação de segurança, os dados podem ser vazados para a IA até que sejam treinados para ignorar as instruções originais.

Isso poderia levar a desinformação e divulgação de detalhes que de outra forma deveriam ter permanecido privados.

A IA desonesta também pode ser perigosa quando é dada responsabilidades significativas sem ser adequadamente supervisionada. Um modelo negligenciado pode fazer uma suposição incorreta em um domínio delicado, como a guerra.

Por exemplo, quando usado para fins militares, a IA desonesta poderia decidir que a melhor maneira de atingir um objetivo é criar subconjuntos alternativos.

Em suas tentativas de obter dados de equipes inimigas, poderia decidir desligar ou violar infraestruturas essenciais, como hospitais, levando a danos civis.

Os sistemas de IA fora da administração da empresa também podem ser treinados por indivíduos com intenção maliciosa de realizar ataques cibernéticos.

Os hackers poderiam usar ferramentas de IA para aumentar suas capacidades de espionagem, especialmente em seus estágios iniciais, pois poderia encontrar rapidamente uma fraqueza em seu sistema de defesa.

Os chatbots de IA podem ser treinados para lançar campanhas de phishing, entregando informações maliciosas ou incorretas para enganar.

A ameaça pode ser prevenida?

O principal problema com ferramentas superinteligentes é que elas são bastante incontroláveis. Contanto que os dados possam ser adulterados, seja maliciosamente ou por erro humano, a ameaça de AI absorver e usar esses dados é real.

Por esta razão, a IA desonesta não pode ser totalmente evitada, independentemente da direção de onde vem. No entanto, pode ser mitigado com as ações certas.

Uma maneira de mitigar os efeitos da IA desonesta e evitar que ela ocorra é avaliar o sistema de forma consistente. As condições conhecidas para os maus atores devem ser identificadas antes de iniciar e atualizar o algoritmo para evitá-los.

Os usuários também devem ser treinados para usar a IA de forma responsável e ética, evitando que o viés torne o sistema desonesto.

A IA desonesta não pode ser totalmente evitada, independentemente da direção de onde vem.

No entanto, pode ser mitigado com as ações certas.

Na maioria das vezes, a inteligência humana é essencial para evitar que a IA seja desonesta.

Alertas e políticas devem ser configurados para detectar comportamentos potencialmente anormais e responder aos incidentes com base na gravidade.

O treinamento de IA deve ser supervisionado em todas as etapas do desenvolvimento, e os seres humanos também devem permanecer encarregados de desligar o sistema, se necessário.

Embora ainda não tenhamos atingido cenários apocalípticos em que a IA desonesta pode causar devastação mundial, o potencial permanece. Com treinamento incorreto ou malicioso, a IA pode tomar decisões que não beneficiam a indústria que deve proteger. E sendo utilizada para interesses até mesmo nefastos para a população em geral.