Machine Learning: Como sair da Teoria para Aplicações Reais

#Inteligência Artificial (IA)

Não, no mundo real não é apenas a sua capacidade de codar modelos de machine learning no Google Colabs ou em ambiente semelhante. Existe a necessidade de dominar ferramentas e comunicar com clareza o que está sendo feito, ou quem sabe, transformar um pedido em um “business problem”.

Neste ensaio, apresento uma lista de tarefas para te ajudar a sair da Teoria para Aplicações Reais, em Machine Learning, que são uma intersecção entre, o que observo em meu trabalho e um post da página State Of AI, no SubStack (motivação para escrever este artigo).

Tenha uma intuição de como os modelos de machine learning mais populares funcionam

Eu defendo que é preciso entender a Matemática presente no machine learning, para que se possa ter ciência do que é Inteligência, quando falamos de inteligência artificial. Por exemplo, existem modelos paramétricos (Logistic Regression) mas há também os não paramétricos (KNN). Você sabe a diferença? O impacto que isto tem ao treinar os modelos? Ter ciência, também lhe dará a capacidade de explicar e entender uma performance abaixo do esperado em seu conjunto de dados.

Para pôr isto em prática, construa modelos do zero. Você pode começar com modelos elementares. Na minha experiência, o que menos tive dificuldade para implementar e entender a matemática é o Naive Bayes. Em caso de não saber onde encontrar orientações para tanto, recomendo a leitura do livro Data Science From Scratch.

Escolha um domínio e foque nele

Para mim, a capacidade de ter foco é sem dúvidas um dos principais ingredientes do sucesso. Como mencionei antes, um artista que todos os dias faz algo diferente nunca irá masterizar nenhuma dessas coisas. Acredito tanto nessa máxima que recentemente aceitei o desafio de treinar o modelo (BERT) durante trinta dias.

Quando escolher, digamos entre Séries Temporais ou, como no meu caso, NLP (Processamento Natural de Linguagem). Escolha datasets e modelos que te ajudam a completar essas tarefas. Para outras áreas, conheço recursos mas vou me limitar ao que tenho expertise, NLP. A seguir, algumas fontes para você se aprofundar caso tenha interesse neste campo.

HuggingFace - Datasets, modelos pré-treinados, comunidade, aplicações.
Kaggle - Competições, datasets, lar do cientista de dados. Se quiser me seguir, este é o perfil
Stanford CS224n - Cursso de NLP pela universidade de Stanford.
Natural Language Processing with Transformers: Building Language Applications with Hugging Face

Certamente, há muitos outros recursos, mas estes lhe darão uma excelente base para explorar outros conteúdos.

Aprenda como construir modelos robustos e como acompanhar a performance deles

Sou grato pela existência do Kaggle por inúmeras razões, mas vou compartilhar a mais simples. Eu aprendi a gerênciar modelos e a escolher eles. Para ganhar uma competição é preciso testar dezenas de modelos, em algumas competições eu cheguei a fazer mais de sessenta submissões! Quando precisei trabalhar com isso, salvo a diferença dos objetivos. Saber selecionar modelos de Machine Learning se tornou um super-poder, mas não acaba, como mencionei: você precisa acompanhar o desempenho do modelo, ser capaz de distinguir se seus resultados são reais. Conceitos como overfitting e underfitting são mais importantes que qual tecnologia você usa, uma vez que, independente do framework, independente do modelo isto sempre estará lá. Outro aprendizado importante, foi a relação a qual métrica escolher para avaliar o meu modelo. Certas vezes ela é clara como Error Quadrado Médio (MSE), as vezes não e para o monitoramento há diversas ferramentas, quando preciso fazer uso delas (no meu caso não é tão comum), eu uso o W&B.

Ainda sobre explicações, boa parte do código que se escreve em Machine Learning é algo um pouco místico, como comentei em meu primeiro post na DIO, isto torna Machine Learning algo difícil. Por isto, sempre que puder desenvolver uma aplicação para demonstrar as capacidades do seu modelo, faça isto. Há frameworks em Python que sempre me vêem a calhar quando preciso fazer isto.

Engenharia de Software, Análise de dados e Conteinerização

Em um futuro próximo pretendo tratar sobre a prática da Engenharia de Software aplicada à ciência de dados, mas há um conteúdo que me ajudou a entender como AI é usada em grandes empresas, um curso do Google tratando sobre Machine Learning e apresentado por Cassie Kozyrkov. O que é incrível é que esse curso é apresentado a todos os funcionários do Google e de todas as áreas, portanto ele tem o objetivo de ser abrangente e claro.

A depender de qual vertente escolher, como no meu caso, Engenheiro de Machine Learning (Construir, testar e monitorar modelos). Você terá em algum momento que ser capaz de analisar dados, é inevitável. Esta habilidade permeia todas as áreas, por que no final do dia, sem dados sequer haveria Machine Learning. Dentre todos os livros que li, dois são meus favoritos:

Há outras habilidades técnicas como conteinerização, que além de poupar dores de cabeça será um diferencial importante de ter, meu campo é pesquisa, ficariam surpresos o quanto eu simplifico a vida dos meus colegas apenas por saber Docker.

Outras sugestões incluem aprimorar a sua capacidade de explicar conceitos complexos, para tanto recomendo que estude Storytelling. Ter modelos mentais para solucionar problemas, dar ou receber feedback são aspectos importantes no trabalho coletivo. No site Untools é possível encontrar modelos mentais, os quais mantenho alguns em mente, que podem vir a ser úteis nesses casos.

Conclusão

Este texto é uma tentativa de contribuir com seu progresso em Machine Learning. Os fatos e opiniões refletem o meu pensamento e podem não se aplicar a ti. Embora, ficam as recomendações e recursos para que possa ajustar mediante a sua necessidade.

-----------------------------------------------------------------------------------------------------------

Nota do autor

Seja paciente sobre possíveis erros gramaticais, a julgar pela recorrência deles você sabe o quanto eu usei o ChatGPT ou qualquer outra ferramenta para escrever o mesmo.
Este trabalho levou tempo para ser pesquisado e filtrado, escrever é uma tarefa nobre e árdua. Se sentir confortável, deixe seu feedback (construtivo).
Em caso de dúvidas, deixe nos comentários abaixo (farei o possível para responder a tempo).

Onde me encontrar?

Github (Repositório para aprender IA)
Medium (Artigos de Opinião)
Kaggle (Competições e Artigos Técnicos em Inglês)
Meu Blog Pessoal (Artigos Técnicos)
X/Twitter (Você pode enviar mensagem por lá, se quiser)