Desmistificando Métricas: Escolhendo Efetivamente as Métricas Certas para o seu Problema de Machine Learning

O que são métricas em machine learning

Métricas em machine learning são como réguas que usamos para medir o quão bom um modelo é em resolver um problema. Elas nos dizem o quão bem ou mal nosso modelo está se saindo.

Quais as métricas de regressão?

Nas regressões, queremos prever um valor contínuo, como o preço de uma casa. Algumas métricas para isso são o Erro Médio Absoluto (MAE), o Erro Quadrático Médio (MSE) e a Raiz do Erro Médio Quadrático (RMSE).

O MAE mede a média das diferenças absolutas entre as previsões do modelo e os valores reais. Se o MAE for baixo, significa que nossas previsões estão bem próximas dos valores reais.

 Ilustração retirada de Hackernoon

O Erro Médio Quadrático (MSE) é a média dos quadrados das diferenças entre as previsões do modelo e os valores reais. Quanto menor o MSE, melhor o modelo está se ajustando aos dados.

  Ilustração retirada de Hackernoon

O RMSE, por suz vez, é a raiz quadrada do MSE e fornece uma interpretação mais intuitiva, pois está na mesma unidade que os dados originais.

Outros exemplos de métricas para regressão:

• Erro Médio Percentual Absoluto (MAPE): Calcula a média das diferenças percentuais absolutas entre as previsões do modelo e os valores reais. É útil para entender o erro relativo do modelo em relação aos valores reais.
• Erro Percentual Absoluto Médio (APE): Similar ao MAPE, mas sem a média. Fornece uma visão direta do erro percentual médio entre as previsões e os valores reais.

Quais as métricas de classificação?

Nas classificações, onde queremos prever categorias como "sim" ou "não", temos métricas como a Acurácia, a Precisão, o Recall e a F1-Score.

A Acurácia nos diz a proporção de previsões corretas feitas pelo modelo. Quanto mais próxima de 1, melhor.

O Recall, também chamado de Sensibilidade, mede a proporção de positivos reais que foram corretamente identificados pelo modelo. É útil quando o objetivo é minimizar os falsos negativos.

A Precisão avalia a proporção de positivos previstos pelo modelo que são realmente positivos. É útil quando queremos ter certeza de que as previsões positivas são confiáveis.

Agora, o F1-Score é a média harmônica entre precisão e recall. É útil quando se deseja encontrar um equilíbrio entre precisão e sensibilidade.

 Ilustração retirada de Medium

Outros exemplos de métricas para classificação:

• Especificidade: Mede a proporção de negativos reais que foram corretamente identificados pelo modelo. É útil quando o objetivo é minimizar os falsos positivos.
• Matriz de Confusão: Não é exatamente uma métrica, mas uma tabela que mostra as classificações corretas e incorretas feitas pelo modelo em relação aos dados reais. Ajuda a entender melhor os erros do modelo.

Imagem retirada de V7 Labs

• Área sob a curva ROC (AUC-ROC): Avalia a capacidade do modelo de distinguir entre classes. Quanto maior a AUC-ROC (área sob a curva da curva ROC), melhor o modelo é em separar as classes.

Imagem retirada de Evidently AI

• Índice de Jaccard (ou similaridade de Jaccard): Mede a similaridade entre dois conjuntos de amostras. É usado especialmente em problemas de classificação binária para calcular a sobreposição entre o conjunto de previsões e o conjunto de valores verdadeiros.
• Log Loss (ou Cross-Entropy Loss): É a função de custo usada em problemas de classificação binária ou multiclasse. Avalia a incerteza do modelo atribuída a cada instância, penalizando previsões erradas com alta probabilidade.

Conclusões

Gostou do conteúdo? Ele foi gerado por inteligência artificial, mas foi revisado por uma pessoa 100% humana. Se você adora ciência de dados tanto quanto eu, vamos nos conectar! Siga-me no LinkedIn 🚀

Ilustrações de capa: gerada pela lexica.art

Conteúdo gerado por ChatGPT e revisões humanas

#DataScience #MachineLearning