NLP, Machine Learning e Python: A Tríade da Inteligência Artificial em Dados

 # Instalação das bibliotecas
!pip install nltk spacy gensim
 
# Download do modelo em português do spaCy
!python -m spacy download pt_core_news_sm
 
# Importações necessárias
import nltk
import spacy
import gensim
from nltk.tokenize import word_tokenize, sent_tokenize
from nltk.corpus import stopwords
 
# Download dos recursos do NLTK
nltk.download(['punkt', 'stopwords'])
 
# Carregar modelo do spaCy para português
nlp = spacy.load("pt_core_news_sm")

import nltk
import spacy
from nltk.tokenize import word_tokenize
 
# Baixando os recursos necessários do nltk
nltk.download('punkt')
 
# Baixando o modelo do spaCy (rode isso no terminal antes, se necessário: `python -m spacy download pt_core_news_sm`)
nlp = spacy.load("pt_core_news_sm")
 
# Exemplo prático com um tweet real
tweet = "Acabei de assistir à palestra sobre #InteligênciaArtificial! 🤖 Mind = Blown @techconference"
 
# Tokenização com NLTK
tokens_nltk = word_tokenize(tweet)
print("NLTK:", tokens_nltk)
 
# Tokenização com spaCy
doc = nlp(tweet)
tokens_spacy = [token.text for token in doc]
print("spaCy:", tokens_spacy)

import re
def limpar_texto(texto):
 # Remove URLs
 texto = re.sub(r'https?://\S+|www\.\S+', '', texto)
 
 # Remove emojis e caracteres especiais
 texto = re.sub(r'[^\w\s]', '', texto)
 
 # Converte para minúsculas
 texto = texto.lower()
 
 return texto
 
# Exemplo de tweet
tweet = "Acabei de assistir à palestra sobre #InteligênciaArtificial! 🤖 Mind = Blown @techconference"
 
# Aplicando a função de limpeza
texto_limpo = limpar_texto(tweet)
 
# Exibir resultados
texto_limpo
 
Resultado
 
'acabei de assistir à palestra sobre inteligênciaartificial mind blown techconference’

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
 
# Baixando os pacotes necessários do nltk
nltk.download('punkt')
nltk.download('stopwords')
 
# Carregando stopwords em português
stop_words = set(stopwords.words('portuguese'))
 
def remover_stopwords(texto):
 palavras = word_tokenize(texto)
 texto_sem_stopwords = [palavra for palavra in palavras if palavra.lower() not in stop_words]
 return ' '.join(texto_sem_stopwords)
 
# Exemplo de texto
texto_limpo = "Este é um exemplo de frase com algumas palavras desnecessárias."
 
# Removendo stopwords
texto_processado = remover_stopwords(texto_limpo)
print("Texto sem stopwords:", texto_processado)

from sklearn.feature_extraction.text import CountVectorizer
 
corpus = [
 "O café está muito quente",
 "O café está muito frio",
 "Não gosto de café"
]
 
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)
print("Vocabulário:", vectorizer.get_feature_names_out())
print("Matriz BoW:\n", X.toarray())

from sklearn.feature_extraction.text import TfidfVectorizer
 
# Exemplo de corpus (lista de textos)
corpus = [
 "Machine learning é incrível",
 "Deep learning faz parte do machine learning",
 "O NLP é uma área do machine learning"
]
 
# Aplicando TF-IDF
tfidf = TfidfVectorizer()
X_tfidf = tfidf.fit_transform(corpus)
 
# Exibir matriz TF-IDF
X_tfidf.toarray()

 from gensim.models import Word2Vec
 
# Novo corpus com a palavra "café"
corpus = [
 "Eu gosto de tomar café pela manhã",
 "O café é uma bebida popular no mundo todo",
 "Tomar café me ajuda a acordar e focar no trabalho",
 "Muitas pessoas preferem café sem açúcar"
]
 
# Preparando as sentenças para Word2Vec
sentences = [texto.split() for texto in corpus]
 
# Treinando o modelo Word2Vec
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
 
# Visualizando o vetor da palavra "café"
vector_cafe = model.wv['café']
vector_cafe

from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
 
# Definição do pipeline
pipeline = Pipeline([
 ('tfidf', TfidfVectorizer(stop_words='english')),
 ('clf', LogisticRegression())
])
 
# Exemplo de dados de treinamento (convertendo neutro para negativo ou positivo)
X_train = [
 "Adorei o produto, superou minhas expectativas!",
 "Produto terrível, não recomendo",
 "Produto razoável, mas caro"
]
y_train = [1, 0, 0] # Convertendo 0.5 para 0 para manter binário
 
# Treinando o modelo
pipeline.fit(X_train, y_train)
 
# Fazendo previsões
texto_teste = "Produto incrível, vale cada centavo!"
sentimento = pipeline.predict([texto_teste])[0]
print(f"Sentimento previsto: {'positivo' if sentimento == 1 else 'negativo'}")

from transformers import pipeline
 
# Exemplo de uso do BERT para classificação
classifier = pipeline('sentiment-analysis')
resultado = classifier("Estou muito feliz com os resultados!")
print("Análise de sentimento:", resultado)