Otimizando Filtros em PySpark com isin(), cache() e broadcast() 🚀

No PySpark, podemos melhorar significativamente a performance das consultas trocando OR por isin() e aplicando técnicas como cache() e broadcast() para otimizações ainda maiores.

Usando isin() para substituição do OR

Em vez de usar várias condições OR, o isin() é uma forma mais eficiente de filtrar múltiplos valores.

🔴 Consulta com OR:

df.filter((df['coluna'] == 'A') | (df['coluna'] == 'B') | (df['coluna'] == 'C')).show()

🟢 Consulta otimizada com isin():

df.filter(df['coluna'].isin(['A', 'B', 'C'])).cache().show()

🔍 Por que usar isin()?

Essa função permite ao Spark processar múltiplos valores ao mesmo tempo, em vez de fazer comparações individuais para cada valor, o que acelera o processamento.

Melhorando com cache() e broadcast()

Para aumentar ainda mais a performance, use cache() para armazenar DataFrames em memória quando eles são reutilizados em diferentes etapas do processamento. Além disso, para joins entre DataFrames grandes e pequenos, aplique broadcast().

Exemplo com broadcast para joins:

from pyspark.sql.functions import broadcast

df_large.join(broadcast(df_small), df_large.coluna == df_small.coluna).show()

🔍 Por que usar broadcast()?

broadcast() distribui o DataFrame pequeno para todos os nós do cluster, evitando que grandes quantidades de dados sejam movimentadas. Isso acelera consideravelmente os joins entre grandes e pequenos conjuntos de dados.

Júlio César Droszczak