image

Access unlimited bootcamps and 650+ courses

50
%OFF
Daelton Pinheiro
Daelton Pinheiro01/03/2025 02:00
Share

Explorando ML com notebooks no Vertex AI.

    Explorando ML com notebooks no Vertex AI

    Este artigo aborda de forma introdutória os ambientes baseados em notebooks Jupyter da GCP: Vertex AI. Trata-se de uma introdução a essa plataforma unificada para todo o fluxo de trabalho de aprendizado de máquina.

    O fluxo de trabalho de aprendizado de máquina tem três fases principais: preparação de dados, treinamento de modelo e serviço de modelo. Na preparação de dados, você coleta dados com base no negócio cujo a solução de ML deseja atender e os prepara para entrada em um modelo de aprendizado de máquina. No treinamento de modelo, você usa os dados coletados para informar previsões. E depois que o modelo for treinado e avaliado, o próximo passo é implantar ou servir esse modelo em um ambiente de produção - serviços da nuvem GCP, por exemplo - para que ele possa ser usado em previsões do mundo real ou auxiliar tomadores de decisão. Evidentemente, o fluxo de grandes projetos de aprendizado de máquina é bem mais complexo do que isso. Entretanto, dentro da GCP existem basicamente três ferramentas que podem auxiliar na implementação e nesse fluxo de trabalho: 1. usando o Automated Machine Learning (AutoML) é possível implementar o fluxo de trabalho sem escrever uma única linha de código; 2. usando BigQuery Machine Learning (BQML) é possível usar SQL para implementar as fases de treinamento e exibição do modelo; 3. usando o treinamento personalizado através de uma linguagem de programação como Python, biblioteca de código aberto criada como o TensorFlow. Uma das ferramentas utilizadas para escrever código em projetos de ciência de dados são os notebooks Jupyter, que são ambientes de computação interativos que permitem aos usuários criar e compartilhar documentos que contêm código ao vivo, equações, visualizações e texto narrativo, de modo que sua interatividade permitem que o usuário execute o código e veja os resultados imediatamente. Isso é importante porque ciência e análise de dados comumente incorporam em seus fluxos tentativas e erros como parte dos processos de IA.

    O Google Vertex AI oferece computação totalmente gerenciada, escalável e pronta para empresas, oferecendo uma infraestrutura completa, com políticas e gerenciamento de usuários facilmente aplicáveis, integrações visuais baseadas no Jupyter, sendo que essa integração está na ponta dos dedos, o que significa que você pode carregar e compartilhar notebooks junto com suas tarefas de IA e dados. São duas as soluções de notebook: Colab Enterprise e Workbench.

    image

    Lembrando que essa infraestrutura ou serviço de computação é gerenciado inteiramente pela Google, de modo que pode-se estabelecer uma conexão entre a solução de IA com vários outros serviços do Google Cloud Platform (GCP), por exemplo, conectar-se com o Google BigQuery ( um data warehouse totalmente gerenciado e sem servidor) além disso há suporte integrado para Dataproc (uma versão gerenciada pelo Google Cloud Platform do Apache Spark).

    O Colab Enterprise é apropriado para usuários que não querem se preocupar com o gerenciamento de computação, onde precisam de configuração zero e infraestrutura sem servidor. É ótimo para projetos que podem ser encapsulados em um único notebook. E é bom para usuários que não querem se preocupar em usar o Git porque ele possui recursos integrados de controle de versão e compartilhamento. O Colab Enterprise é uma plataforma de notebooks que facilita a colaboração e reduz o tempo de gerenciamento de infraestrutura. Ele oferece:

    - Configuração rápida: Acesso imediato sem necessidade de configurações complexas.

    - Integração com Duet AI: Maior produtividade com auxílio de IA na codificação.

    - Colaboração facilitada: Compartilhamento, comentários e coedição de notebooks.

    - Preenchimento e geração de código: Auxílio do Duet AI para agilizar a codificação.

    - Histórico de revisões: Rastreamento de alterações com visualização lado a lado.

    - Compartilhamento e colaboração: Permissões detalhadas para controle de acesso.

    - Criação de modelos de tempo de execução: Personalização de ambientes de execução com configurações de máquina e rede.

    - Armazenamento e tempos de execução: Organização de notebooks e ambientes de execução personalizáveis.

    - Dataform para armazenamento: Controle de versão e compartilhamento similar ao Google Drive.

    -Tempos de execução flexíveis: VMs padrão ou personalizadas, ideais para diferentes necessidades.

    O Workbench é flexível, personalizável e uma boa escolha para a transição de cientistas de dados para a nuvem a partir de uma estação de trabalho ou laptop. É ótimo para projetos complexos que abrangem vários arquivos e com dependências complexas. E tem suporte nativo para GitHub. O Vertex AI Workbench Instances oferece um ambiente Jupyter notebook personalizável em VMs, ideal para projetos complexos e usuários migrando de workstations. Principais características: 

    - Controle sobre o kernel: Opções para reiniciar e gerenciar o kernel Jupyter.

    - Integração com GitHub: Colaboração e controle de versão facilitados.

    - Pacotes de aprendizado profundo pré-instalados: Suporte para TensorFlow e PyTorch.

    - Configuração detalhada da VM: Opções para tipo de máquina, GPUs, discos e rede.

    - Segurança aprimorada: Opções de IAM e recursos como Shielded VM.

    - Monitoramento de saúde: Verificação do status do sistema e métricas personalizadas.

    - Integração com serviços Google Cloud: Conexão direta com BigQuery e Dataproc.

    - Armazenamento de modelos e dados: Capacidade de armazenar e executar aplicações de ML.

    - Flexibilidade de configuração: Capacidade de modificar configurações da instância, como adicionar GPUs.

    - Personalização avançada: Controle total sobre o ambiente Jupyter, incluindo configuração detalhada da VM.

    Independentemente de qual seja a escolha, as soluções Vertex AI Notebook ajudam a gerenciar o fluxo de trabalho de machine learning: na preparação e exploração de dados, os notebooks Vertex AI Jupyter facilitam o acesso e a integração contínuos aos dados com o Google Cloud Storage, o que permite a recuperação e manipulação direta de conjuntos de dados armazenados na nuvem. Além disso, a integração com serviços como BigQuery, Dataproc e Spark agiliza as tarefas de ingestão, pré-processamento e exploração de dados. Os notebooks Vertex AI Jupyter vêm com bibliotecas pré-instaladas, como scikit-learn, TensorFlow e Pytorch. Isso permite que os desenvolvedores utilizem as funcionalidades dessas bibliotecas diretamente no notebook, agilizando o processo de desenvolvimento, bem como a execução de diferentes experimentos de modelo de aprendizado de máquina para realizar ajustes de hiperparâmetros e avaliações de modelos pode ser feita na biblioteca que você escolher. Os notebooks Vertex AI Jupyter simplificam a implantação de modelos em ambientes de produção usando Vertex AI Pipelines, isso automatiza o processo de implantação e garante consistência entre ambientes de treinamento e produção. O Vertex AI Monitoring permite o monitoramento contínuo do desempenho do modelo em produção, alerta os usuários sobre possíveis problemas e garante o desempenho ideal do modelo ao longo do tempo.

    Em resumo, o Vertex AI oferece duas soluções de notebooks Jupyter, Colab Enterprise e Workbench, cada uma atendendo a diferentes necessidades de fluxo de trabalho de aprendizado de máquina. Ambas as soluções simplificam o processo de desenvolvimento e implantação de modelos, oferecendo flexibilidade, escalabilidade e integração com outros serviços do Google Cloud. A escolha entre Colab Enterprise e Workbench dependerá da complexidade do projeto e das preferências do usuário.


    Acesso Gratuito com Limitações: https://www.cloudskillsboost.google/?locale=pt_BR

    - O Google Cloud Skills Boost oferece um catálogo de cursos, laboratórios práticos e selos de habilidade. Parte desse conteúdo pode ser acessado gratuitamente, permitindo que você explore e aprenda sobre as tecnologias do Google Cloud. No entanto, alguns conteúdos e recursos mais avançados podem exigir uma assinatura paga. 

    - Crie uma conta ou faça login: se você já tiver uma conta do Google (Gmail, por exemplo), pode usá-la para fazer login. Caso contrário, crie uma nova conta Google.

    - Machine Learning Engineer Learning Path: https://www.cloudskillsboost.google/paths/17?locale=pt_BR

    Share
    Recommended for you
    Decola Tech 2025
    Microsoft AI for Tech - Copilot Studio
    Suzano - Python Developer
    Comments (0)