image

Acesse bootcamps ilimitados e +650 cursos

50
%OFF
Daelton Pinheiro
Daelton Pinheiro01/03/2025 02:00
Compartilhe
WEX - End to End EngineeringRecomendados para vocêWEX - End to End Engineering

Explorando ML com notebooks no Vertex AI.

    Explorando ML com notebooks no Vertex AI

    Este artigo aborda de forma introdutória os ambientes baseados em notebooks Jupyter da GCP: Vertex AI. Trata-se de uma introdução a essa plataforma unificada para todo o fluxo de trabalho de aprendizado de máquina.

    O fluxo de trabalho de aprendizado de máquina tem três fases principais: preparação de dados, treinamento de modelo e serviço de modelo. Na preparação de dados, você coleta dados com base no negócio cujo a solução de ML deseja atender e os prepara para entrada em um modelo de aprendizado de máquina. No treinamento de modelo, você usa os dados coletados para informar previsões. E depois que o modelo for treinado e avaliado, o próximo passo é implantar ou servir esse modelo em um ambiente de produção - serviços da nuvem GCP, por exemplo - para que ele possa ser usado em previsões do mundo real ou auxiliar tomadores de decisão. Evidentemente, o fluxo de grandes projetos de aprendizado de máquina é bem mais complexo do que isso. Entretanto, dentro da GCP existem basicamente três ferramentas que podem auxiliar na implementação e nesse fluxo de trabalho: 1. usando o Automated Machine Learning (AutoML) é possível implementar o fluxo de trabalho sem escrever uma única linha de código; 2. usando BigQuery Machine Learning (BQML) é possível usar SQL para implementar as fases de treinamento e exibição do modelo; 3. usando o treinamento personalizado através de uma linguagem de programação como Python, biblioteca de código aberto criada como o TensorFlow. Uma das ferramentas utilizadas para escrever código em projetos de ciência de dados são os notebooks Jupyter, que são ambientes de computação interativos que permitem aos usuários criar e compartilhar documentos que contêm código ao vivo, equações, visualizações e texto narrativo, de modo que sua interatividade permitem que o usuário execute o código e veja os resultados imediatamente. Isso é importante porque ciência e análise de dados comumente incorporam em seus fluxos tentativas e erros como parte dos processos de IA.

    O Google Vertex AI oferece computação totalmente gerenciada, escalável e pronta para empresas, oferecendo uma infraestrutura completa, com políticas e gerenciamento de usuários facilmente aplicáveis, integrações visuais baseadas no Jupyter, sendo que essa integração está na ponta dos dedos, o que significa que você pode carregar e compartilhar notebooks junto com suas tarefas de IA e dados. São duas as soluções de notebook: Colab Enterprise e Workbench.

    image

    Lembrando que essa infraestrutura ou serviço de computação é gerenciado inteiramente pela Google, de modo que pode-se estabelecer uma conexão entre a solução de IA com vários outros serviços do Google Cloud Platform (GCP), por exemplo, conectar-se com o Google BigQuery ( um data warehouse totalmente gerenciado e sem servidor) além disso há suporte integrado para Dataproc (uma versão gerenciada pelo Google Cloud Platform do Apache Spark).

    O Colab Enterprise é apropriado para usuários que não querem se preocupar com o gerenciamento de computação, onde precisam de configuração zero e infraestrutura sem servidor. É ótimo para projetos que podem ser encapsulados em um único notebook. E é bom para usuários que não querem se preocupar em usar o Git porque ele possui recursos integrados de controle de versão e compartilhamento. O Colab Enterprise é uma plataforma de notebooks que facilita a colaboração e reduz o tempo de gerenciamento de infraestrutura. Ele oferece:

    - Configuração rápida: Acesso imediato sem necessidade de configurações complexas.

    - Integração com Duet AI: Maior produtividade com auxílio de IA na codificação.

    - Colaboração facilitada: Compartilhamento, comentários e coedição de notebooks.

    - Preenchimento e geração de código: Auxílio do Duet AI para agilizar a codificação.

    - Histórico de revisões: Rastreamento de alterações com visualização lado a lado.

    - Compartilhamento e colaboração: Permissões detalhadas para controle de acesso.

    - Criação de modelos de tempo de execução: Personalização de ambientes de execução com configurações de máquina e rede.

    - Armazenamento e tempos de execução: Organização de notebooks e ambientes de execução personalizáveis.

    - Dataform para armazenamento: Controle de versão e compartilhamento similar ao Google Drive.

    -Tempos de execução flexíveis: VMs padrão ou personalizadas, ideais para diferentes necessidades.

    O Workbench é flexível, personalizável e uma boa escolha para a transição de cientistas de dados para a nuvem a partir de uma estação de trabalho ou laptop. É ótimo para projetos complexos que abrangem vários arquivos e com dependências complexas. E tem suporte nativo para GitHub. O Vertex AI Workbench Instances oferece um ambiente Jupyter notebook personalizável em VMs, ideal para projetos complexos e usuários migrando de workstations. Principais características: 

    - Controle sobre o kernel: Opções para reiniciar e gerenciar o kernel Jupyter.

    - Integração com GitHub: Colaboração e controle de versão facilitados.

    - Pacotes de aprendizado profundo pré-instalados: Suporte para TensorFlow e PyTorch.

    - Configuração detalhada da VM: Opções para tipo de máquina, GPUs, discos e rede.

    - Segurança aprimorada: Opções de IAM e recursos como Shielded VM.

    - Monitoramento de saúde: Verificação do status do sistema e métricas personalizadas.

    - Integração com serviços Google Cloud: Conexão direta com BigQuery e Dataproc.

    - Armazenamento de modelos e dados: Capacidade de armazenar e executar aplicações de ML.

    - Flexibilidade de configuração: Capacidade de modificar configurações da instância, como adicionar GPUs.

    - Personalização avançada: Controle total sobre o ambiente Jupyter, incluindo configuração detalhada da VM.

    Independentemente de qual seja a escolha, as soluções Vertex AI Notebook ajudam a gerenciar o fluxo de trabalho de machine learning: na preparação e exploração de dados, os notebooks Vertex AI Jupyter facilitam o acesso e a integração contínuos aos dados com o Google Cloud Storage, o que permite a recuperação e manipulação direta de conjuntos de dados armazenados na nuvem. Além disso, a integração com serviços como BigQuery, Dataproc e Spark agiliza as tarefas de ingestão, pré-processamento e exploração de dados. Os notebooks Vertex AI Jupyter vêm com bibliotecas pré-instaladas, como scikit-learn, TensorFlow e Pytorch. Isso permite que os desenvolvedores utilizem as funcionalidades dessas bibliotecas diretamente no notebook, agilizando o processo de desenvolvimento, bem como a execução de diferentes experimentos de modelo de aprendizado de máquina para realizar ajustes de hiperparâmetros e avaliações de modelos pode ser feita na biblioteca que você escolher. Os notebooks Vertex AI Jupyter simplificam a implantação de modelos em ambientes de produção usando Vertex AI Pipelines, isso automatiza o processo de implantação e garante consistência entre ambientes de treinamento e produção. O Vertex AI Monitoring permite o monitoramento contínuo do desempenho do modelo em produção, alerta os usuários sobre possíveis problemas e garante o desempenho ideal do modelo ao longo do tempo.

    Em resumo, o Vertex AI oferece duas soluções de notebooks Jupyter, Colab Enterprise e Workbench, cada uma atendendo a diferentes necessidades de fluxo de trabalho de aprendizado de máquina. Ambas as soluções simplificam o processo de desenvolvimento e implantação de modelos, oferecendo flexibilidade, escalabilidade e integração com outros serviços do Google Cloud. A escolha entre Colab Enterprise e Workbench dependerá da complexidade do projeto e das preferências do usuário.


    Acesso Gratuito com Limitações: https://www.cloudskillsboost.google/?locale=pt_BR

    - O Google Cloud Skills Boost oferece um catálogo de cursos, laboratórios práticos e selos de habilidade. Parte desse conteúdo pode ser acessado gratuitamente, permitindo que você explore e aprenda sobre as tecnologias do Google Cloud. No entanto, alguns conteúdos e recursos mais avançados podem exigir uma assinatura paga. 

    - Crie uma conta ou faça login: se você já tiver uma conta do Google (Gmail, por exemplo), pode usá-la para fazer login. Caso contrário, crie uma nova conta Google.

    - Machine Learning Engineer Learning Path: https://www.cloudskillsboost.google/paths/17?locale=pt_BR

    Compartilhe
    Recomendados para você
    TONNIE - Java and AI in Europe
    Microsoft - Azure Administrator Certification (AZ-104)
    WEX - End to End Engineering
    Comentários (0)
    Recomendados para vocêWEX - End to End Engineering