O Novo Fenômeno em Inteligência Artificial: O Livro que Todos Estão Lendo

Caso não tenha ocorrido a você, o livro do momento é "AI Engineering", da Chip Huyen. Eu havia lido outra obra dela, "Designing Machine Learning Systems", e este novo livro é um complemento para trabalhar com modelos "fundacionais", como ela afirma no livro. Abaixo seguem as minhas notas do capítulo um.

Capítulo 1

• Language models são modelos que guardam uma ou mais informações estatísticas sobre linguagens (por exemplo, português brasileiro).
• Isso implica calcular a probabilidade de uma palavra aparecer em um contexto, como: “Hoje eu comi ___”.
• Aha! Language models partem da premissa de que palavras como "Pizza" serão previstas com mais frequência do que palavras como "árvore" em determinados contextos.
• Aha! Tokens reduzem o tamanho do vocabulário, ajudando o modelo a ser mais rápido.
• Além disso, existem mais tokens únicos do que palavras únicas, o que ajuda o modelo a diferenciar e entender melhor as palavras.
• Existem dois tipos principais de modelos: modelos regressivos e masked models.
• Exemplo de modelo regressivo: GPT.
• Exemplo de masked model: BERT.
• Pergunta:
• Masked models como o BERT são melhores para corrigir bugs em códigos?
• Aha! Aplicar labels para datasets constitui um grande desafio para Machine Learning, especialmente em ML supervisionado.
• Aha! Self-Supervision implica que o modelo infere a label automaticamente, sem intervenção humana.
• Aha! Multimodal é um modelo que pode “ver”, “escrever” e “falar”.
• Demonstração:
• Exemplo de capacidades multimodais do ChatGPT:
• Aha! Segundo o autor, as capacidades multimodais representam o futuro da pesquisa científica.
• Experimentar:
• Desenvolvi um artefato usando imagem e texto: Ver artefato aqui
• Aha! É mais prático adaptar um modelo existente para uma necessidade específica do que construir um modelo do zero.
• Observação:
• Existem poucos casos de uso documentados de aplicação de LLMs na educação.
• Question:
• Por que eu quero construir uma aplicação impulsionada por IA?
• Aha! Se algo é simples para mim produzir, provavelmente também será simples para o meu competidor.