Transforme a Web em sua base de dados pessoal com NodeJS e Web Scraping

const axios = require("axios");
const cheerio = require("cheerio");

const url = "https://pt.wikipedia.org/wiki/Wikip%C3%A9dia:P%C3%A1gina_principal";

axios
.get(url)
.then((response) => {
  const html = response.data;
  const $ = cheerio.load(html);
  const dados = [];

  $("div.mw-content-ltr").each((i, div) => {
    const cabecalhos = $(div).find("div.main-page-block-heading");
    const conteudos = $(div).find("div.main-page-block-contents");

    if (cabecalhos.length === conteudos.length) {
      for (let j = 0; j < cabecalhos.length; j++) {
        dados[j] = {
          titulo: $(cabecalhos[j]).text(),
          conteudo: $(conteudos[j])
            .text()
            .replace(/\n/g, "|")
            .replace(/\+/g, "")
            .split("|")
            .filter((item) => item.trim() !== ""),
        };
      }
    } else {
      console.error("O número de títulos e conteúdos não corresponde ao índice", i);
    }
  });
  console.log(dados);
})
.catch((error) => {
  console.error("Erro ao fazer scraping:", error);
});

dados = [
{
  titulo: 'Artigo em destaque',
  conteudo: [
    'Otávio da Grã-Bretanha foi um príncipe, o décimo terceiro filho do rei Jorge III e da sua rainha consorte, Carlota de Meclemburgo-Strelitz. Seis meses após a morte do seu irmão mais novo, o príncipe Alfredo, Otávio foi inoculado contra o vírus da varíola. Vários dias depois acabou por ficar doente. A sua morte aos quatro anos devastou os seus pais e, em particular, o seu pai. O rei Jorge III gostava muito dos seus dois filhos mais novos, Alfredo e Otávio, e os seus últimos surtos de loucura envolviam alucinações deles. (Leia mais)',
    'Compartilhe: ',
    'Artigos destacados: 1438 •',
    'Artigos bons: 1867'
  ]
},
{
  titulo: 'Eventos atuais',
  conteudo: [
    'Nemo (imagem), representando a Suíça, vence o Festival Eurovisão da Canção com "The Code".',
    'Tempestades solares atingem a Terra, criando auroras polares em latitudes mais baixas que o normal.',
    'Enchentes no estado brasileiro do Rio Grande do Sul causam dezenas de mortes e deixam milhares de desabrigados.',
    "CNSA lança espaçonave Chang'e 6  com objetivo de recuperar amostra no lado oculto da Lua.",
    'Eventos a decorrer: Crise haitiana • Guerra Israel-Hamas (crise do Mar Vermelho) • Invasão da Ucrânia pela Rússia (cronologia)Mortes recentes: Alice Munro',
    'Paulo César Pereio',
    'Amália Barros',
    'Fernando Emílio',
    'James Harris Simons',
    'Roger Corman',
    'Mais eventos atuais • Sugestões Wikinotícias'
  ]
},
{
  titulo: '14 de maio na história',
  conteudo: [
    'Vacina contra a varíola',
    'Independência do Paraguai (1811)',
    '1796 — Edward Jenner realiza o primeiro teste da vacina contra a varíola (na imagem).',
    '1948 — Em Tel Aviv, David Ben-Gurion pronuncia a declaração de independência do Estado de Israel.',
    '1952 — O Esquadrão de Demonstração Aérea Brasileiro, conhecido como Esquadrilha da Fumaça, realiza sua primeira exibição oficial.',
    'Nasceram neste dia…',
    'Robert Owen (1771-1858)  •  George Lucas (n. 1944)  •  Cate Blanchett (n. 1969)',
    'Morreram neste dia…',
    'Henrique IV de França (1553-1610)  •  Emma Goldman (1869-1940)  •  Frank Sinatra (1915-1998).',
    'Ver mais • Outros dias: 12 • 13 • 14 • 15 • 16 • Ver todos'
  ]
},
{
  titulo: 'Sabia que...',
  conteudo: [
    '… a planta com a maior flor registrada é a Rafflesia arnoldii (imagem), espécie cujas flores podem chegar a um metro de diâmetro e atingir o peso total de 11 quilogramas?',
    '… os nazistas promoveram a esterilização em massa de centenas de crianças afro-alemãs, chamadas de forma racista bastardos da Renânia, num programa oficial de eugenia?',
    '… uma rinoceronte foi quem mais recebeu votos na eleição para a Câmara Municipal de São Paulo, em 1959?',
    '… Dámaso Antonio Larrañaga, naturalista reconhecido e religioso uruguaio, foi membro do primeiro Senado Brasileiro e também do primeiro senado do Uruguai?',
    '… a cúpula do Panteão, em Roma, templo construído aos deuses romanos no início do século II e convertido em igreja na Idade Média, é até os dias de hoje a maior estrutura do tipo feita em concreto não armado?',
    'Índice geral • Sugestões'
  ]
},
{
  titulo: 'Imagem do dia',
  conteudo: [
    'Botão de agapanto-branco “White Heaven” (Agapanthus africanus). Técnica do empilhamento de foco (focus stacking) de 39 imagens. São plantas herbáceas, rizomatosas e bastante robustas, endêmicas da África do Sul, que podem ser facilmente reconhecidas pelas suas folhas em forma de fita, planas e bastante carnudas; pela sua inflorescência em umbela na extremidade de um longo escapo e pelas flores geralmente grandes com superovário.',
    '(resolução original: 3 456 × 3 456)',
    'Compartilhe:  ',
    'Índice geral • Commons'
  ]
}
]