Big Data e Business Analytics amadurecem

O mundo da computação empresarial está começando a ver a incorporação de novas tecnologias que foram desenvolvidas e adotadas pelas novas empresas de mídia como Google, Yahoo, Facebook, LinkedIn et al. Essas tecnologias incluem sistemas como sistemas de arquivos distribuídos em grande escala, como Hadoop, que pode lidar com conjuntos de dados enormemente grandes, computação em nuvem e virtualização, html 5, dispositivos móveis inteligentes e muito mais. Estamos agora à beira de mais uma revolução que forçará muitas indústrias a mudar a forma como processam seus dados e quais produtos e serviços podem oferecer. Já estamos vendo isso no mundo da nova mídia, onde o aumento dramático da geração e uso de dados de mídia social e seu valor óbvio está mudando rapidamente (mais uma vez) como os produtos são comercializados e comprados.

A análise dos dados gerados por empresas de mídia social como Facebook, LinkedIN e milhares de outras empresas relacionadas forçou as empresas a adotar novas abordagens para coletar, armazenar e analisar os dados. Além disso, as empresas bem-sucedidas precisam ser capazes de aumentar e diminuir seus sistemas mais rapidamente do que poderiam lidar com equipamentos internos. Isso, por sua vez, fez com que empresas como Rackspace, Amazon e Google desenvolvessem arquiteturas que permitem a rápida implantação de grandes quantidades de poder de computação, essencialmente permitindo que as empresas terceirizem toda ou parte de sua infraestrutura para que tenham computação sob demanda. Essas mudanças terão um impacto dramático na indústria e na sociedade.

O uso de "Business Analytics" se espalhará rapidamente à medida que o conhecimento de como lidar e analisar as enormes quantidades de dados agora disponíveis se tornar comum. Temos visto essas mudanças nos últimos dez anos, quando primeiro o Google e depois outras empresas desenvolveram novas abordagens para lidar e analisar dados. Essas abordagens geralmente envolvem milhares ou dezenas de milhares de computadores que podem ser usados ​​juntos para atacar problemas aparentemente insolúveis. Google, Yahoo e Facebook têm datacenters de tamanhos que estariam além da compreensão uma década atrás. O desenvolvimento desses imensos centros de computação obrigou a indústria de informática a se adaptar e desenvolver processadores muito mais "verdes" que a geração anterior, ou seja, usam muito menos energia e geram muito menos calor. Além disso, esses data centers agora estão sendo construídos perto de energia e refrigeração (ou seja, rios e grandes corpos d'água) para que seus custos de energia sejam reduzidos. (Tente imaginar a conta de luz do Google). A eficiência desses novos data centers monstruosamente grandes significa que estamos vendo uma mudança para uma computação mais centralizada, onde muitas empresas podem achar mais barato terceirizar parte de sua computação para um provedor de computação em nuvem. Isso, por sua vez, levanta uma série de questões de segurança, confiabilidade, contratuais e relacionadas à rede. onde muitas empresas podem achar mais barato terceirizar parte de sua computação para um provedor de computação em nuvem. Isso, por sua vez, levanta uma série de questões de segurança, confiabilidade, contratuais e relacionadas à rede. onde muitas empresas podem achar mais barato terceirizar parte de sua computação para um provedor de computação em nuvem. Isso, por sua vez, levanta uma série de questões de segurança, confiabilidade, contratuais e relacionadas à rede.

No entanto, as tecnologias de Big Data e Business Analytics amadureceram. Nos últimos meses, a Oracle e a EMC anunciaram soluções NOSQL para dados não estruturados. Esta semana, a Microsoft anunciou que o SQL Server 2012 atuará como um front-end para o Hadoop. A IBM oferece suporte ao hadoop há anos (SEE) e o incorporou à sua prática de Business Analytics. Ele também usou o hadoop como back end para seu sistema Watson , que venceu no Jeopardy há alguns meses.

Mas os anúncios recentes da EMC, Oracle e Microsoft trarão essas tecnologias diretamente para o ambiente corporativo e para muitos CIOs que nunca ouviram falar delas.

Estamos entrando em uma nova era. Será interessante ver a rapidez com que essas tecnologias são adotadas por grandes corporações. Algumas empresas, como Oracle e IBM, parecem ter uma vantagem. Por exemplo, a Oracle controla Java (hadoop é escrito em Java), Luster tem a capacidade de vender soluções completas incluindo hardware e software e consultoria, a IBM também pode oferecer soluções completas.

O próximo anúncio que espero ouvir é que as principais consultorias vão anunciar práticas centradas em "big data". Isso pode gerar muitos negócios para eles.

Artigo original escrito por Norman White (http://researchcomputing.blogspot.com/2011/10/big-data-and-business-analytics-comes.html) em que ele prevê uma revolução na utilização dos dados, exatamente o que vivemos hoje.