Abstrato

Machine Learning 2018: Virtualização de dados: Utilização da virtualização de dados para uma plataforma analítica integrada - Manoj Mishra-Union Insurance

Manoj Mishra

Para possuir vantagem competitiva, as organizações de todo o mundo estão a contribuir para a necessidade de melhores análises (históricas, em tempo real, preditivas e cognitivas) do conhecimento em vários domínios, incluindo clientes, produtos, serviços e operações. graças a isto, os dados disponíveis para tais análises estão a diminuir em tamanho, tecnologia e complexidade. Há vários anos que as empresas investem em tecnologias como data warehouses, data marts, ferramentas OLAP, sistemas Big Data/Hadoop e plataformas de análise de streaming em tempo real para aproveitar estas oportunidades. A preposição de valor total para o negócio é maximizada apenas quando estes são combinados numa plataforma analítica integrada. No entanto, as ferramentas tradicionais não podem integrar dados de streaming e dados em segurança, especialmente quando os dados estão espalhados no local, na nuvem, em sites e em documentos em todo o lado. A virtualização de dados fornece frequentemente visualizações lógicas de conhecimento e insights analíticos em toda a empresa para fornecer uma plataforma analítica integrada. Ao utilizar a integração nativa com grelhas de dados na memória para processamento, a virtualização de dados pode fornecer uma estrutura de serviços de dados unificada e centralizada com segurança e integração em tempo real através de múltiplas fontes de dados grandes e tradicionais, incluindo Hadoop, NoSQL , cloud e software como software. Consequentemente, a virtualização de dados é tornar-se um requisito para lidar com os desafios únicos da explosão de conhecimento no atual clima empresarial em constante mudança. A virtualização de dados apresenta uma abordagem contemporânea à integração de dados. Ao contrário das soluções ETL, que replicam dados, a virtualização de dados deixa a informação nos sistemas de origem, expondo simplesmente uma visão integrada de toda a informação aos consumidores de dados. À medida que os utilizadores empresariais detalham os relatórios, a virtualização de dados procura as informações em tempo real dos sistemas de origem subjacentes. A virtualização de dados prova que a ligação aos dados é muito superior à sua recolha. A virtualização de dados pode ser uma camada de dados virtual unificada com a qual as aplicações e os utilizadores empresariais podem aceder a qualquer informação empresarial, independentemente da sua localização, formato ou protocolo, utilizando os métodos que melhor se adequam às suas necessidades de trabalho, como a descoberta e a pesquisa de dados. A virtualização de dados é uma abordagem à gestão de dados que permite a uma aplicação recuperar e manipular dados sem exigir detalhes técnicos sobre a informação, como a forma como estão formatados na fonte ou onde estão fisicamente localizados, e pode fornecer uma visão do cliente ( ou visão única da outra entidade) dos dados gerais Ao contrário do processo normal de remoção, transformação e carregamento ("ETL"),a informação permanece in situ e é fornecida com acesso em tempo real ao sistema de origem da informação. Isto reduz o risco de erros de conhecimento, a carga de trabalho movimenta dados que nunca serão utilizados, e não planeia importar um modelo de dados para a informação (um exemplo de dados heterogéneos pode ser um sistema de base de dados federado). de atualizações de dados de transações nos sistemas de origem. Para resolver as diferenças nos formatos e na semântica de origem e de consumidor, são utilizadas diversas técnicas de abstração e transformação. esta ideia e software podem ser um subconjunto de integração de conhecimento e são utilizados em business intelligence, serviços de dados de arquitetura orientados a serviços, computação em nuvem, pesquisa empresarial e gestão de dados mestres. A virtualização de dados também pode ser considerada uma alternativa ao ETL e ao armazenamento de dados. A virtualização de dados tem como objetivo a produção de insights rápidos e oportunos a partir de diversas fontes, sem a necessidade de iniciar um projeto de dados sério com um amplo ETL e armazenamento de dados. No entanto, a virtualização de dados também poderia ser prolongada e adaptada para satisfazer também os requisitos de armazenamento de dados. Isto pode exigir uma compreensão dos requisitos de armazenamento e histórico de informação, juntamente com planeamento e estilo, para incluir o tipo adequado de estratégias de virtualização, integração e armazenamento de dados e otimizações de infraestrutura/desempenho (por exemplo, streaming, na memória, armazenamento híbrido).Isto pode exigir uma compreensão dos requisitos de armazenamento e histórico de informação, juntamente com planeamento e estilo, para incluir o tipo adequado de estratégias de virtualização, integração e armazenamento de dados e otimizações de infraestrutura/desempenho (por exemplo, streaming, na memória, armazenamento híbrido).Isto pode exigir uma compreensão dos requisitos de armazenamento e histórico de informação, juntamente com planeamento e estilo, para incluir o tipo adequado de estratégias de virtualização, integração e armazenamento de dados e otimizações de infraestrutura/desempenho (por exemplo, streaming, na memória, armazenamento híbrido).

Biografia:

Manoj Mishra concluiu o seu bacharelato em Engenharia em Ciência da Computação e uma certificação em Ciência de Dados pela Universidade Johns Hopkins. Há mais de duas décadas de experiência espalhada por diversas geografias (EUA, Europa, Índia e Médio Oriente) a trabalhar com organizações como a Adobe Systems, Dell, Perot Systems, CEB-Gartner, Rolta e Tata Group. Atualmente é Head Manager de Business Intelligence e Dados na Union Insurance e lidera atualmente a sua estratégia de dados e transformações tecnológicas através da análise de dados, investigação e diversas iniciativas de IA.