Como Será o Futuro sem Eles? Dados, Informação e Conhecimento a Alma do Data Warehouse



Doubleday Karlo Francotti
Graduando em Sistemas de Informação
Universidade do Sul de Santa Catarina
[email protected]


Resumo:
O uso da tecnologia nos tempos atuais tem sido a braço direito e solução de muitos gerentes e analistas de negócios.
Com o advento do BI e todos os processos de estudo dos dados, causou uma dependência enorme de ferramentas e base de conhecimentos para analise de casos. Mais se não tivéssemos os dados, como seria possível identificar a necessidade de aprimoramento da tecnologia?
Nesse artigo veremos as faces do Data Warehouse e sua real importância com os dados, informação e conhecimento.



1 Introdução
Em decorrência da revolução industrial e das grandes guerras mundiais, o primeiro grande passo dado em meados de 1946. O ENIAC, um grande computador construído na Universidade da Pensilvânia, movido a 18.000 válvulas e ocupando uma grande sala, ele conseguia executar 200 operações por segundo.
Rodavam somente um aplicativo de cada vez, onde esses aplicativos eram executados sobre arquivos mestres. As aplicações utilizadas, geralmente desenvolvidas em COBOL. Onde era comum o uso de cartões perfurados. Os arquivos mestres eram armazenados em arquivos de fitas magnéticas, que eram adequadas para o armazenamento de um grande volume de dados a baixo custo, mas apresentavam o inconveniente de terem que ser acessadas sequencialmente, deixando o trabalho demorado e um jogo de paciência para o manipulador das fitas.
Por volta de 1970, à época de ouro para o armazenamento e acesso aos dados. A introdução do armazenamento em disco, ou DASD (direct access storage device, ou dispositivo de armazenamento de acesso direto), surgiu um novo tipo de software conhecido como SGBD ou Sistema de Gerenciamento de Banco de Dados. Com o DASD e o SGBD surgiu a idéia do desenvolvimento dos: “banco de dados”. Também definido como uma única fonte de dados para todo o processamento.
O banco de dados promoveu uma visão de uma organização “baseada em dados”, em que o computador poderia atuar como coordenador central para atividades de toda a empresa. Nesta visão, o banco de dados tornou-se um recurso corporativo básico. Pela primeira vez as pessoas não estavam vendo os computadores apenas como misteriosos dispositivos de previsão. Em vez disso, os computadores eram vistos como uma verdadeira vantagem competitiva. A idéia dos sistemas de informação para os negócios começou a tomar forma, onde às empresas alcançaram mais eficiência. Com essa evolução, começaram a perceber que poderiam analisar de forma otimizada seus dados, ou seja, descobriram que poderiam incrementar e dar valor nos seus recursos de BI (Business Intelligence). Nasce um novo conceito para a tecnologia da informação.

Ante de realizar quaisquer ligações desses conceitos, faz-se necessário uma breve discussão sobre a distinção entre dados, informação e conhecimento.
Um elemento puro, quantificável sobre um determinado evento. Os dados são fatos, números, texto ou qualquer mídia que possa ser processada pelo computador.
A informação é o dado analisado e contextualizado. Ou seja, com base em um conjunto de dados, as informações são constituídas por padrões, associações ou relações que os próprios dados proporcionam. O conhecimento representado pela utilização das estruturas de dados e procedimentos interpretáveis que levam a um comportamento conhecido. Utilizando esse conhecimento para planejar e decidir.
2 Áreas que trabalham com Dados, Informação e Conhecimento
2.1 Gestão do Conhecimento
A gestão do conhecimento, conhecido como (Knowledge management). É a primeira fonte de obtenção de informações. Sendo responsável pela organização empresarial, entre os funcionários, até mesmo uma emplastação de ISSO. Onde todo o processo passa ser uma gestão de conhecimento. Duas formas de conhecimento: conhecimento explícito, trabalhos individuais e o conhecimento tácito, exemplo a ISO.
Em virtude do controle do conhecimento, criamos regras de trabalho ou formas de controle do conhecimento ou de se obter o conhecimento. A (mineração de dados e o data warehouse).

2.2 Inteligência de Negócios ou Business Intelligence (BI)
Com a forte concorrência hoje imposta pelas as empresas, não fica difícil ver o grande crescimento na busca de ferramentas para:
• Entender e identificar melhor o nicho de atuação do mercado;
• Reduzir custos operacionais;
• Melhorar o relacionamento com os fornecedores e clientes;
• Está sempre a um passo na frente no mercado consumidor.

A utilização de varias fontes de informações para analise para a tomada de decisão do gente de TI, tem dificultado o trabalho de muitas empresas. As informações estão dispostas em toda parte, relatórios, formulários, planilhas e gráficos, seb sites, ect. Percebemos que no contexto das informações, temos um emaranhado de arquivos, tabelas, todas com algum tipo de relacionamento. Nessa parte que entra o BI, adotando regras e técnicas para formatação dos dados. Transportando para uma base onde não terá importância a sua origem. O grande vilão das empresas não é forma de organizar o seu sistema de conhecimento. E sim, de relacioná-la com a inteligência de negócios. Os analistas de negócios especializados em BI têm uma grande “mina de ouro”, em suas mãos. Melhor dizendo, em suas mentes e em seus algoritmos.

2.3 Data Warehouse (DW)
O que é um Data Warehouse?
Por Willian H. Inmon "Data Warehouse é um banco de dados orientado por assunto, integrado, não volátil e histórico, criado para suportar o processo de tomada de decisão."

Data Warehouse (DW), Trata-se de uma arquitetura de sistema de informação, que fornece a os seus usuários informações históricas de apoio à decisão, cuja quais, são de difícil acesso ou de apresentação quando se utiliza de meios tradicionais de armazenamento de dados operacionais. Os sistemas data warehouse forma uma base de dados diferenciada da base do OLAP (On Line Analytical Processing), cujo processo, é a facilitação do reconhecimento dos pontos cruciais da empresa. Como esse aspectos podemos citar algumas exemplos do Data Warehouse:
• As tomadas de decisões devem ser enérgicas e rapidamente, usando todos os dados disponíveis;
• Os usuários dos sistemas de informações são especialistas e analistas de negócio, não técnicos ou analistas de sistemas;
• A competitividade aumenta dia após dia nas áreas de inteligência empresarial, bem como o valor agregado de informações;
• Orientação por assunto. Sendo direcionado para o assunto especifico da empresa.
2.3.1 Granularidade
Granularidade é o nível de detalhe dos dados existentes no Data Warehouse. Ou seja, quando maior o nível de detalhes menor será o nível de granularidade.


2.4 Características e Modalidades do Data Warehouse
Algumas características fundamentais do DW.
• Integração de dados de mais de um sistema operacional;
• Aumento do desempenho e transparência nas tarefas de consultas;
• Dados não voláteis e armazenados por longos períodos;
• Múltiplas visões para os mesmos dados detalhados melhorando a visão do negócio;

Segundo Amaral (1999), as possíveis modalidades de Data Warehouse são as seguintes:
Data Warehouse Corporativo (DWC)
A modalidade mais robusta, soluções geralmente adotadas por grandes empresas, cuja combinação e truncamento de variáveis e dados apresentam um grande volume de informação. Características desta modalidade:
• Capacidade de armazenamento nos servidores entre os 100GB a TB de dados;
• Tempo de resposta rápido;
• Dados relacionais, não-voláteis, bastante desnormalizados;
• Informações organizadas por área de análise;

Operational Data Store (ODS)
Modalidade mais rápida. Opera diretamente conectado aos dados operacionais, dando suporte a decisões de natureza operacional, com características de diminuir o tempo de resposta, algo que um data warehouse clássico não consegue oferecer.
• Tempo de resposta: de segundos a alguns minutos;
• Dados relacionais, voláteis, ou correntes, desnormalizados;
• Informações organizadas por área de análise, históricas (30-60 dias);
• Usuários finais: consumidores de informação.

Data Mart (DM)
Modalidade utilizada á setores específicos da empresa. Segundo o Kimball um defensor do Data Mart “... afirma que os Data Mart são subconjuntos de um Data Warehouse completo.” Sendo assim, entendemos que o DM é um DW pequeno, de visão departamental ou de área interesse.

As características do Data Mart:
• Gerenciamentos mais fáceis por serem menores;
• Permissão de tomada de decisão em nível departamental;
• Dados relacionais ou multidimensionais, não-voláteis;
• Custo baixo em comparação com Data Warehouse;
• Armazenamento de um único departamento.
2.5 Arquitetura do Data Warehouse
A arquitetura é a maneira de representar a estrutura completa de dados, comunicação, processamento, e resultados. A arquitetura é composta por:
• Camada de Acesso aos Dados
A camada de acesso aos dados deve permitir que a camada de acesso a informações se comunique com a camada operacional. A linguagem que mais se destaca para este fim, é a Structured Query Language (SQL).
Tornando a camada de acesso aos dados responsável pela interface entre as ferramentas que acessam a informação e as bases de dados operacionais.
• Camada de Diretório de Dados (Meta Dados)
Meta dados é um dado sobre um dado dentro da corporação. As sentenças DIMENSION em FORTRAN, ou CREATE em SQL, são exemplos de Meta Dados. Para ter um Data Warehouse completamente funcional, é necessário que a empresa possua uma vasta variedade de metadados disponíveis: dados sobre os relatórios dos usuários finais, dados sobre as bases de dados operacionais e outros.
• Camada de Acesso a Informações
Representa as ferramentas que o usuário final utiliza, em seu dia-a-dia, para acessar as informações, como por exemplo: Excel, Lotus, Access. Esta camada também inclui hardware e software envolvidos na exibição e impressão de relatórios, gráficos, e diagramas para análise e apresentação.
• Camada de Gerenciamento de Processos
Camada envolvida com o agendamento das várias tarefas que devem ser realizadas para construir e manter o Data Warehouse e o diretório de informações sobre os dados.

• Camada de Troca de Mensagens entre Aplicações
Esta camada permite a troca de mensagens, também referenciada como um middleware, pois pode envolver vários mecanismos além de protocolos de rede. A troca de mensagens pode ser utilizada, por exemplo, para isolar as aplicações, operacionais ou informativas, escondendo a complexidade com a qual os dados são formados.
• Camada do Data Warehouse
O núcleo, é aonde os dados analíticos atuais residem. Em um Data Warehouse físico, em certos casos, muitas cópias dos dados operacionais e/ou externos são realmente armazenados, de forma a facilitar o acesso e aumentar a flexibilidade.
• Camada de Organização dos Dados
A organização dos dados é também conhecida como gerenciamento de cópia, ou replicação, mas de fato, ela inclui todos os processos necessários para editar, selecionar, resumir, combinar e carregar o Data Warehouse.


2.6 OLAP (On-Line Analytical Processing)
É uma tecnologia de software (solução de ambiente) que habilita analistas, gerentes e executivos ter acesso rápido, consistente e interativo a uma grande variedade de possíveis visões de uma informação. A funcionalidade do OLAP é caracterizada pela análise dinâmica multidimensional de dados consolidados, incluindo drill-down para "penetrar" os níveis de consolidação; Drill-down é um método de exploração detalhada de dados que é utilizado na criação de níveis de sumarização de dados. Os níveis de drill-down dependem da granularidade dos dados no Data Warehouse. Processo de cliente/servidor.
2.6.1 Arquiteturas OLAP
Conforme o método utilizado para o armazenamento de dados utilizado para uma aplicação OLAP, será elaborada a arquitetura da aplicação. Os métodos de armazenamento de dados são: Multidimensional (MOLAP), Relacional (ROLAP), Híbrido (HOLAP) e Desktop (DOLAP).
No MOLAP (Multidimensional On-Line Analytical Processing), método mais clássico do OLAP e de maior desempenho. Os dados são armazenados de forma multidimensional, atribuindo varias dimenssões, exemplo: localidade, produto, valor, etc.
No ROLAP (Relational On-Line Analytical Processing) os dados são armazenados em bancos relacionais. Onde todo o processo de pesquisa do ROLAP é feito pelo mesmo gerenciador do banco. Dando uma melhor escabilidade no levantamento dos dados.
No HOLAP (Hybrid On-Line Analytical Processing) arquitetura mais recente e por isso, não muito definida. Tendo uma combinação das definições ROLAP e MOLAP. Usurpando que de melhor das duas definições.
No DOLAP (Desktop On-Line Analytical Processing) como mencionamos, o OLAP trabalho no processo cliente/servidor. Com a definição desktop o peso do trafego da rede não será tão exigido. Pois, suas aplicações são enviadas para o servidor em microcubo e retornadas para processamento na estação do usuário. Com isso, reduzindo o trafego da rede.

Tendências
O JOLAP é um esforço da Java Community Process (JCP) de projetar uma API Java para servidores e aplicações OLAP, compatível com o ambiente Java 2Plataform Enterprise Edition (J2EE). Pacotes Java estão sendo propostos como extensão do padrão JOLAP, são eles:
javax.olap, javax.olap.metadata, javax.olap.data e javx.olap.query.

Produtos OLAP Comerciais
* Applix TM1;
* Business Objects;
* Celequest;
* Cognos;
* DataWarehouse Explorer (CNS International);
* Holos (defunct);
* Hyperion Solutions Corporation;
* IBM's DB2 Cube Views;
* Information Builders WebFOCUS;
* Microsoft Analysis Services;
Produtos OLAP Open Source
* Palo - Um servidor MOLAP open source;
* Mondrian - Um servidor ROLAP open source;
* JPalo - Ferramentas open source para o Palo;
* Pentaho - Pacote de Ferramentas de BI (Incluido OLAP)


2.7 Mineração de Dados ou Data Mining
A definição mais válida de Data Mining[1] tenha sido elaborada por Usama Fayyad (Fayyad et al. 1996): "...o processo não-trivial de identificar, em dados, padrões válidos, novos, potencialmente úteis e ultimamente compreensíveis".
É o processo de exploração, analise e critica de grandes números de dados, com o objetivo de avaliar padrões, ou regras que apresentem as melhores informações dentro deles.
Data Mining é parte de um processo maior de conhecimento denominado Knowledge Discovery in Database (KDD). KDD consiste, fundamentalmente, na estruturação do banco de dados; na seleção, preparação e pré-processamento dos dados;


3 Conclusão

Os conhecimento e valores financeiros, agregados ao desenvolvido aprimorado da analise dos dados através do Data Warehouse ou em seus componentes. Transformou o mundo competitivo que conhecemos.
Não importa se são apenas micro empresas ou megas corporações. Hoje no mundo globalizado não existe mais o caderno com anotações dos produtos mais vendido, para saber a preferência dos seus clientes do mercadinho. Com base em Taurion (1998), pode-se reconhecer essa necessidade de criar o data warehouse pelo número de respostas "sim" a algumas questões, feita como exemplo ao empresário do mercadinho.
A escolha do tipo de processo de analise de dados pode basear-se, segundo Amaral (1997), em variáveis como “competitividade, volume de negócios e informação e tamanho da base de dados”.
Concluímos com base nas informações desse artigo, que o mais importante para criação de um Data Warehouse, é saber qual o conhecimento que desejamos obter.




4 Referências Bibliográficas


[01] W. H. Inmon. Como construir o data warehouse. tradução de Ana Maria Netto Guz. – Rio de Janeiro: Campus, 1997;

[02] Projeto de Banco de Dados: uma prática / Felipe Nery Rodrigues Machado, Mauricio Pereira de Abreu, São Paulo: Érica, 1996;

[03] Análise das modalidades de um data warehouse (DW). Disponível em: (http://www.cefetsp.br/edu/sinergia/6p9c.html) acessado em 23/08/2006;
[04] INMON, W. H., & RICHARD, D. H. Como usar o data Warehouse. Rio de Janeiro: Infobook, 1997;

[05] Gestão do conhecimento: uma revisão crítica orientada pela abordagem da criação do conhecimento. Disponível em: (http://www.scielo.br/scielo.php?pid=S0100-19652004000200015&script=sci_arttext) acessado em 08 /09/2006;

[06] Business Intelligence - Produzindo Resultados. Disponível em: (http://www.dwbrasil.com.br/html/artbi_20030602.html) acessado em 23/08/06;

[07] Proposição de indicadores para avaliação técnica de projetos de data warehouse: Um estudo de caso no data warehouse da plataforma lattes. Disponível em: (http://teses.eps.ufsc.br/defesa/pdf/14975.pdf#search=%22teoria%20Operational%20Data%20Store%22) acessado em 09/09/2006;

[08] BI: Data Marts. Disponível em: (http://www.imasters.com.br/artigo/1612/bi/bi_data_marts/) acessado em 10/09/2006;

[09] The origins of today’s OLAP products. Disponível em: (http://www.olapreport.com/origins.htm) acessado em 12/09/2006;

[10] Disponível em: (http://pt.wikipedia.org/wiki/Data_warehouse) acessado em 12/09/2006;

[11] Disponível em: (http://www.dwinfocenter.org/) acessado em 12/09/2006;
Autor: Doubleday Karlo Francotti


Artigos Relacionados


Quais São Os Benefícios Do Bi

Como A Tecnologia Da Informação, Através Da Inteligência Empresarial – “business Intelligence” ( Bi ), Tem Provocado Impacto Na Gestão Das Empresas?

Como A Tecnologia Da Informação, Através Da Inteligência Empresarial – “business Intelligence” ( Bi ), Tem Provocado Impacto Na Gestão Das Empresas?

Banco De Dados E Business Intelligence

Linguagem De Acesso A Banco De Dados Relacional:

Integração De Banco De Dados De Fontes Heterogêneas

Banco De Dados