Desenvolvendo seu projeto de integração de dados
O Qlik Talend Data Integration fornece a capacidade de criar canais de dados para realizar uma variedade de tarefas de integração de dados em suporte aos seus requisitos de arquitetura e análise de dados.
Você cria seu fluxo de integração de dados em um projeto, usando tarefas de dados. O projeto está associado a uma plataforma de dados usada como destino para todas as saídas. O projeto é armazenado em um espaço de dados. Você também deve criar conexões com suas fontes e destinos.
Criar um espaço
Trabalhando em espaços no Data Integration
Crie um espaço de dados que seja usado para criar e armazenar seu projeto. Dentro do espaço, você também pode criar novas conexões usando conectores e gerenciar o acesso aos Data Movement gateways.
Crie conexões com suas fontes e destinos
Configurando conexões com fontes de dados
Crie conexões com suas fontes de dados
Configurando conexões com destinos
Crie conexões com sua plataforma de destino.
Qlik Data Gateway - Data Movement
Configure o Qlik Data Gateway - Data Movement para facilitar a movimentação segura de dados de suas fontes de dados empresariais e aplicativos SaaS para alvos compatíveis.
Criar um projeto
Ao criar um projeto, você deve selecionar o caso de uso.
Criando um projeto de pipeline de dados
Os projetos de pipeline de dados aceitam a ingestão de dados de um grande número de fontes de dados compatíveis com uma plataforma de dados, em que você pode, então, transformar dados com transformações ELT (pushdown) para apoiar arquiteturas de lakehouse de dados e armazém de dados. Os pipelines aceitam CDC baseado em log e fontes de dados incrementais, mas oferecem uma série de opções de ingestão de dados para as principais plataformas de armazém de dados.
Use um projeto de pipeline de dados quando você quiser:
-
Ofereça suporte a estruturas de dados do tipo 1 e do tipo 2 com seus processos de ingestão.
-
Transforme e remodele seus dados para obter resultados adequados à finalidade ou esquemas em estrela para cargas de trabalho analíticas.
-
Crie um lakehouse com base no Iceberg.
-
Criar pipelines complexos que são gerenciados entre projetos para limites organizacionais ou funcionais.
Criando um projeto de replicação
Os projetos de replicação oferecem suporte à replicação direta de um grande número de fontes de dados compatíveis para data lakes ou qualquer plataforma de destino compatível. Os dados são aplicados diretamente às estruturas de destino, mas não há suporte para transformações complexas ou remodelagem de dados. Os pipelines de replicação oferecem suporte a um conjunto maior de tecnologias de destino para cenários de replicação.
Use um projeto de replicação quando você quiser:
-
Replicar dados para seu destino e não precisar de transformações complexas desses dados.
-
Replicar dados em um destino não compatível com pipelines de dados.
Gerenciar versões de seu projeto de pipeline
Gerenciar seus projetos com controle de versão
Use o controle de versão para gerenciar o desenvolvimento de um projeto de dados e para acompanhar as alterações.