Uw gegevensintegratieproject ontwerpen
Qlik Talend Data Integration biedt de mogelijkheid om gegevenspijplijnen te maken om verschillende taken voor gegevensintegratie uit te voeren ter ondersteuning van de vereisten voor uw gegevensarchitectuur en analyses.
U kunt uw gegevensintegratiestroom maken in een project met behulp van gegevenstaken. Het project wordt gekoppeld aan een gegevensplatform dat wordt gebruikt als doel voor alle uitvoergegevens. Het project wordt opgeslagen in een gegevensruimte. U moet ook verbindingen naar uw bronnen en doelen maken.
Een ruimte maken
Werken in ruimten in Gegevensintegratie
Maak een gegevensruimte die wordt gebruikt om uw project te maken en op te slaan. In de ruimte kunt u ook nieuwe verbindingen maken met behulp van connectoren en toegang tot Data Movement gateways beheren.
Maak verbindingen naar uw bronnen en doelen
Verbindingen instellen naar gegevensbronnen
Maak verbindingen naar uw gegevensbronnen.
Verbindingen naar doelen instellen
Maak verbindingen naar uw doelplatform.
Qlik Data Gateway - Data Movement
Stel een Qlik Data Gateway - Data Movement in voor de veilige verplaatsing van gegevens vanuit de gegevensbronnen van uw bedrijf en vanuit SaaS-applicaties naar ondersteunde doelen.
Een project maken
Wanneer u een project maakt, moet u uw gebruiksscenario selecteren.
Een gegevenspijplijnproject maken
Gegevenspijplijnprojecten ondersteunen het opnemen van gegevens uit een groot aantal ondersteunde bronnen in een gegevensplatform, waar u gegevens vervolgens kunt transformeren met ELT-transformaties (pushdown) om datalakehouse- en datawarehouse-architecturen te ondersteunen. Pijplijnen ondersteunen logboekgebaseerde CDC en incrementele gegevensbronnen, maar bieden een reeks opties voor gegevensopname in de belangrijkste datawarehouse-platforms.
Gebruik een gegevenspijplijnproject wanneer u het volgende wilt doen:
-
Ondersteuning van type 1 en type 2 gegevensstructuren voor op uw opnameprocessen.
-
Transformeer uw gegevens en geef ze opnieuw vorm, zodat ze geschikt zijn voor uitvoer of sterrenschema's voor analytische werklasten.
-
Maak een lakehouse op basis van Iceberg.
-
Maak complexe pijplijnen die projectoverstijgend worden beheerd voor organisatorische of functionele grenzen.
Een replicatieproject maken
Replicatieprojecten ondersteunen directe replicatie van een groot aantal ondersteunde gegevensbronnen naar datalakes of elk ondersteund doelplatform. Gegevens worden direct toegepast op uw doelstructuren, maar complexe transformaties of het opnieuw vormgeven van gegevens wordt niet ondersteund. Replicatiepijplijnen ondersteunen een grotere reeks doelechnologieën voor replicatiescenario's.
Gebruik een replicatieproject om het volgende te doen:
-
Repliceer gegevens naar uw doel, zonder complexe transformaties van die gegevens.
-
Repliceer gegevens naar een doel dat niet wordt ondersteund door gegevenspijplijnen.
Beheer versies van uw pijplijnproject
Uw projecten beheren met versiebeheer
Gebruik versiebeheer om de ontwikkeling van een gegevensproject te beheren en wijzigingen bij te houden.