Avant de continuer, assurez-vous que votre service Postgres est accessible au service ClickPipes. C’est normalement le cas par défaut, mais si vous avez restreint l’accès par IP, vous devrez peut-être autoriser l’accès à certaines IP sources de cette liste, selon la région où se trouve votre service ClickHouse.
1
Configurer le service de réplication
Renseignez les paramètres de réplication :
- Integration name : le nom de ce ClickPipe
- service ClickHouse : sélectionnez un service ClickHouse Cloud existant ou créez-en un nouveau
- Postgres database : la base de données source à répliquer
- Replication method : choisissez l’une des options suivantes :
- Initial load + CDC : importe les données existantes et maintient les tables à jour au fil des nouveaux changements (recommandé)
- Initial load only : snapshot ponctuel des données existantes, sans mises à jour ultérieures
- CDC only : ignore le snapshot initial et ne capture que les nouveaux changements
2
Configurer les paramètres de réplication
Affinez la manière dont les données sont répliquées :
- Sync interval (seconds) : fréquence à laquelle les changements sont récupérés depuis Postgres (par défaut : 60)
- Parallel threads for initial load : nombre de threads utilisés pendant le snapshot initial (par défaut : 4)
- Pull batch size : nombre de rows récupérées par batch pendant la réplication (par défaut : 100000)
- Snapshot number of rows per partition : nombre de rows par partition pendant le snapshot initial (par défaut : 100000)
- Snapshot number of tables in parallel : nombre de tables traitées simultanément lors du snapshot (par défaut : 1)
3
Sélectionner les tables à répliquer
Choisissez une base de données de destination et sélectionnez les tables à répliquer :
- Destination database : sélectionnez une base de données ClickHouse existante ou créez-en une nouvelle
- Prefix default destination table names with schema name : ajoute le schema Postgres en préfixe afin d’éviter les conflits de noms
- Preserve NULL values from source : conserve les valeurs NULL au lieu de les convertir en valeurs par défaut du type. Ce paramètre s’applique à toutes les tables du pipe et ne peut plus être modifié une fois le pipe créé.
- Remove deleted rows during merges : pour les tables ReplacingMergeTree, supprime physiquement les rows supprimées lors des merges en arrière-plan
4
Surveiller votre ClickPipe
Une fois le ClickPipe démarré, il apparaît dans ce même menu. Le snapshot initial de l’ensemble des données peut prendre un certain temps selon la taille de vos tables.Cliquez sur le nom de l’intégration pour consulter l’état détaillé, suivre la progression, visualiser les erreurs et gérer le ClickPipe. Consultez Cycle de vie d’un ClickPipe Postgres pour comprendre les différents états dans lesquels votre ClickPipe peut se trouver.