Antes de continuar, asegúrate de que el servicio de ClickPipes pueda acceder a tu servicio de Postgres. Así debería ser de forma predeterminada, pero si has restringido el acceso por IP, es posible que debas conceder acceso a algunas IP de origen de esta lista, según la región en la que se encuentre tu servicio de ClickHouse.
1
Configurar el servicio de replicación
Complete la configuración de replicación:
- Integration name: un nombre para este ClickPipe
- ClickHouse service: seleccione un servicio de ClickHouse Cloud existente o cree uno nuevo
- Postgres database: la base de datos de origen desde la que se replicará
- Replication method: elija una de las siguientes opciones:
- Initial load + CDC: importa los datos existentes y mantiene las tablas actualizadas con los nuevos cambios (recomendado)
- Initial load only: instantánea puntual de los datos existentes, sin actualizaciones continuas
- CDC only: omite la instantánea inicial y captura únicamente los cambios nuevos a partir de ese momento
2
Configurar los ajustes de replicación
Ajuste con precisión la forma en que se replican los datos:
- Sync interval (seconds): con qué frecuencia se extraen los cambios de Postgres (valor predeterminado: 60)
- Parallel threads for initial load: número de subprocesos utilizados durante la instantánea inicial (valor predeterminado: 4)
- Pull batch size: número de filas obtenidas por lote durante la replicación (valor predeterminado: 100000)
- Snapshot number of rows per partition: filas por partición durante la instantánea inicial (valor predeterminado: 100000)
- Snapshot number of tables in parallel: cuántas tablas se incluyen en la instantánea de forma simultánea (valor predeterminado: 1)
3
Seleccionar las tablas que se replicarán
Elija una base de datos de destino y seleccione qué tablas desea replicar:
- Destination database: seleccione una base de datos de ClickHouse existente o cree una nueva
- Prefix default destination table names with schema name: agrega el esquema de Postgres como prefijo para evitar conflictos de nombres
- Preserve NULL values from source: mantiene los valores NULL en lugar de convertirlos a los valores predeterminados del tipo. Este ajuste se aplica a todas las tablas del pipe y no puede modificarse una vez creado el pipe.
- Remove deleted rows during merges: en las tablas ReplacingMergeTree, elimina físicamente las filas borradas durante los merges en segundo plano
4
Monitorear su ClickPipe
Una vez que el ClickPipe se inicie, aparecerá en ese mismo menú. La instantánea inicial de todos los datos puede tardar un tiempo, según el tamaño de sus tablas.Haga clic en el nombre de la integración para ver el estado detallado, monitorear el progreso, consultar errores y administrar el ClickPipe. Consulte Ciclo de vida de un ClickPipe de Postgres para comprender los distintos estados en los que puede encontrarse su ClickPipe.