dbt-clickhouse, no desaparece: lo mantenemos al día con los releases de dbt 1.x y damos mantenimiento a ambos adaptadores en paralelo.
La documentación de dbt Core 1.x también se aplica a dbt OSS y dbt v2. El adaptador se comporta igual en ambos motores: los profiles, las configuraciones de modelo, las materializaciones y los macros descritos en las demás páginas de dbt funcionan sin cambios en dbt OSS, dbt v2 y la plataforma dbt. Las excepciones están documentadas en la tabla de paridad entre v1 y v2 que aparece más abajo.
dbt OSS es la build open-source (Apache 2.0) del motor v2. Consulta terminología y availability para ver cómo se relaciona con dbt v2 y la plataforma dbt.
Prueba ClickHouse en la plataforma dbt
Si te interesa probar la beta privada, regístrate mediante el formulario de beta privada de dbt Labs. El formulario pertenece a dbt Labs, por lo que la información que envíes llegará a dbt Labs y no a ClickHouse. Una vez habilitado el acceso, sigue las instrucciones de Connect ClickHouse en la documentación de dbt para configurar la conexión.Terminología y disponibilidad
dbt está disponible en varias formas, y un mismo adaptador puede ejecutarse en más de una de ellas. Esta tabla explica cada nombre y el nivel actual de soporte de ClickHouse.Estado Beta
Evaluamos el adaptador dbt v2 con la suite de pruebas de integración de dbt Core 1.x dedbt-clickhouse. Beta significa que los flujos de trabajo principales de dbt y el conjunto de funcionalidades de ClickHouse Cloud funcionan dentro de los límites documentados; la paridad completa con v1 y el soporte de clusters autogestionados llegarán más adelante.
A día de hoy, el adaptador supera más del 81% de la suite v1 completa y el 92% de las pruebas aplicables a ClickHouse Cloud. Todas las materializaciones están a la par (view, table, incremental, materialized_view, dictionary, snapshot, seed, ephemeral), junto con el conjunto completo de configuraciones de tabla, contratos de modelos, pruebas de datos y unitarias, persistencia de la documentación, clickhouse_s3source() y los ajustes de conexión de dbt Core 1.x. Los fallos restantes tienen que ver con el trabajo sobre clusters autogestionados que se detalla más abajo y con unas pocas diferencias del lado del motor. Consulta paridad entre v1 y v2 para ver el panorama funcionalidad por funcionalidad.
Próximos pasos: DDL con ON CLUSTER y las materializaciones distribuidas para clusters autogestionados, grants, dbt clone, dbt source freshness a partir de los metadatos de las tablas, correcciones de los bugs restantes y superación de la suite de pruebas v1 completa para garantizar la paridad total. El progreso de todo ello se sigue en ClickHouse/dbt-clickhouse#660, con un sub-issue por área.
GA está en el roadmap y llegará pronto. Actualizaremos la documentación en cuanto esté listo.
Fuera del alcance de la Beta
Además de las diferencias de paridad con la v1 que se enumeran a continuación, algunas funcionalidades exclusivas de la v2 quedan fuera del alcance actual, pero llegarán pronto:- Semantic Layer / MetricFlow. Todavía no se ha añadido compatibilidad con ClickHouse. Se hace seguimiento en dbt-labs/metricflow#2124.
- Inteligencia de ClickHouse SQL en dbt v2 (validación según el dialecto, análisis estático, LSP, reconocimiento de columnas en la extensión de VS Code). Actualmente, el adaptador funciona con el binary de dbt v2, pero aún no incluye estas funcionalidades. Hasta entonces, el análisis estático se fuerza a
offen los proyectos de ClickHouse y el motor no escribe linaje a nivel de columna. Se hace seguimiento en #736. - Métodos de autenticación adicionales más allá de nombre de usuario y contraseña en la plataforma de dbt.
Paridad entre v1 y v2
Las tablas siguientes comparan las funcionalidades disponibles endbt-clickhouse (v1) con su estado en el adaptador de dbt v2. Todas las funcionalidades enumeradas son compatibles en v1 salvo que las notas indiquen lo contrario; la columna de estado corresponde a dbt v2 y se aplica igualmente a dbt OSS. La evolución de cada elemento pendiente se registra en ClickHouse/dbt-clickhouse#660.
compatible funciona actualmente · parcial funciona con limitaciones · Aún no implementación pendiente.