dbt-clickhouse, ne disparaît pas : nous le maintenons à jour au fil des releases dbt 1.x et assurons la maintenance des deux adaptateurs in parallel.
La documentation dbt Core 1.x s’applique également à dbt OSS et dbt v2. L’adaptateur se comporte de la même manière sur les deux moteurs : les profils, configurations de modèles, materialization et macros décrits dans les autres pages dbt fonctionnent sans modification sur dbt OSS, dbt v2 et la plateforme dbt. Les exceptions sont documentées dans le tableau parity v1 vs v2 ci-dessous.
dbt OSS est le build open-source (Apache 2.0) du moteur v2. Consultez terminologie et availability pour comprendre son lien avec dbt v2 et la plateforme dbt.
Essayer ClickHouse dans la plateforme dbt
Si vous souhaitez tester la bêta privée, inscrivez-vous via le formulaire de bêta privée de dbt Labs. Ce formulaire appartient à dbt Labs : les informations que vous transmettez sont donc envoyées à dbt Labs, et non à ClickHouse. Une fois l’accès activé, suivez la page Connect ClickHouse de la documentation dbt pour configurer la connexion.Terminologie et disponibilité
dbt existe sous plusieurs formes, et un même adapter peut fonctionner dans plusieurs d’entre elles. Ce tableau présente chaque nom ainsi que le niveau actuel de prise en charge de ClickHouse.Statut bêta
Nous évaluons l’adaptateur dbt v2 à l’aide de la test suite d’intégration dbt Core 1.x dedbt-clickhouse. Le statut bêta signifie que les workflows dbt essentiels et l’ensemble des fonctionnalités de ClickHouse Cloud fonctionnent dans les limites documentées ; la parité complète avec la v1 et la prise en charge des clusters self-managed viendront ensuite.
À ce jour, l’adapter réussit plus de 81 % de la suite v1 complète et 92 % des tests applicables à ClickHouse Cloud. Toutes les materializations sont à parité (view, table, incremental, materialized_view, dictionary, snapshot, seed, ephemeral), avec l’ensemble complet des configs de table, des contrats de model, des tests de données et unit tests, la persistance de la documentation, clickhouse_s3source() et les settings de connection de dbt Core 1.x. Les échecs restants sont liés aux travaux sur les clusters self-managed listés ci-dessous, ainsi qu’à quelques différences côté engine. Consultez parité v1 vs v2 pour un aperçu fonctionnalité par fonctionnalité.
Prochaines étapes : le DDL ON CLUSTER et les Distributed materializations pour les clusters self-managed, les grants, dbt clone, dbt source freshness à partir des metadata de table, la correction des bogues restants et la réussite de l’intégralité de la test suite v1 afin de garantir une parité complète. L’avancement de ces travaux est suivi dans ClickHouse/dbt-clickhouse#660, avec une sous-issue par domaine.
La GA figure dans notre roadmap et arrivera prochainement. Nous mettrons la documentation à jour dès qu’elle sera disponible.
Hors périmètre pour la bêta
Outre les écarts de parité avec la v1 listés ci-dessous, quelques fonctionnalités propres à la v2 sortent du périmètre actuel, mais arriveront prochainement :- Semantic Layer / MetricFlow. La prise en charge de ClickHouse n’a pas encore été ajoutée. Suivi dans dbt-labs/metricflow#2124.
- L’intelligence ClickHouse SQL dans dbt v2 (validation tenant compte du dialecte, analyse statique, LSP, prise en compte des colonnes dans l’extension VS Code). L’adapter fonctionne aujourd’hui avec le binary dbt v2, mais n’intègre pas encore ces fonctionnalités. D’ici là, l’analyse statique est forcée à
offpour les projets ClickHouse et l’engine n’écrit aucune traçabilité au niveau des colonnes. Suivi dans #736. - Des méthodes d’authentification supplémentaires, au-delà du username et du password, dans la plateforme dbt.
Parité v1 / v2
Les tableaux ci-dessous comparent les fonctionnalités disponibles dansdbt-clickhouse (v1) avec leur statut dans l’adapter dbt v2. Toutes les fonctionnalités listées sont prises en charge en v1, sauf mention contraire dans les notes ; la colonne de statut concerne dbt v2 et s’applique également à dbt OSS. L’évolution de chaque élément en attente est suivie dans ClickHouse/dbt-clickhouse#660.
Supported déjà fonctionnel · Partial fonctionne avec des limitations · Not yet implémentation en attente.