dbt-clickhouse, никуда не исчезает: мы поддерживаем его в актуальном состоянии вместе с releases dbt 1.x и развиваем оба adapter’а параллельно.
Документация по dbt Core 1.x применима и к dbt OSS, и к dbt v2. Adapter ведёт себя одинаково на обоих движках: profiles, конфигурации models, материализации и macros, описанные на других страницах о dbt, работают без изменений в dbt OSS, dbt v2 и на платформе dbt. Исключения перечислены в таблице паритет v1 и v2 ниже.
dbt OSS — это сборка движка v2 с открытым исходным кодом (Apache 2.0). О том, как она соотносится с dbt v2 и платформой dbt, см. терминология и доступность.
Попробуйте ClickHouse на платформе dbt
Если вы хотите протестировать закрытую бета-версию, зарегистрируйтесь через форму закрытой беты dbt Labs. Форма принадлежит dbt Labs, поэтому указанные вами данные поступают в dbt Labs, а не в ClickHouse. После получения доступа настройте соединение, следуя инструкциям из раздела Connect ClickHouse документации dbt.Терминология и доступность
dbt существует в нескольких формах, и один и тот же adapter может работать в нескольких из них. В таблице поясняется каждое название и текущий уровень поддержки ClickHouse.Статус бета
Мы проверяем adapter dbt v2 на наборе интеграционных тестов dbt Core 1.x изdbt-clickhouse. Статус бета означает, что основные сценарии работы с dbt и набор возможностей ClickHouse Cloud работают в рамках документированных ограничений; полный паритет с v1 и поддержка самоуправляемых кластеров появятся позже.
На сегодняшний день adapter проходит более 81% полного набора тестов v1 и 92% тестов, применимых к ClickHouse Cloud. Все материализации достигли паритета (view, table, incremental, materialized_view, dictionary, snapshot, seed, ephemeral) — вместе с полным набором конфигураций таблиц, контрактов моделей, тестов данных и unit tests, сохранением документации, clickhouse_s3source() и настройками соединения dbt Core 1.x. Оставшиеся сбои связаны с перечисленными ниже работами по самоуправляемым кластерам и несколькими различиями на стороне движка. Полную картину по каждой возможности см. в разделе паритет v1 и v2.
Дальнейшие шаги: DDL с предложением ON CLUSTER и distributed материализации для самоуправляемых кластеров, привилегии, dbt clone, dbt source freshness на основе metadata таблиц, исправление оставшихся bugs и прохождение полного набора тестов v1 для достижения полного паритета. Прогресс по всем этим направлениям отслеживается в ClickHouse/dbt-clickhouse#660, где для каждой области заведён отдельный вложенный issue.
Переход в GA есть в roadmap и состоится в ближайшее время. Мы обновим документацию, как только всё будет готово.
Не входит в бета-версию
Помимо перечисленных ниже расхождений с v1, ряд возможностей, доступных только в v2, пока не входит в текущий объём работ, но появится в скором времени:- Semantic Layer / MetricFlow. Поддержка ClickHouse ещё не добавлена. Отслеживается в dbt-labs/metricflow#2124.
- Интеллектуальная поддержка ClickHouse SQL в dbt v2 (validation с учётом dialect, статический анализ, LSP, распознавание столбцов в extension для VS Code). На сегодняшний день adapter работает с бинарным файлом dbt v2, но эти возможности пока не поддерживает. До тех пор для проектов ClickHouse статический анализ принудительно выставлен в
off, а движок не записывает происхождение данных на уровне столбца. Отслеживается в #736. - Дополнительные методы аутентификации помимо username и password на платформе dbt.
Сравнение v1 и v2
В таблицах ниже возможности, доступные вdbt-clickhouse (v1), сопоставлены с их статусом в адаптере dbt v2. Все перечисленные возможности поддерживаются в v1, если в примечаниях не указано иное; столбец статуса относится к dbt v2 и в равной мере применим к dbt OSS. Ход работы по каждому ещё не реализованному пункту отслеживается в ClickHouse/dbt-clickhouse#660.
Поддерживается работает уже сейчас · Частичная поддержка работает с ограничениями · Пока нет ожидает реализации.