ClickHouse Managed Postgres — это Postgres корпоративного уровня на базе NVMe-хранилища, обеспечивающий производительность до 10 раз выше для дисковых рабочих нагрузок по сравнению с сетевыми хранилищами, такими как EBS. Это руководство по быстрому старту состоит из двух частей:Создайте две тестовые таблицы для событий и пользователей:Теперь вставьте 1 миллион событий и посмотрите на скорость NVMe:Вставьте 1 000 пользователей:Запрос с фильтрацией JSONB и диапазоном дат:JOIN событий с пользователями:
Нажмите Далее, чтобы перейти к выбору таблицы. Здесь вам нужно:Затем создайте подключение к внешнему серверу ClickHouse. Используйте драйвер Замените Теперь импортируйте таблицы ClickHouse в схему Postgres:Замените Запрос 2: Вовлечённость пользователей по стране и платформеЭтот запрос объединяет события с пользователями и вычисляет метрики вовлечённости:Сравнение производительности:
- Часть 1: Начало работы с NVMe Postgres и оценка его производительности
- Часть 2: Откройте для себя Real-time аналитику благодаря интеграции с ClickHouse
- Создайте инстанс Managed Postgres с NVMe-производительностью
- Загрузите 1 миллион событий и посмотрите на скорость NVMe в деле
- Выполняйте запросы и оцените производительность с низкими задержками
- Реплицируйте данные в ClickHouse для Real-time аналитики
- Выполняйте запросы к ClickHouse напрямую из Postgres с помощью
pg_clickhouse
Часть 1: Начало работы с NVMe Postgres
Создание базы данных
Чтобы создать новый сервис Managed Postgres, нажмите кнопку New service в списке сервисов Cloud Console. После этого вы сможете выбрать Postgres в качестве типа базы данных.Введите имя для вашего инстанса базы данных и нажмите Create service. Вы будете перенаправлены на страницу обзора.Ваш инстанс Managed Postgres будет подготовлен и готов к использованию в течение 3–5 минут.Подключитесь к базе данных
На боковой панели слева вы увидите кнопку Connect. Нажмите на неё, чтобы просмотреть сведения о подключении и строки подключения в различных форматах.Скопируйте строку подключенияpsql и подключитесь к своей базе данных. Также можно использовать любой совместимый с Postgres клиент, например DBeaver, или любую библиотеку приложения.Оцените производительность NVMe
Давайте посмотрим, как проявляется производительность NVMe на практике. Сначала включите замер времени в psql, чтобы оценить время выполнения запроса:Выполнение запросов к данным
Теперь выполним несколько запросов, чтобы оценить скорость отклика Postgres с NVMe-хранилищем.Агрегируйте 1 миллион событий по типу:Ваш Postgres готовНа этом этапе у вас есть полностью функциональная высокопроизводительная база данных Postgres, готовая для транзакционных нагрузок.Перейдите к части 2, чтобы узнать, как нативная интеграция ClickHouse может значительно ускорить вашу аналитику.
Часть 2: Добавление аналитики в реальном времени с помощью ClickHouse
Postgres отлично справляется с транзакционными рабочими нагрузками (OLTP), тогда как ClickHouse создан специально для аналитических запросов (OLAP) над большими датасетами. Интегрируя оба решения, вы получаете лучшее от каждого из них:- Postgres для транзакционных данных вашего приложения (вставки, обновления, точечные запросы по ключу)
- ClickHouse для аналитики по миллиардам строк за доли секунды
Настройка интеграции с ClickHouse
Теперь, когда в Postgres есть таблицы и данные, выполним репликацию таблиц в ClickHouse для аналитики. Начнём с нажатия на ClickHouse integration на боковой панели. Затем нажмите Replicate data in ClickHouse.В следующей форме вы можете ввести имя интеграции и выбрать существующий экземпляр ClickHouse для репликации. Если у вас ещё нет экземпляра ClickHouse, его можно создать непосредственно из этой формы.ВажноПрежде чем продолжить, убедитесь, что выбранный вами сервис ClickHouse имеет статус Running.
- Выберите базу данных ClickHouse, в которую нужно реплицировать данные.
- Разверните схему public и выберите таблицы users и events, которые мы создали ранее.
- Нажмите Replicate data to ClickHouse.
Запросы к ClickHouse из Postgres
Расширениеpg_clickhouse позволяет выполнять запросы к данным ClickHouse напрямую из Postgres с использованием стандартного SQL. Это означает, что ваше приложение может использовать Postgres как единый уровень запросов как для транзакционных, так и для аналитических данных. Подробнее см. в полной документации.Включите расширение:http с портом 8443 для защищённых соединений:<clickhouse_cloud_host> на имя хоста вашего ClickHouse, а <database_name> — на базу данных, выбранную при настройке репликации. Имя хоста можно найти в вашем сервисе ClickHouse, нажав Connect на боковой панели.Теперь сопоставим пользователя Postgres с учётными данными сервиса ClickHouse:<database_name> на то же имя базы данных, которое вы использовали при создании сервера.Теперь вы можете видеть все таблицы ClickHouse в своём клиенте Postgres:Аналитика в действии
Вернитесь на страницу интеграции. Вы должны увидеть, что начальная репликация завершена. Нажмите на название интеграции, чтобы просмотреть подробности.Нажмите на имя сервиса, чтобы открыть консоль ClickHouse и просмотреть реплицированные таблицы.Сравнение производительности Postgres и ClickHouse
Теперь выполним несколько аналитических запросов и сравним производительность Postgres и ClickHouse. Обратите внимание, что реплицированные таблицы используют соглашение об именованииpublic_<table_name>.Запрос 1: Самые активные пользователиЭтот запрос находит наиболее активных пользователей с использованием нескольких агрегаций:Очистка
Чтобы удалить ресурсы, созданные в рамках этого краткого руководства:- Сначала удалите интеграцию ClickPipe из сервиса ClickHouse
- Затем удалите инстанс Managed Postgres из Cloud Console