AWS PrivateLink

​

Поддерживаемые источники данных ClickPipes

• Kafka
• Postgres
• MySQL
• MongoDB

​

Поддерживаемые типы конечных точек AWS PrivateLink

• ресурс VPC
• подключение MSK multi-VPC для MSK ClickPipe
• сервис конечной точки VPC

​

Ресурс VPC

1. Создайте шлюз ресурса
2. Создайте конфигурацию ресурса
3. Создайте общий доступ к ресурсу

aws vpc-lattice create-resource-gateway \
    --vpc-identifier <VPC_ID> \
    --subnet-ids <SUBNET_IDS> \
    --security-group-ids <SG_IDs> \
    --name <RESOURCE_GATEWAY_NAME>

aws vpc-lattice get-resource-gateway \
    --resource-gateway-identifier <RESOURCE_GATEWAY_ID>

aws vpc-lattice create-resource-configuration \
    --resource-gateway-identifier <RESOURCE_GATEWAY_ID> \
    --type <RESOURCE_CONFIGURATION_TYPE> \
    --resource-configuration-definition <RESOURCE_CONFIGURATION_DEFINITION> \
    --name <RESOURCE_CONFIGURATION_NAME>

aws vpc-lattice create-resource-configuration \
    --name my-rds-cluster-config \
    --type ARN \
    --resource-gateway-identifier rgw-0bba03f3d56060135 \
    --resource-configuration-definition 'arnResource={arn=arn:aws:rds:us-east-1:123456789012:cluster:my-rds-cluster}'

aws ram create-resource-share \
    --principals 072088201116 \
    --resource-arns <RESOURCE_CONFIGURATION_ARN> \
    --name <RESOURCE_SHARE_NAME>

​

Подключение MSK multi-VPC

​

Сервис конечных точек VPC

• вы не владеете доменным именем источника данных и поэтому не можете подтвердить его в AWS;
• поставщик требует, чтобы потребители самостоятельно настраивали разрешение DNS, как в Confluent Cloud. В таких случаях см. Пользовательский private DNS.

• любых развертываний Kafka в собственной инфраструктуре, требующих поддержки private DNS;
• частного подключения Confluent Cloud;
• межрегионального подключения для Postgres CDC;
• межрегионального подключения для кластеров MSK.

​

Пользовательский private DNS

• Поддерживаются точные имена (kafka.internal.example.com) и имена с подстановочными знаками (*.example.com). Подстановочный знак соответствует одной метке DNS — например, *.abcde12345.us-east-1.aws.confluent.cloud соответствует b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud.
• Имена должны быть уникальными среди всех обратных частных конечных точек сервиса ClickHouse, включая пересечения между именами с подстановочными знаками и точными именами.
• Имена с зарезервированными суффиксами (например, local, localhost, internal, corp, private) отклоняются.

• В консоли ClickHouse Cloud заполните поле Custom private DNS name при создании обратной частной конечной точки. Поле отображается после включения этой возможности для вашего сервиса.
• При использовании OpenAPI задайте customPrivateDnsMappings при создании обратной частной конечной точки или обновите существующую конечную точку запросом PATCH. При обновлении заменяется весь список сопоставлений; пустой список удаляет все пользовательские имена.
• При использовании Terraform применяйте ресурс clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns для управления сопоставлениями в существующей обратной частной конечной точке.

​

Создание ClickPipe с обратной частной конечной точкой

1. Откройте SQL Console своего сервиса ClickHouse Cloud.

2. В меню слева выберите Data Sources и нажмите «Set up a ClickPipe».

3. Выберите Kafka или Postgres в качестве источника данных.

4. Выберите вариант Reverse private endpoint.

5. Выберите одну из существующих обратных частных конечных точек или создайте новую.

6. Укажите необходимые параметры для выбранного типа конечной точки.

• Для ресурса VPC укажите ARN общего доступа к конфигурации и ID конфигурации.
  • Для MSK multi-VPC укажите ARN кластера и метод аутентификации, используемый для созданной конечной точки.
  • Для сервиса конечной точки VPC укажите имя сервиса.
  • При необходимости укажите пользовательское имя private DNS.

7. Нажмите Create и дождитесь готовности обратной частной конечной точки. Если вы создаёте новую конечную точку, её настройка займёт некоторое время. Страница автоматически обновится, когда конечная точка будет готова. Для сервиса конечной точки VPC может потребоваться принять запрос на подключение в консоли AWS.

8. Когда конечная точка будет готова, используйте DNS-имя для подключения к источнику данных. В списке конечных точек отображается DNS-имя доступной конечной точки. Это может быть внутреннее DNS-имя, подготовленное ClickPipes, частное DNS-имя, предоставленное сервисом PrivateLink, или пользовательское имя private DNS. DNS-имя не является полным сетевым адресом. Добавьте порт в соответствии с источником данных. Строку подключения MSK можно получить в консоли AWS. Полный список DNS-имён доступен в настройках сервиса Cloud.

​

Управление обратными частными конечными точками

1. На боковой панели найдите кнопку Settings и нажмите её.
2. В разделе ClickPipe reverse private endpoints нажмите Reverse private endpoints. На выдвижной панели отображается подробная информация об обратной частной конечной точке. После создания конечную точку нельзя редактировать. Её можно удалить, нажав × рядом с конечной точкой и подтвердив удаление — это действие необратимо и нарушит работу всех ClickPipe, которые используют эту конечную точку.

​

Поддерживаемые регионы AWS

​

Ограничения

​

Ограничение на число реплик для обратной частной конечной точки

• Уменьшить число реплик других ClickPipe, использующих ту же конечную точку.
• Создать отдельную обратную частную конечную точку для дополнительных ClickPipe.

​

Автоматическая очистка неактивных конечных точек