Neon Postgres 소스 설정 가이드

ClickPipes에서 복제에 사용할 Neon Postgres를 설정하는 방법을 안내하는 가이드입니다. 이 설정을 진행하기 전에 Neon console에 로그인되어 있는지 확인하세요.

권한이 있는 사용자 생성

관리자 사용자로 Neon 인스턴스에 연결한 다음, 아래 명령을 실행합니다:

ClickPipes 전용 사용자를 생성합니다:

CREATE USER clickpipes_user PASSWORD 'some-password';

앞 단계에서 생성한 사용자에게 스키마(schema) 수준의 읽기 전용 권한을 부여합니다. 아래 예시는 public 스키마에 대한 권한을 보여줍니다. 복제하려는 테이블이 포함된 각 스키마에 대해 이 명령을 반복하십시오:
GRANT USAGE ON SCHEMA "public" TO clickpipes_user; GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user; ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

사용자에게 복제 권한을 부여합니다:

ALTER USER clickpipes_user WITH REPLICATION;

복제하려는 테이블을 포함하는 publication을 생성합니다. 성능 오버헤드를 피하기 위해 publication에는 필요한 테이블만 포함할 것을 강력히 권장합니다.

publication에 포함되는 모든 테이블은 기본 키(primary key) 가 정의되어 있거나, replica identity 가 FULL로 설정되어 있어야 합니다. 범위 지정에 대한 안내는 Postgres FAQs를 참조하십시오.

특정 테이블에 대한 publication을 생성하려면:

CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

특정 스키마의 모든 테이블에 대한 publication을 생성하려면:
CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

clickpipes publication은 변경 이벤트가 ClickPipes로 스트리밍될 테이블 집합을 정의합니다. 모든 테이블을 복제할 의도가 아니라면 FOR ALL TABLES 사용은 권장하지 않습니다. 불필요한 테이블을 포함하면 Postgres에서 ClickPipes로의 WAL 트래픽이 증가하고 전체 복제 효율이 저하되기 때문입니다.

논리적 복제 활성화

Neon에서는 UI를 통해 논리적 복제를 활성화할 수 있습니다. ClickPipes의 CDC가 데이터를 복제하려면 이 설정이 필요합니다. 설정 탭으로 이동한 다음 논리적 복제 섹션으로 이동하십시오. 여기에서 활성화를 클릭하면 설정이 완료됩니다. 활성화한 후에는 아래와 같은 성공 메시지가 표시됩니다. Neon Postgres 인스턴스에서 아래 설정을 확인하겠습니다:

SHOW wal_level; -- should be logical
SHOW max_wal_senders; -- should be 10
SHOW max_replication_slots; -- should be 10

IP 화이트리스트 등록(Neon Enterprise 플랜용)

Neon Enterprise 플랜을 사용하는 경우 ClickPipes IPs를 허용 목록에 추가하면 ClickPipes에서 Neon Postgres 인스턴스로의 복제를 허용할 수 있습니다. 이 작업을 수행하려면 설정 탭을 클릭한 다음 IP 허용 섹션으로 이동하세요.

연결 정보 복사

이제 사용자와 publication이 준비되고 복제가 활성화되었으므로 새 ClickPipe를 만들기 위한 연결 정보를 복사할 수 있습니다. Dashboard로 이동한 다음, 연결 문자열이 표시된 텍스트 상자에서 보기를 Parameters Only로 변경하세요. 다음 단계에서 이 매개변수가 필요합니다.

다음 단계는 무엇인가요?

이제 ClickPipe를 생성하고 Postgres 인스턴스의 데이터를 ClickHouse Cloud로 수집하기 시작할 수 있습니다. ClickPipe 생성 과정에서 필요하므로 Postgres 인스턴스를 설정할 때 사용한 연결 정보를 반드시 기록해 두십시오.

ClickPipes for BigQuery

프로그래밍 방식 액세스

기타

권한이 있는 사용자 생성

논리적 복제 활성화

IP 화이트리스트 등록(Neon Enterprise 플랜용)

연결 정보 복사

다음 단계는 무엇인가요?

​권한이 있는 사용자 생성

​논리적 복제 활성화

​IP 화이트리스트 등록(Neon Enterprise 플랜용)

​연결 정보 복사

​다음 단계는 무엇인가요?

권한이 있는 사용자 생성

논리적 복제 활성화

IP 화이트리스트 등록(Neon Enterprise 플랜용)

연결 정보 복사

다음 단계는 무엇인가요?