> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-vortex-format.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Пошаговое руководство по созданию первого ClickPipe для Amazon S3.

# Создание первого ClickPipe для Amazon S3

export const Image = ({img, alt, size = "lg"}) => {
  const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
  return <div className={`ch-image-${normalizedSize}`}>
      <Frame>
        <img src={img} alt={alt} />
      </Frame>
    </div>;
};

S3 ClickPipe — это полностью управляемый и отказоустойчивый способ приёма данных из Amazon S3 и S3-совместимых объектных хранилищ в ClickHouse Cloud. Он поддерживает как **однократную загрузку**, так и **непрерывную ингестию** с семантикой «ровно один раз».

<Steps>
  <Step title="Выберите источник данных" id="1-select-the-data-source">
    **1.** В ClickHouse Cloud выберите **Источники данных** в главном навигационном меню и нажмите **Создать ClickPipe**.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_step0.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=275437c400afd56e6808a20a266c9d7a" alt="Выберите импорт" width="2606" height="790" data-path="images/integrations/data-ingestion/clickpipes/cp_step0.webp" />
    </Frame>

    **2.** Нажмите плитку **Amazon S3**. Эту плитку также можно использовать для подключения к другим S3-совместимым сервисам, не указанным в интерфейсе ClickPipes.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/object-storage/amazon-s3/cp_step1.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=4d68698691f1f71f015337e8675c2f08" alt="Выберите импорт" width="3016" height="954" data-path="images/integrations/data-ingestion/clickpipes/object-storage/amazon-s3/cp_step1.webp" />
    </Frame>

    <Tip>
      Из-за различий в форматах URL и реализациях API у разных провайдеров сервисов объектного хранилища не все S3-совместимые сервисы поддерживаются по умолчанию. Если у вас возникают проблемы с сервисом, который не указан в разделе [поддерживаемые источники данных](/ru/integrations/clickpipes/object-storage/amazon-s3/overview#supported-data-sources), [свяжитесь с нашей командой](https://clickhouse.com/company/contact?loc=clickpipes).
    </Tip>
  </Step>

  <Step title="Настройте подключение ClickPipe" id="2-setup-your-clickpipe-connection">
    **1.** Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации для вашего сервиса объектного хранилища.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/object-storage/amazon-s3/cp_step2.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=95f50231ceb169616af4d33db121adfc" alt="Заполните сведения о подключении" width="3014" height="1402" data-path="images/integrations/data-ingestion/clickpipes/object-storage/amazon-s3/cp_step2.webp" />
    </Frame>

    * **Метод аутентификации**: S3 ClickPipe поддерживает [учётные данные IAM](/ru/integrations/clickpipes/object-storage/amazon-s3/overview#iam-credentials) (`Credentials`) и [аутентификацию на основе роли IAM](/ru/integrations/clickpipes/object-storage/amazon-s3/overview#iam-role) (`IAM role`). Рекомендации по аутентификации и разрешениям см. в [справочной документации](/ru/integrations/clickpipes/object-storage/amazon-s3/overview#access-control).

      * **Путь к файлу S3**: S3 ClickPipe ожидает [URI в стиле virtual-hosted-style](https://docs.aws.amazon.com/AmazonS3/latest/userguide/VirtualHosting.html#virtual-hosted-style-access).

        ```bash theme={null}
        https://bucket-name.s3.region-code.amazonaws.com/key-name
        ```

        Для сопоставления нескольких файлов или префиксов можно использовать подстановочные шаблоны POSIX. Сведения о поддерживаемых шаблонах см. в [справочной документации](/ru/integrations/clickpipes/object-storage/amazon-s3/overview#file-pattern-matching).

    **2.** Нажмите **Входящие данные**. ClickPipes получит метаданные из вашего бакета, которые понадобятся на следующем шаге.
  </Step>

  <Step title="Выберите формат данных" id="3-select-data-format">
    В интерфейсе отобразится список файлов в указанном бакете.
    Выберите формат данных (в настоящее время мы поддерживаем только часть форматов ClickHouse) и укажите, нужно ли включить непрерывную ингестию.
    Подробнее см. в разделе "continuous ingest" на странице обзора.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=1b5bb0f4c602b9662608631fc23ae448" alt="Выберите формат данных и topic" width="2336" height="1566" data-path="images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.webp" />
    </Frame>
  </Step>

  <Step title="Настройте таблицу, схему и параметры" id="5-configure-table-schema-settings">
    На следующем шаге вы можете выбрать, выполнять ли приём данных в новую таблицу ClickHouse или использовать существующую.
    Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры.
    В верхней части страницы доступен предварительный просмотр изменений в реальном времени в примере таблицы.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_step4a.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=2e7deef33ae050e3a21591d7913ba8c8" alt="Задайте таблицу, схему и параметры" width="2734" height="1328" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a.webp" />
    </Frame>

    Вы также можете настроить дополнительные параметры с помощью доступных элементов управления

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_step4a3.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=31f492f080e8703a703670a32ce9cbc4" alt="Задайте дополнительные параметры" width="1592" height="338" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a3.webp" />
    </Frame>

    Либо вы можете выбрать приём данных в существующую таблицу ClickHouse.
    В этом случае интерфейс позволит сопоставить поля источника с полями ClickHouse в выбранной целевой таблице.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_step4b.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=0f6f8320e5ce05e590810e637300f751" alt="Использовать существующую таблицу" width="2738" height="1322" data-path="images/integrations/data-ingestion/clickpipes/cp_step4b.webp" />
    </Frame>

    <Info>
      Вы также можете сопоставлять [виртуальные столбцы](/ru/reference/functions/table-functions/s3#virtual-columns), такие как `_path` или `_size`, с полями.
    </Info>
  </Step>

  <Step title="Настройте разрешения" id="6-configure-permissions">
    Наконец, вы можете настроить разрешения для внутреннего пользователя ClickPipes.

    **Разрешения:** ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете назначить этому внутреннему пользователю пользовательскую роль или одну из предопределённых ролей:

    * `Full access`: полный доступ к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
    * `Only destination table`: только разрешения `INSERT` для целевой таблицы.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_step5.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=ac9fe916e6c9fe09445c8b9fe0f3934f" alt="Разрешения" width="2736" height="1318" data-path="images/integrations/data-ingestion/clickpipes/cp_step5.webp" />
    </Frame>
  </Step>

  <Step title="Завершите настройку" id="7-complete-setup">
    После нажатия "Complete Setup" система зарегистрирует ваш ClickPipe, и вы увидите его в сводной таблице.

    <div className="ch-image-sm">
      <Frame>
        <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_success.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=3c1eea1c5a2b2c3ebf383e18671e9968" alt="Уведомление об успешном выполнении" width="613" height="212" data-path="images/integrations/data-ingestion/clickpipes/cp_success.webp" />
      </Frame>
    </div>

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_remove.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=8fe01d6260e42e4a9dde9a1e040e93e2" alt="Уведомление об удалении" width="2756" height="1320" data-path="images/integrations/data-ingestion/clickpipes/cp_remove.webp" />
    </Frame>

    В сводной таблице доступны элементы управления для отображения примеров данных из источника или из целевой таблицы ClickHouse

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_destination.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=3d56c9f3457a8c0e0c37731d3b24e36f" alt="Просмотр целевой таблицы" width="2758" height="1316" data-path="images/integrations/data-ingestion/clickpipes/cp_destination.webp" />
    </Frame>

    А также элементы управления для удаления ClickPipe и отображения сводки по заданию приёма.

    <Frame>
      <img src="https://mintcdn.com/private-7c7dfe99-vortex-format/Kj4wT80mHNH7Aczn/images/integrations/data-ingestion/clickpipes/cp_overview.webp?fit=max&auto=format&n=Kj4wT80mHNH7Aczn&q=85&s=556f0e192c4b566d50be4a76ae831a05" alt="Просмотр обзора" width="3436" height="1076" data-path="images/integrations/data-ingestion/clickpipes/cp_overview.webp" />
    </Frame>

    **Поздравляем!** Вы успешно настроили свой первый ClickPipe.
    Если этот ClickPipe настроен для непрерывной ингестии, он будет непрерывно работать, выполняя приём данных в реальном времени из удалённого источника данных.
    В противном случае он примет батч и завершит работу.
  </Step>
</Steps>