Экспорт данных в Yandex Cloud

Внимание. Подключение экспорта временно не поддерживается для новых пользователей.

Если вы пользуетесь Yandex Cloud и сервисом Managed Service for ClickHouse, вы можете экспортировать данные из AppMetrica в ваш кластер. Их вы можете использовать, например, для построения собственных отчетов в Yandex DataLens.

Данные можно экспортировать в реальном времени — экспорт происходит регулярно.

Ниже описаны этапы настройки экспорта:

  1. Шаг 1. Проверьте настройки кластера ClickHouse
  2. Шаг 2. Создайте сервисный аккаунт и авторизованный ключ
  3. Шаг 3. Запустите экспорт
  4. Возможные проблемы и их решение

Шаг 1. Проверьте настройки кластера ClickHouse

  1. Убедитесь, что ваш кластер ClickHouse из 2 и более хостов. Это необходимо, чтобы реализовать репликацию.

    Если кластер из одного хоста, добавьте один или несколько хостов.

  2. Убедитесь, что в настройках кластера включена опция Доступ из Метрики и AppMetrica.
  3. (Опционально) Чтобы отчеты можно было строить в Yandex DataLens, убедитесь, что в настройках кластера включена опция Доступ из DataLens.
Примечание. Опция Управление пользователями через SQL в настоящий момент недоступна.

Шаг 2. Создайте сервисный аккаунт и авторизованный ключ

  1. В консоли Yandex Cloud создайте сервисный аккаунт. При создании выберите роль editor.

    Подробнее в разделе Создание сервисного аккаунта Помощи Yandex Cloud.

  2. Создайте авторизованный ключ. После создания сохраните секретную часть ключа, например, в текстовый файл. Она нужна, чтобы привязать сервисный аккаунт в AppMetrica.

    Подробнее в разделе Создание авторизованного ключа Помощи Yandex Cloud.

Шаг 3. Запустите экспорт

Внимание. При запущенном экспорте нельзя менять конфигурацию кластера. Чтобы изменить конфигурацию, остановите все запущенные экспорты, измените конфигурацию и запустите экспорт заново.
  1. В интерфейсе AppMetrica нажмите Экспорт данных → В Облако.

  2. На странице Экспорты данных в Yandex Cloud нажмите кнопку Запустить новый экспорт.
  3. Привяжите сервисный аккаунт Yandex Cloud. Для этого в поле Сервисный аккаунт нажмите кнопку Создать новый. В появившемся окне укажите:
    название;

    Укажите название.

    идентификатор сервисного аккаунта;
    1. В Яндекс.Облаке откройте ваш каталог.
    2. Из левого меню перейдите на страницу Сервисные аккаунты.
    3. Нажмите на созданный сервисный аккаунт, например, appmetrica.
    4. В блоке Обзор скопируйте значение поля Идентификатор.
    идентификатор открытого ключа;
    1. В Яндекс.Облаке откройте ваш каталог.
    2. Из левого меню перейдите на страницу Сервисные аккаунты.
    3. Нажмите на созданный сервисный аккаунт, например, appmetrica.
    4. В блоке Авторизованные ключи скопируйте значение поля Идентификатор.
    закрытый ключ;
    Ключ, который вы сохранили при создании авторизованного ключа.
    идентификатор каталога.
    1. В Яндекс.Облаке откройте консоль.
    2. Скопируйте идентификатор вашего каталога.

    Затем нажмите Создать.

  4. Выберите интервал дат для экспорта. Если включена опция В реальном времени, экспорт происходит регулярно.

  5. В поле Параметры событий выберите параметры для экспорта.

    Подробнее о параметрах событий в разделе Доступные точки запроса Logs API.

  6. В поле Кластер выберите кластер для экспорта. В нем будет создана таблица с экспортируемыми параметрами.
  7. Нажмите кнопку Запустить экспорт.
Примечание. Если вы хотите создать MaterializedView на базе экспортированной таблицы, перед созданием MaterializedView выполните следующее:
  1. Запустите экспорт в кластер. Это создаст пользователя appmetrica_export_user с некоторыми правами.
  2. В интерфейсе Yandex Cloud перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse.
  3. Нажмите на имя нужного кластера и выберите вкладку Пользователи.
  4. Выдайте пользователю appmetrica_export_user права на запись в базу данных, в которой планируете создать MaterializedView. Иначе экспорт будет приостановлен.

Возможные проблемы и их решение

Ошибка «FAILED_PRECONDITION: operation not permitted when SQL user management is enabled».

В настоящий момент опция Управление пользователями через SQL недоступна. Отключите опцию и перезапустите экспорт.

Если вы не нашли ответ на свой вопрос, то вы можете задать его через форму обратной связи. Пожалуйста, опишите возникшую проблему как можно подробнее. Если возможно, приложите скриншот.