IT999in1

Эта страница только для чтения. Вы можете посмотреть её исходный текст, но не можете его изменить. Сообщите администратору, если считаете, что это неправильно.
====== Настройка ClickHouse для Glaber ======

===== Создаём дополнительные файлы настройки с отключением лишних функций =====

==== Задаём ограничение времени хранения логов ====

<code>
nano /etc/clickhouse-server/config.d/query_log.xml
</code>

<code>
<yandex>
    <query_log replace="1">
    <database>system</database>

    <table>query_log</table>
        <flush_interval_milliseconds>7500</flush_interval_milliseconds>
        <engine>
          ENGINE = MergeTree
          PARTITION BY event_date
          ORDER BY (event_time)
          TTL event_date + interval 90 day
          SETTINGS ttl_only_drop_parts=1
        </engine>
    </query_log>
</yandex>
</code>


==== Отключаем thread log ====

<code>
nano /etc/clickhouse-server/config.d/disable_query_thread_log.xml
</code>

<code>
<yandex>
    <query_thread_log remove="1"/>
</yandex>
</code>


==== Отключаем встроенные метрики Clickhouse ====

Если хотим мониторить его параметры внешним мониторингом

<code>
nano /etc/clickhouse-server/config.d/disable_metric_logs.xml
</code>

<code>
<yandex>
  <metric_log remove="1" />
  <asynchronous_metric_log remove="1" />
</yandex>
</code>


==== Отключаем part_log ====

<code>
nano /etc/clickhouse-server/config.d/part_log.xml
</code>

<code>
<yandex>
    <part_log remove="1" />
</yandex>
</code>


==== Включаем log queries ====

В новых версиях Clickhouse включен по-умолчанию

<code>
nano /etc/clickhouse-server/users.d/log_queries.xml
</code>

<code>
<yandex>
  <profiles>
    <default>
      <log_queries>1</log_queries>
    </default>
  </profiles>
</yandex>
</code>


==== Запись данных на диск сразу в отсортированном виде ====

<code>
nano /etc/clickhouse-server/users.d/enable_on_disk_operations.xml
</code>

<code>
<yandex>
  <profiles>
    <default>
      <max_bytes_before_external_group_by>2000000000</max_bytes_before_external_group_by>
      <max_bytes_before_external_sort>2000000000</max_bytes_before_external_sort>
     </default>
  </profiles>
</yandex>
</code>


===== Бекап =====

Стоит учитывать, что объемы данных могут быть очень большими, поэтому зачастую нужно реализовывать миграцию данных по частям (по партициям, по таблицам)

==== Настройка ====

Настройте, путь куда сервер будет бекапить данные. Для этого нужно создать файл /etc/clickhouse-server/config.d/backup_disk.xml с содержимым, указывающим место в файловой системе, куда будут попадать бекапы (в данном случае /backups/)

<code>
nano /etc/clickhouse-server/config.d/backup_disk.xml
</code>

<code>
<clickhouse>
    <storage_configuration>
        <disks>
            <backups>
                <type>local</type>
                <path>/backups/</path>
            </backups>
        </disks>
    </storage_configuration>
    <backups>
        <allowed_disk>backups</allowed_disk>
        <allowed_path>/backups/</allowed_path>
    </backups>
</clickhouse>
</code>

==== Создание бекапа ====

Подключитесь к Clickhouse. В самом простом случае, подключиться к серверу можно командой clickhouse client выполнив её локально на той же машине на которой запущен clickhouse. Далее выполните бекап командой:

<code>
BACKUP DATABASE glaber TO Disk('backups', 'glaber.zip')
</code>

==== Восстановление из бекапа ====

Настройте путь для работы с бекапами аналогично на сервере, на котором будут восстанавливаться данные, скопируйте в этот путь файл с бекапом и восстановите базу предварительно удалив существующую в случае её наличия:

<code>
DROP DATABASE glaber
RESTORE DATABASE glaber FROM Disk('backups', 'glaber.zip')
</code>


===== Прочее =====

Перезапуск ClickHouse сервера

<code>
systemctl restart clickhouse-server
</code>

Проверить статус ClickHouse сервера

<code>
systemctl status clickhouse-server
</code>


===== Источники =====
  * [[https://docs.glaber.io/ru/setup/ubuntu/]]
  * [[https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-settings-to-adjust/]]
  * [[https://docs.glaber.io/ru/operations/backup/]]
  * [[https://clickhouse.com/docs/en/operations/backup/]]