mirror of https://github.com/ByConity/ByConity
Update extended-roadmap.md
This commit is contained in:
alexey-milovidov
GitHub
parent
31ece3bda5
commit
f726bfa3a5
|
|
@ -97,7 +97,9 @@ Upd. Есть pull request. Upd. Сделано.
|
|||
|
||||
Частный случай такой задачи уже есть в https://clickhouse.tech/docs/ru/operations/table_engines/graphitemergetree/ Но это было сделано для конкретной задачи. А надо обобщить.
|
||||
|
||||
### 1.10. Пережатие старых данных в фоне {#perezhatie-starykh-dannykh-v-fone}
|
||||
### 1.10. + Пережатие старых данных в фоне {#perezhatie-starykh-dannykh-v-fone}
|
||||
|
||||
В master, сделал Александр Сапин, https://github.com/ClickHouse/ClickHouse/pull/14494
|
||||
|
||||
Будет делать Кирилл Барухов, ВШЭ, экспериментальная реализация к весне 2020. Нужно для Яндекс.Метрики.
|
||||
|
||||
|
|
@ -138,27 +140,32 @@ Upd: PR [#10463](https://github.com/ClickHouse/ClickHouse/pull/10463)
|
|||
|
||||
### 1.14. Не писать столбцы, полностью состоящие из нулей {#ne-pisat-stolbtsy-polnostiu-sostoiashchie-iz-nulei}
|
||||
|
||||
Антон Попов. Q3.
|
||||
Антон Попов. Q4.
|
||||
В очереди. Простая задача, является небольшим пререквизитом для потенциальной поддержки полуструктурированных данных.
|
||||
Upd. В очереди после чтения срезов столбцов.
|
||||
|
||||
### 1.15. Возможность иметь разный первичный ключ в разных кусках {#vozmozhnost-imet-raznyi-pervichnyi-kliuch-v-raznykh-kuskakh}
|
||||
|
||||
Сложная задача, только после 1.3.
|
||||
Upd. В обсуждении.
|
||||
Upd. Взял в работу Amos Bird. Описана концепция. Совпадает с 1.16.
|
||||
|
||||
### 1.16. Несколько физических представлений для одного куска данных {#neskolko-fizicheskikh-predstavlenii-dlia-odnogo-kuska-dannykh}
|
||||
|
||||
Сложная задача, только после 1.3 и 1.6. Позволяет компенсировать 21.20.
|
||||
Upd. В обсуждении.
|
||||
Upd. Взял в работу Amos Bird. Описана концепция, работа на начальной стадии.
|
||||
|
||||
### 1.17. Несколько сортировок для одной таблицы {#neskolko-sortirovok-dlia-odnoi-tablitsy}
|
||||
|
||||
Сложная задача, только после 1.3 и 1.6.
|
||||
Upd. В обсуждении.
|
||||
Upd. Взял в работу Amos Bird. Описана концепция. Совпадает с 1.16.
|
||||
|
||||
### 1.18. Отдельное хранение файлов кусков {#otdelnoe-khranenie-failov-kuskov}
|
||||
### 1.18. - Отдельное хранение файлов кусков {#otdelnoe-khranenie-failov-kuskov}
|
||||
|
||||
Требует 1.3 и 1.6. Полная замена hard links на sym links, что будет лучше для 1.12.
|
||||
Отменено.
|
||||
|
||||
|
||||
## 2. Крупные рефакторинги {#krupnye-refaktoringi}
|
||||
|
|
@ -194,13 +201,14 @@ Upd. Старый код по большей части удалён.
|
|||
|
||||
### 2.5. Версионирование состояний агрегатных функций {#versionirovanie-sostoianii-agregatnykh-funktsii}
|
||||
|
||||
В очереди.
|
||||
В очереди. Описана схема реализации. Алексей Миловидов.
|
||||
|
||||
### 2.6. Правая часть IN как тип данных. Выполнение IN в виде скалярного подзапроса {#pravaia-chast-in-kak-tip-dannykh-vypolnenie-in-v-vide-skaliarnogo-podzaprosa}
|
||||
|
||||
Требует 2.1.
|
||||
Отменено.
|
||||
|
||||
### 2.7. Нормализация Context {#normalizatsiia-context}
|
||||
### 2.7. + Нормализация Context {#normalizatsiia-context}
|
||||
|
||||
В очереди. Нужно для YQL.
|
||||
|
||||
|
|
@ -209,12 +217,14 @@ Upd. Старый код по большей части удалён.
|
|||
Upd. Каталог БД вынесен из Context.
|
||||
Upd. SharedContext вынесен из Context.
|
||||
Upd. Проблема нейтрализована и перестала быть актуальной.
|
||||
Upd. Вообще всё стало Ок.
|
||||
|
||||
### 2.8. Декларативный парсер запросов {#deklarativnyi-parser-zaprosov}
|
||||
|
||||
Средний приоритет. Нужно для YQL.
|
||||
|
||||
Upd. В очереди. Иван Лежанкин.
|
||||
Upd. Задача в финальной стадии. Пока рассматривается только как альтернативный парсер, описание которого подойдёт для сторонних приложений.
|
||||
|
||||
### 2.9. + Логгировние в format-стиле {#loggirovnie-v-format-stile}
|
||||
|
||||
|
|
@ -225,10 +235,12 @@ Upd. В очереди. Иван Лежанкин.
|
|||
### 2.10. Запрашивать у таблиц не столбцы, а срезы {#zaprashivat-u-tablits-ne-stolbtsy-a-srezy}
|
||||
|
||||
В очереди.
|
||||
В работе, Антон Попов, Q4.
|
||||
|
||||
### 2.11. Разбирательство и нормализация функциональности для bitmap {#razbiratelstvo-i-normalizatsiia-funktsionalnosti-dlia-bitmap}
|
||||
### 2.11. - Разбирательство и нормализация функциональности для bitmap {#razbiratelstvo-i-normalizatsiia-funktsionalnosti-dlia-bitmap}
|
||||
|
||||
В очереди.
|
||||
Не актуально.
|
||||
|
||||
### 2.12. Декларативные сигнатуры функций {#deklarativnye-signatury-funktsii}
|
||||
|
||||
|
|
@ -265,7 +277,7 @@ Upd. Поползновения наблюдаются.
|
|||
|
||||
Требует 3.1.
|
||||
|
||||
### + 3.3. Исправить катастрофически отвратительно неприемлемый поиск по документации {#ispravit-katastroficheski-otvratitelno-nepriemlemyi-poisk-po-dokumentatsii}
|
||||
### 3.3. + Исправить катастрофически отвратительно неприемлемый поиск по документации {#ispravit-katastroficheski-otvratitelno-nepriemlemyi-poisk-po-dokumentatsii}
|
||||
|
||||
[Иван Блинков](https://github.com/blinkov/) - очень хороший человек. Сам сайт документации основан на технологиях, не удовлетворяющих требованиям задачи, и эти технологии трудно исправить. Задачу будет делать первый встретившийся нам frontend разработчик, которого мы сможем заставить это сделать.
|
||||
|
||||
|
|
@ -311,7 +323,6 @@ Upd. Сейчас обсуждается, как сделать другую з
|
|||
### 4.8. Разделить background pool для fetch и merge {#razdelit-background-pool-dlia-fetch-i-merge}
|
||||
|
||||
В очереди. Исправить проблему, что восстанавливающаяся реплика перестаёт мержить. Частично компенсируется 4.3.
|
||||
Александр Казаков.
|
||||
|
||||
|
||||
## 5. Операции {#operatsii}
|
||||
|
|
@ -450,6 +461,7 @@ UBSan включен в функциональных тестах, но не в
|
|||
### 7.12. Показывать тестовое покрытие нового кода в PR {#pokazyvat-testovoe-pokrytie-novogo-koda-v-pr}
|
||||
|
||||
Пока есть просто показ тестового покрытия всего кода.
|
||||
Отложено.
|
||||
|
||||
### 7.13. + Включение аналога -Weverything в gcc {#vkliuchenie-analoga-weverything-v-gcc}
|
||||
|
||||
|
|
@ -598,7 +610,7 @@ Upd. Сергей Штыков сделал функцию `randomPrintableASCII
|
|||
Upd. Илья Яцишин сделал табличную функцию `generateRandom`.
|
||||
Upd. Эльдар Заитов добавляет OSS Fuzz.
|
||||
Upd. Сделаны randomString, randomFixedString.
|
||||
Upd. Сделаны fuzzBits, fuzzBytes.
|
||||
Upd. Сделаны fuzzBits.
|
||||
|
||||
### 7.24. Fuzzing лексера и парсера запросов; кодеков и форматов {#fuzzing-leksera-i-parsera-zaprosov-kodekov-i-formatov}
|
||||
|
||||
|
|
@ -649,10 +661,11 @@ Upd. В Аркадии частично работает небольшая ча
|
|||
|
||||
В очереди. Нужно для Яндекс.Метрики.
|
||||
|
||||
### 7.32. Обфускация продакшен запросов {#obfuskatsiia-prodakshen-zaprosov}
|
||||
### 7.32. + Обфускация продакшен запросов {#obfuskatsiia-prodakshen-zaprosov}
|
||||
|
||||
Роман Ильговский. Нужно для Яндекс.Метрики.
|
||||
Есть pull request, почти готово: https://github.com/ClickHouse/ClickHouse/pull/10973
|
||||
Есть pull request: https://github.com/ClickHouse/ClickHouse/pull/10973
|
||||
Готово.
|
||||
|
||||
Имея SQL запрос, требуется вывести структуру таблиц, на которых этот запрос будет выполнен, и заполнить эти таблицы случайными данными, такими, что результат этого запроса зависит от выбора подмножества данных.
|
||||
|
||||
|
|
@ -660,6 +673,8 @@ Upd. В Аркадии частично работает небольшая ча
|
|||
|
||||
Обфускация запросов: имея секретные запросы и структуру таблиц, заменить имена полей и константы, чтобы запросы можно было использовать в качестве публично доступных тестов.
|
||||
|
||||
Upd. Последняя часть пока не сделана и будет сделана отдельно.
|
||||
|
||||
### 7.33. Выкладывать патч релизы в репозиторий автоматически {#vykladyvat-patch-relizy-v-repozitorii-avtomaticheski}
|
||||
|
||||
В очереди. Иван Лежанкин.
|
||||
|
|
@ -701,10 +716,11 @@ Upd. Частично решён вопрос с visibility - есть како
|
|||
|
||||
Altinity. Никто не делает эту задачу.
|
||||
|
||||
### 8.2. Поддержка Mongo Atlas URI {#podderzhka-mongo-atlas-uri}
|
||||
### 8.2. - Поддержка Mongo Atlas URI {#podderzhka-mongo-atlas-uri}
|
||||
|
||||
[Александр Кузьменков](https://github.com/akuzm).
|
||||
Upd. Задача взята в работу.
|
||||
Все pull requests успешно закрыты.
|
||||
|
||||
### 8.3. + Доработки globs (правильная поддержка диапазонов, уменьшение числа одновременных stream-ов) {#dorabotki-globs-pravilnaia-podderzhka-diapazonov-umenshenie-chisla-odnovremennykh-stream-ov}
|
||||
|
||||
|
|
@ -721,6 +737,7 @@ Upd. Задача взята в работу.
|
|||
### 8.6. Kerberos аутентификация для HDFS и Kafka {#kerberos-autentifikatsiia-dlia-hdfs-i-kafka}
|
||||
|
||||
Андрей Коняев, ArenaData. Он куда-то пропал.
|
||||
Upd. В процессе работа для Kafka.
|
||||
|
||||
### 8.7. + Исправление мелочи HDFS на очень старых ядрах Linux {#ispravlenie-melochi-hdfs-na-ochen-starykh-iadrakh-linux}
|
||||
|
||||
|
|
@ -759,6 +776,8 @@ Upd. В стадии код-ревью.
|
|||
|
||||
### 8.15. Запись данных в CapNProto {#zapis-dannykh-v-capnproto}
|
||||
|
||||
Отложено.
|
||||
|
||||
### 8.16. + Поддержка формата Avro {#podderzhka-formata-avro}
|
||||
|
||||
Andrew Onyshchuk. Есть pull request. Q1. Сделано.
|
||||
|
|
@ -814,12 +833,13 @@ Upd. Готово.
|
|||
|
||||
Низкий приоритет. Отменено.
|
||||
|
||||
### 8.21. Поддержка произвольного количества языков для имён регионов {#podderzhka-proizvolnogo-kolichestva-iazykov-dlia-imion-regionov}
|
||||
### 8.21. - Поддержка произвольного количества языков для имён регионов {#podderzhka-proizvolnogo-kolichestva-iazykov-dlia-imion-regionov}
|
||||
|
||||
Нужно для БК. Декабрь 2019.
|
||||
В декабре для БК сделан минимальный вариант этой задачи.
|
||||
Максимальный вариант, вроде, никому не нужен.
|
||||
Upd. Всё ещё кажется, что задача не нужна.
|
||||
Отменено.
|
||||
|
||||
### 8.22. + Поддержка синтаксиса для переменных в стиле MySQL {#podderzhka-sintaksisa-dlia-peremennykh-v-stile-mysql}
|
||||
|
||||
|
|
@ -831,6 +851,7 @@ Upd. Сделано теми людьми, кому не запрещено ра
|
|||
### 8.23. Подписка для импорта обновляемых и ротируемых логов в ФС {#podpiska-dlia-importa-obnovliaemykh-i-rotiruemykh-logov-v-fs}
|
||||
|
||||
Желательно 2.15.
|
||||
Отложено.
|
||||
|
||||
|
||||
## 9. Безопасность {#bezopasnost}
|
||||
|
|
@ -870,9 +891,10 @@ Upd. Одну причину устранили, но ещё что-то неи
|
|||
Upd. Нас заставляют переписать эту библиотеку с одного API на другое, так как старое внезапно устарело. Кажется, что переписывание случайно исправит все проблемы.
|
||||
Upd. Ура, нашли причину и исправили.
|
||||
|
||||
### 10.3. Возможность чтения данных из статических таблиц в YT словарях {#vozmozhnost-chteniia-dannykh-iz-staticheskikh-tablits-v-yt-slovariakh}
|
||||
### 10.3. - Возможность чтения данных из статических таблиц в YT словарях {#vozmozhnost-chteniia-dannykh-iz-staticheskikh-tablits-v-yt-slovariakh}
|
||||
|
||||
Нужно для БК и Метрики.
|
||||
Отменено.
|
||||
|
||||
### 10.4. - Словарь из YDB (KikiMR) {#slovar-iz-ydb-kikimr}
|
||||
|
||||
|
|
@ -884,9 +906,11 @@ Upd. Ура, нашли причину и исправили.
|
|||
|
||||
Для MySQL сделал Clément Rodriguez.
|
||||
|
||||
### 10.6. Словари из Cassandra и Couchbase {#slovari-iz-cassandra-i-couchbase}
|
||||
### 10.6. + Словари из Cassandra и Couchbase {#slovari-iz-cassandra-i-couchbase}
|
||||
|
||||
Готова Cassandra.
|
||||
Couchbase отменён, так как не было спроса.
|
||||
Aerospike под вопросом.
|
||||
|
||||
### 10.7. Поддержка Nullable в словарях {#podderzhka-nullable-v-slovariakh}
|
||||
|
||||
|
|
@ -929,10 +953,14 @@ Upd. Задача в финальной стадии готовности.
|
|||
|
||||
### 10.17. Локальный дамп состояния словаря для быстрого старта сервера {#lokalnyi-damp-sostoianiia-slovaria-dlia-bystrogo-starta-servera}
|
||||
|
||||
Отложено.
|
||||
|
||||
### 10.18. Таблица Join или словарь на удалённом сервере как key-value БД для cache словаря {#tablitsa-join-ili-slovar-na-udalionnom-servere-kak-key-value-bd-dlia-cache-slovaria}
|
||||
|
||||
### 10.19. Возможность зарегистрировать некоторые функции, использующие словари, под пользовательскими именами {#vozmozhnost-zaregistrirovat-nekotorye-funktsii-ispolzuiushchie-slovari-pod-polzovatelskimi-imenami}
|
||||
|
||||
Отложено.
|
||||
|
||||
|
||||
## 11. Интерфейсы {#interfeisy}
|
||||
|
||||
|
|
@ -943,6 +971,7 @@ Upd. Задача в финальной стадии готовности.
|
|||
Нужно разобраться, как упаковывать Java в статический бинарник, возможно AppImage. Или предоставить максимально простую инструкцию по установке jdbc-bridge. Может быть будет заинтересован Александр Крашенинников, Badoo, так как он разработал jdbc-bridge.
|
||||
|
||||
Upd. Александр Крашенинников перешёл в другую компанию и больше не занимается этим.
|
||||
Upd. Задачу взял Zhichun Wu.
|
||||
|
||||
### 11.3. + Интеграционные тесты ODBC драйвера путём подключения ClickHouse к самому себе через ODBC {#integratsionnye-testy-odbc-draivera-putiom-podkliucheniia-clickhouse-k-samomu-sebe-cherez-odbc}
|
||||
|
||||
|
|
@ -960,6 +989,8 @@ Altinity целиком взяли на себя поддержку clickhouse-c
|
|||
|
||||
### 11.7. Интерактивный режим работы программы clickhouse-local {#interaktivnyi-rezhim-raboty-programmy-clickhouse-local}
|
||||
|
||||
Отложено.
|
||||
|
||||
### 11.8. + Поддержка протокола PostgreSQL {#podderzhka-protokola-postgresql}
|
||||
|
||||
Элбакян Мовсес Андраникович, ВШЭ.
|
||||
|
|
@ -998,14 +1029,17 @@ Q1. Сделано управление правами полностью, но
|
|||
Аутентификация через LDAP - Денис Глазачев.
|
||||
[Виталий Баранов](https://github.com/vitlibar) и Денис Глазачев, Altinity. Требует 12.1.
|
||||
Q3.
|
||||
Upd. Pull request на финальной стадии.
|
||||
|
||||
### 12.4. Подключение IDM системы Яндекса как справочника пользователей и прав доступа {#podkliuchenie-idm-sistemy-iandeksa-kak-spravochnika-polzovatelei-i-prav-dostupa}
|
||||
|
||||
Пока низкий приоритет. Нужно для Метрики. Требует 12.3.
|
||||
Отложено.
|
||||
|
||||
### 12.5. Pluggable аутентификация с помощью Kerberos (возможно, подключение GSASL) {#pluggable-autentifikatsiia-s-pomoshchiu-kerberos-vozmozhno-podkliuchenie-gsasl}
|
||||
|
||||
[Виталий Баранов](https://github.com/vitlibar) и Денис Глазачев, Altinity. Требует 12.1.
|
||||
Upd. Есть pull request.
|
||||
|
||||
### 12.6. + Информация о пользователях и квотах в системной таблице {#informatsiia-o-polzovateliakh-i-kvotakh-v-sistemnoi-tablitse}
|
||||
|
||||
|
|
@ -1033,6 +1067,7 @@ Q3.
|
|||
Upd. Не уследили, и задачу стали обсуждать менеджеры.
|
||||
Upd. Задачу смотрит Александр Казаков.
|
||||
Upd. Задача взята в работу.
|
||||
Upd. Задача как будто взята в работу.
|
||||
|
||||
|
||||
## 14. Диалект SQL {#dialekt-sql}
|
||||
|
|
@ -1041,7 +1076,9 @@ Upd. Задача взята в работу.
|
|||
|
||||
Нужно для DataLens. А также для внедрения в BI инструмент Looker.
|
||||
|
||||
### 14.2. Поддержка WITH для подзапросов {#podderzhka-with-dlia-podzaprosov}
|
||||
### 14.2. + Поддержка WITH для подзапросов {#podderzhka-with-dlia-podzaprosov}
|
||||
|
||||
Сделал Amos Bird.
|
||||
|
||||
### 14.3. Поддержка подстановок для множеств в правой части IN {#podderzhka-podstanovok-dlia-mnozhestv-v-pravoi-chasti-in}
|
||||
|
||||
|
|
@ -1057,11 +1094,13 @@ zhang2014
|
|||
|
||||
### 14.6. Глобальный scope для WITH {#globalnyi-scope-dlia-with}
|
||||
|
||||
В обсуждении. Amos Bird.
|
||||
|
||||
### 14.7. Nullable для WITH ROLLUP, WITH CUBE, WITH TOTALS {#nullable-dlia-with-rollup-with-cube-with-totals}
|
||||
|
||||
Простая задача.
|
||||
|
||||
### 14.8. Модификаторы DISTINCT, ORDER BY для агрегатных функций {#modifikatory-distinct-order-by-dlia-agregatnykh-funktsii}
|
||||
### 14.8. + Модификаторы DISTINCT, ORDER BY для агрегатных функций {#modifikatory-distinct-order-by-dlia-agregatnykh-funktsii}
|
||||
|
||||
В ClickHouse поддерживается вычисление COUNT(DISTINCT x). Предлагается добавить возможность использования модификатора DISTINCT для всех агрегатных функций. Например, AVG(DISTINCT x) - вычислить среднее значение для всех различных значений x. Под вопросом вариант, в котором фильтрация уникальных значений выполняется по одному выражению, а агрегация по другому.
|
||||
|
||||
|
|
@ -1069,6 +1108,7 @@ zhang2014
|
|||
|
||||
Upd. Есть pull request-ы.
|
||||
Upd. DISTINCT готов.
|
||||
Upd. ORDER BY отменён и будет заново сделан уже с LIMIT.
|
||||
|
||||
### 14.9. + Поддержка запроса EXPLAIN {#podderzhka-zaprosa-explain}
|
||||
|
||||
|
|
@ -1079,8 +1119,12 @@ Upd. Есть pull request. Готово.
|
|||
|
||||
### 14.11. Функции для grouping sets {#funktsii-dlia-grouping-sets}
|
||||
|
||||
Отложено.
|
||||
|
||||
### 14.12. Функции обработки временных рядов {#funktsii-obrabotki-vremennykh-riadov}
|
||||
|
||||
Отложено.
|
||||
|
||||
Сложная задача, так как вводит новый класс функций и требует его обработку в оптимизаторе запросов.
|
||||
|
||||
В time-series СУБД нужны функции, которые зависят от последовательности значений. Или даже от последовательности значений и их меток времени. Примеры: moving average, exponential smoothing, derivative, Holt-Winters forecast. Вычисление таких функций поддерживается в ClickHouse лишь частично. Так, ClickHouse поддерживает тип данных «массив» и позволяет реализовать эти функции как функции, принимающие массивы. Но гораздо удобнее для пользователя было бы иметь возможность применить такие функции к таблице (промежуточному результату запроса после сортировки).
|
||||
|
|
@ -1089,6 +1133,8 @@ Upd. Есть pull request. Готово.
|
|||
|
||||
### 14.13. Применимость функций высшего порядка для кортежей и Nested {#primenimost-funktsii-vysshego-poriadka-dlia-kortezhei-i-nested}
|
||||
|
||||
После задачи "чтение срезов столбцов".
|
||||
|
||||
### 14.14. Неявные преобразования типов констант {#neiavnye-preobrazovaniia-tipov-konstant}
|
||||
|
||||
Сделано для операторов сравнения с константами (подавляющее большинство use cases).
|
||||
|
|
@ -1180,12 +1226,14 @@ Upd. Секретного изменения в работе не будет, з
|
|||
|
||||
### 16.5. Функции для XML и HTML escape {#funktsii-dlia-xml-i-html-escape}
|
||||
|
||||
### 16.6. Функции нормализации и хэширования SQL запросов {#funktsii-normalizatsii-i-kheshirovaniia-sql-zaprosov}
|
||||
### 16.6. + Функции нормализации и хэширования SQL запросов {#funktsii-normalizatsii-i-kheshirovaniia-sql-zaprosov}
|
||||
|
||||
Алексей Миловидов. Сделано.
|
||||
|
||||
|
||||
## 17. Работа с географическими данными {#rabota-s-geograficheskimi-dannymi}
|
||||
|
||||
### 17.1. Гео-словари для определения региона по координатам {#geo-slovari-dlia-opredeleniia-regiona-po-koordinatam}
|
||||
### 17.1. + Гео-словари для определения региона по координатам {#geo-slovari-dlia-opredeleniia-regiona-po-koordinatam}
|
||||
|
||||
[Андрей Чулков](https://github.com/achulkov2), Антон Кваша, Артур Петуховский, ВШЭ.
|
||||
Будет основано на коде от Арслана Урташева.
|
||||
|
|
@ -1198,6 +1246,7 @@ Upd. Андрей сделал прототип интерфейса и реал
|
|||
Upd. Андрей сделал прототип более оптимальной структуры данных.
|
||||
Upd. Есть обнадёживающие результаты.
|
||||
Upd. В ревью.
|
||||
Upd. В релизе.
|
||||
|
||||
### 17.2. GIS типы данных и операции {#gis-tipy-dannykh-i-operatsii}
|
||||
|
||||
|
|
@ -1227,6 +1276,7 @@ Upd. Есть pull request.
|
|||
Александр Кожихов, Максим Кузнецов. Обнаружена фундаментальная проблема в реализации, доделывает предположительно [Николай Кочетов](https://github.com/KochetovNicolai). Он может делегировать задачу кому угодно.
|
||||
|
||||
Исправление фундаментальной проблемы - есть PR.
|
||||
Фундаментальная проблема решена.
|
||||
|
||||
### 18.2. Агрегатные функции для статистических тестов {#agregatnye-funktsii-dlia-statisticheskikh-testov}
|
||||
|
||||
|
|
@ -1235,16 +1285,20 @@ Upd. Есть pull request.
|
|||
Предлагается реализовать в ClickHouse статистические тесты (Analysis of Variance, тесты нормальности распределения и т. п.) в виде агрегатных функций. Пример: `welchTTest(value, sample_idx)`.
|
||||
|
||||
Сделали прототип двух тестов, есть pull request. Также есть pull request для корелляции рангов.
|
||||
Upd. Помержили корелляцию рангов, но ещё не помержили сравнение t-test, u-test.
|
||||
|
||||
### 18.3. Инфраструктура для тренировки моделей в ClickHouse {#infrastruktura-dlia-trenirovki-modelei-v-clickhouse}
|
||||
|
||||
В очереди.
|
||||
Отложено.
|
||||
|
||||
|
||||
## 19. Улучшение работы кластера {#uluchshenie-raboty-klastera}
|
||||
|
||||
### 19.1. Параллельные кворумные вставки без линеаризуемости {#parallelnye-kvorumnye-vstavki-bez-linearizuemosti}
|
||||
|
||||
Upd. В работе, ожидается в начале октября.
|
||||
|
||||
Репликация данных в ClickHouse по-умолчанию является асинхронной без выделенного мастера. Это значит, что клиент, осуществляющий вставку данных, получает успешный ответ после того, как данные попали на один сервер; репликация данных по остальным серверам осуществляется в другой момент времени. Это ненадёжно, потому что допускает потерю только что вставленных данных при потере лишь одного сервера.
|
||||
|
||||
Для решения этой проблемы, в ClickHouse есть возможность включить «кворумную» вставку. Это значит, что клиент, осуществляющий вставку данных, получает успешный ответ после того, как данные попали на несколько (кворум) серверов. Обеспечивается линеаризуемость: клиент, получает успешный ответ после того, как данные попали на несколько реплик, *которые содержат все предыдущие данные, вставленные с кворумом* (такие реплики можно называть «синхронными»), и при запросе SELECT можно выставить настройку, разрешающую только чтение с синхронных реплик.
|
||||
|
|
@ -1265,6 +1319,7 @@ Upd. Есть pull request.
|
|||
|
||||
Upd. Алексей сделал какой-то вариант, но борется с тем, что ничего не работает.
|
||||
Upd. Есть pull request на начальной стадии.
|
||||
Upd. Взято в работу, но непонятна перспектива, так как не ясно, подлежат ли исправлению некоторые нюансы.
|
||||
|
||||
### 19.3. - Подключение YT Cypress или YDB как альтернативы ZooKeeper {#podkliuchenie-yt-cypress-ili-ydb-kak-alternativy-zookeeper}
|
||||
|
||||
|
|
@ -1349,9 +1404,9 @@ Upd. Для DISTINCT есть pull request.
|
|||
[Vxider](https://github.com/Vxider), ICT
|
||||
Есть pull request.
|
||||
|
||||
### 21.6. Уменьшение числа потоков для SELECT в случае тривиального INSERT SELECT {#umenshenie-chisla-potokov-dlia-select-v-sluchae-trivialnogo-insert-select}
|
||||
### 21.6. + Уменьшение числа потоков для SELECT в случае тривиального INSERT SELECT {#umenshenie-chisla-potokov-dlia-select-v-sluchae-trivialnogo-insert-select}
|
||||
|
||||
ucasFL, в разработке.
|
||||
ucasFL, в разработке. Готово.
|
||||
|
||||
### 21.7. Кэш результатов запросов {#kesh-rezultatov-zaprosov}
|
||||
|
||||
|
|
@ -1371,11 +1426,14 @@ Upd. В обсуждении.
|
|||
|
||||
Upd. Есть нерабочий прототип, скорее всего будет отложено.
|
||||
Upd. Отложено до осени.
|
||||
Upd. Отложено до.
|
||||
|
||||
### 21.8.1. Отдельный аллокатор для кэшей с ASLR {#otdelnyi-allokator-dlia-keshei-s-aslr}
|
||||
|
||||
В прошлом году задачу пытался сделать Данила Кутенин с помощью lfalloc из Аркадии и mimalloc из Microsoft, но оба решения не были квалифицированы для использования в продакшене. Успешная реализация задачи 21.8 отменит необходимость в этой задаче, поэтому холд.
|
||||
|
||||
Upd. Ещё попробовали новый tcmalloc, результаты неудовлетворительные. Пока отменено.
|
||||
|
||||
### 21.9. Исправить push-down выражений с помощью Processors {#ispravit-push-down-vyrazhenii-s-pomoshchiu-processors}
|
||||
|
||||
[Николай Кочетов](https://github.com/KochetovNicolai). Требует 2.1.
|
||||
|
|
@ -1384,7 +1442,7 @@ Upd. Отложено до осени.
|
|||
|
||||
Amos Bird.
|
||||
|
||||
### 21.11. Peephole оптимизации запросов {#peephole-optimizatsii-zaprosov}
|
||||
### 21.11. + Peephole оптимизации запросов {#peephole-optimizatsii-zaprosov}
|
||||
|
||||
Руслан Камалов, Михаил Малафеев, Виктор Гришанин, ВШЭ
|
||||
|
||||
|
|
@ -1399,8 +1457,9 @@ Amos Bird.
|
|||
Сделано ещё несколько оптимизаций.
|
||||
Upd. Все вышеперечисленные оптимизации доступны в pull requests.
|
||||
Upd. Из них почти все помержены, осталась одна.
|
||||
Upd. Помержили всё.
|
||||
|
||||
### 21.12. Алгебраические оптимизации запросов {#algebraicheskie-optimizatsii-zaprosov}
|
||||
### 21.12. + Алгебраические оптимизации запросов {#algebraicheskie-optimizatsii-zaprosov}
|
||||
|
||||
Руслан Камалов, Михаил Малафеев, Виктор Гришанин, ВШЭ
|
||||
|
||||
|
|
@ -1415,6 +1474,7 @@ Upd. Из них почти все помержены, осталась одна
|
|||
Несколько оптимизаций есть в PR.
|
||||
Upd. Все оптимизации кроме "Обращение инъективных функций в сравнениях на равенство" есть в PR.
|
||||
Upd. Из них больше половины помержены, осталось ещё две.
|
||||
Upd. Помержили всё.
|
||||
|
||||
### 21.13. Fusion агрегатных функций {#fusion-agregatnykh-funktsii}
|
||||
|
||||
|
|
@ -1427,6 +1487,7 @@ Constraints позволяют задать выражение, истиннос
|
|||
Если выражение содержит равенство, то встретив в запросе одну из частей равенства, её можно заменить на другую часть равенства, если это сделает проще чтение данных или вычисление выражения. Например, задан constraint: `URLDomain = domain(URL)`. Значит, выражение `domain(URL)` можно заменить на `URLDomain`.
|
||||
|
||||
Upd. Возможно будет отложено на следующий год.
|
||||
Отложено на следующий год.
|
||||
|
||||
### 21.15. Многоступенчатое чтение данных вместо PREWHERE {#mnogostupenchatoe-chtenie-dannykh-vmesto-prewhere}
|
||||
|
||||
|
|
@ -1442,10 +1503,11 @@ Upd. Возможно будет отложено на следующий год
|
|||
|
||||
### 21.18. Внутренняя параллелизация мержа больших состояний агрегатных функций {#vnutrenniaia-parallelizatsiia-merzha-bolshikh-sostoianii-agregatnykh-funktsii}
|
||||
|
||||
### 21.19. Оптимизация сортировки {#optimizatsiia-sortirovki}
|
||||
### 21.19. + Оптимизация сортировки {#optimizatsiia-sortirovki}
|
||||
|
||||
Василий Морозов, Арслан Гумеров, Альберт Кидрачев, ВШЭ.
|
||||
В прошлом году задачу начинал делать другой человек, но не добился достаточного прогресса.
|
||||
Upd. Сделаны самые существенные из предложенных вариантов.
|
||||
|
||||
\+ 1. Оптимизация top sort.
|
||||
|
||||
|
|
@ -1481,11 +1543,13 @@ Upd. Вместо этого будем делать задачу 1.16.
|
|||
### 21.22. Userspace page cache {#userspace-page-cache}
|
||||
|
||||
Требует 21.8.
|
||||
Отложено.
|
||||
|
||||
### 21.23. Ускорение работы с вторичными индексами {#uskorenie-raboty-s-vtorichnymi-indeksami}
|
||||
### 21.23. + Ускорение работы с вторичными индексами {#uskorenie-raboty-s-vtorichnymi-indeksami}
|
||||
|
||||
zhang2014.
|
||||
Есть pull request.
|
||||
Готово.
|
||||
|
||||
|
||||
## 22. Долги и недоделанные возможности {#dolgi-i-nedodelannye-vozmozhnosti}
|
||||
|
|
@ -1679,15 +1743,18 @@ Q1. [Николай Кочетов](https://github.com/KochetovNicolai).
|
|||
|
||||
### 24.2. Экспериментальные алгоритмы сжатия {#eksperimentalnye-algoritmy-szhatiia}
|
||||
|
||||
Отложено.
|
||||
|
||||
ClickHouse поддерживает LZ4 и ZSTD для сжатия данных. Эти алгоритмы являются парето-оптимальными по соотношению скорости и коэффициентам сжатия среди достаточно известных. Тем не менее, существуют менее известные алгоритмы сжатия, которые могут превзойти их по какому-либо критерию. Из потенциально более быстрых по сравнимом коэффициенте сжатия: Lizard, LZSSE, density. Из более сильных: bsc и csc. Необходимо изучить эти алгоритмы, добавить их поддержку в ClickHouse и исследовать их работу на тестовых датасетах.
|
||||
|
||||
### 24.3. Экспериментальные кодеки {#eksperimentalnye-kodeki}
|
||||
### 24.3. - Экспериментальные кодеки {#eksperimentalnye-kodeki}
|
||||
|
||||
Существуют специализированные алгоритмы кодирования числовых последовательностей: Group VarInt, MaskedVByte, PFOR. Необходимо изучить наиболее эффективные реализации этих алгоритмов. Примеры вы сможете найти на https://github.com/lemire и https://github.com/powturbo/ а также https://github.com/schizofreny/middle-out
|
||||
|
||||
Внедрить их в ClickHouse в виде кодеков и изучить их работу на тестовых датасетах.
|
||||
|
||||
Upd. Есть два pull requests в начальной стадии, отложено.
|
||||
Upd. Отменено.
|
||||
|
||||
### 24.4. Шифрование в ClickHouse на уровне VFS {#shifrovanie-v-clickhouse-na-urovne-vfs}
|
||||
|
||||
|
|
@ -1697,6 +1764,7 @@ Upd. Есть два pull requests в начальной стадии, отло
|
|||
|
||||
Обсуждаются детали реализации. Q3/Q4.
|
||||
Виталий Баранов.
|
||||
Отложено, после бэкапов.
|
||||
|
||||
### 24.5. Поддержка функций шифрования для отдельных значений {#podderzhka-funktsii-shifrovaniia-dlia-otdelnykh-znachenii}
|
||||
|
||||
|
|
@ -1706,6 +1774,7 @@ Upd. Есть два pull requests в начальной стадии, отло
|
|||
Для этого требуется реализовать функции шифрования и расшифрования, доступные из SQL. Для шифрования реализовать возможность добавления нужного количества случайных бит для исключения одинаковых зашифрованных значений на одинаковых данных. Это позволит реализовать возможность «забывания» данных без удаления строк таблицы: можно шифровать данные разных клиентов разными ключами, и для того, чтобы забыть данные одного клиента, потребуется всего лишь удалить ключ.
|
||||
|
||||
Делает Василий Немков, Altinity
|
||||
Есть pull request в процессе ревью, исправляем проблемы производительности.
|
||||
|
||||
### 24.6. Userspace RAID {#userspace-raid}
|
||||
|
||||
|
|
@ -1722,6 +1791,7 @@ RAID позволяет одновременно увеличить надёжн
|
|||
Для преодоления этих ограничений, предлагается реализовать в ClickHouse встроенный алгоритм расположения данных на дисках.
|
||||
|
||||
Есть pull request на начальной стадии.
|
||||
Отложено.
|
||||
|
||||
### 24.7. Вероятностные структуры данных для фильтрации по подзапросам {#veroiatnostnye-struktury-dannykh-dlia-filtratsii-po-podzaprosam}
|
||||
|
||||
|
|
@ -1762,6 +1832,7 @@ Upd. Есть pull request. В стадии ревью. Готово.
|
|||
Рустам Гусейн-заде, ВШЭ.
|
||||
|
||||
Есть pull request на промежуточной стадии.
|
||||
Отложено.
|
||||
|
||||
### 24.11. User Defined Functions {#user-defined-functions}
|
||||
|
||||
|
|
@ -1785,7 +1856,7 @@ ClickHouse предоставляет достаточно богатый наб
|
|||
|
||||
Upd. В работе два варианта реализации UDF.
|
||||
|
||||
### 24.12. GPU offloading {#gpu-offloading}
|
||||
### 24.12. - GPU offloading {#gpu-offloading}
|
||||
|
||||
Риск состоит в том, что даже известные GPU базы, такие как OmniSci, работают медленнее, чем ClickHouse.
|
||||
Преимущество возможно только на полной сортировке и JOIN.
|
||||
|
|
@ -1794,10 +1865,11 @@ Upd. В работе два варианта реализации UDF.
|
|||
В компании nVidia сделали прототип offloading вычисления GROUP BY с некоторыми из агрегатных функций в ClickHouse и обещат предоставить исходники в публичный доступ для дальнейшего развития. Предлагается изучить этот прототип и расширить его применимость для более широкого сценария использования. В качестве альтернативы, предлагается изучить исходные коды системы `OmniSci` или `Alenka` или библиотеку `CUB` https://nvlabs.github.io/cub/ и применить некоторые из алгоритмов в ClickHouse.
|
||||
|
||||
Upd. В компании nVidia выложили прототип, теперь нужна интеграция в систему сборки.
|
||||
Upd. Интеграция в систему сборки - Иван Лежанкин.
|
||||
Upd. Интеграция в систему сборки - Иван Лежанкин (не сделано).
|
||||
Upd. Есть прототип bitonic sort.
|
||||
Upd. Прототип bitonic sort помержен, но целесообразность под вопросом (он работает медленнее).
|
||||
Наверное надо будет подержать и удалить.
|
||||
Удалили.
|
||||
|
||||
### 24.13. Stream запросы {#stream-zaprosy}
|
||||
|
||||
|
|
@ -1819,6 +1891,8 @@ Upd. Есть два прототипа от внешних контрибьют
|
|||
|
||||
В прошлом году исследование по этой задаче сделал Егор Соловьёв, ВШЭ и Яндекс.Такси. Его исследование показало, что алгоритм нельзя существенно улучшить путём изменения параметров. Но исследование лажовое, так как рассмотрен только уже использующийся алгоритм. То есть, задача остаётся открытой.
|
||||
|
||||
Отложено.
|
||||
|
||||
### 24.17. Экспериментальные способы ускорения параллельного GROUP BY {#eksperimentalnye-sposoby-uskoreniia-parallelnogo-group-by}
|
||||
|
||||
Максим Серебряков
|
||||
|
|
@ -1831,9 +1905,12 @@ Upd. Есть pull request - в большинстве случаев однов
|
|||
|
||||
### 24.19. Промежуточное состояние GROUP BY как структура данных для key-value доступа {#promezhutochnoe-sostoianie-group-by-kak-struktura-dannykh-dlia-key-value-dostupa}
|
||||
|
||||
Отложено.
|
||||
|
||||
### 24.20. Short-circuit вычисления некоторых выражений {#short-circuit-vychisleniia-nekotorykh-vyrazhenii}
|
||||
|
||||
Два года назад задачу попробовала сделать Анастасия Царькова, ВШЭ и Яндекс, но реализация получилась слишком неудобной и её удалили.
|
||||
В обсуждении.
|
||||
|
||||
### 24.21. Реализация в ClickHouse протокола распределённого консенсуса {#realizatsiia-v-clickhouse-protokola-raspredelionnogo-konsensusa}
|
||||
|
||||
|
|
@ -1851,9 +1928,10 @@ ClickHouse также может использоваться для быстр
|
|||
|
||||
Другая экспериментальная задача - реализация эвристик для обработки данных в неизвестном построчном текстовом формате. Детектирование CSV, TSV, JSON, детектирование разделителей и форматов значений.
|
||||
|
||||
### 24.23. Минимальная поддержка транзакций для множества вставок/чтений {#minimalnaia-podderzhka-tranzaktsii-dlia-mnozhestva-vstavokchtenii}
|
||||
### 24.23. - Минимальная поддержка транзакций для множества вставок/чтений {#minimalnaia-podderzhka-tranzaktsii-dlia-mnozhestva-vstavokchtenii}
|
||||
|
||||
Максим Кузнецов, ВШЭ.
|
||||
Отменено.
|
||||
|
||||
Таблицы типа MergeTree состоят из набора независимых неизменяемых «кусков» данных. При вставках данных (INSERT), формируются новые куски. При модификациях данных (слияние кусков), формируются новые куски, а старые - становятся неактивными и перестают использоваться следующими запросами. Чтение данных (SELECT) производится из снэпшота множества кусков на некоторый момент времени. Таким образом, чтения и вставки не блокируют друг друга.
|
||||
|
||||
|
|
@ -1863,11 +1941,12 @@ ClickHouse также может использоваться для быстр
|
|||
|
||||
Для решения этих проблем, предлагается ввести глобальные метки времени для кусков данных (сейчас уже есть инкрементальные номера кусков, но они выделяются в рамках одной таблицы). Первым шагом сделаем эти метки времени в рамках сервера. Вторым шагом сделаем метки времени в рамках всех серверов, но неточные на основе локальных часов. Третьим шагом сделаем метки времени, выдаваемые сервисом координации.
|
||||
|
||||
### 24.24. Реализация алгоритмов differential privacy {#realizatsiia-algoritmov-differential-privacy}
|
||||
### 24.24. - Реализация алгоритмов differential privacy {#realizatsiia-algoritmov-differential-privacy}
|
||||
|
||||
[\#6874](https://github.com/ClickHouse/ClickHouse/issues/6874)
|
||||
|
||||
Артём Вишняков, ВШЭ. Есть pull request.
|
||||
Отменено, так как решение имеет низкую практичность.
|
||||
|
||||
### 24.25. Интеграция в ClickHouse функциональности обработки HTTP User Agent {#integratsiia-v-clickhouse-funktsionalnosti-obrabotki-http-user-agent}
|
||||
|
||||
|
|
@ -1882,6 +1961,7 @@ Upd. Есть pull request. Нужно ещё чистить код библио
|
|||
|
||||
Александр Кожихов, ВШЭ и Яндекс.YT.
|
||||
Upd. Есть pull request с прототипом.
|
||||
Upd. Александ Кузьменков взял задачу в работу.
|
||||
|
||||
### 24.27. Реализация алгоритмов min-hash, sim-hash для нечёткого поиска полудубликатов {#realizatsiia-algoritmov-min-hash-sim-hash-dlia-nechiotkogo-poiska-poludublikatov}
|
||||
|
||||
|
|
@ -1892,10 +1972,12 @@ ucasFL, ICT.
|
|||
Алгоритмы min-hash и sim-hash позволяют вычислить для текста несколько хэш-значений таких, что при небольшом изменении текста, по крайней мере один из хэшей не меняется. Вычисления можно реализовать на n-грамах и словарных шинглах. Предлагается добавить поддержку этих алгоритмов в виде функций в ClickHouse и изучить их применимость для задачи нечёткого поиска полудубликатов.
|
||||
|
||||
Есть pull request, есть что доделывать.
|
||||
Upd. Николай Кочетов взял задачу в работу.
|
||||
|
||||
### 24.28. Другой sketch для квантилей {#drugoi-sketch-dlia-kvantilei}
|
||||
|
||||
Похоже на quantileTiming, но с логарифмическими корзинами. См. DDSketch.
|
||||
Отложено.
|
||||
|
||||
### 24.29. Поддержка Arrow Flight {#podderzhka-arrow-flight}
|
||||
|
||||
|
|
@ -1911,6 +1993,7 @@ Amos Bird, но его решение слишком громоздкое и п
|
|||
### 24.31. Кореллированные подзапросы {#korellirovannye-podzaprosy}
|
||||
|
||||
Перепиcывание в JOIN. Не раньше 21.11, 21.12, 21.9. Низкий приоритет.
|
||||
Отложено.
|
||||
|
||||
### 24.32. Поддержка GRPC {#podderzhka-grpc}
|
||||
|
||||
|
|
@ -1925,6 +2008,7 @@ Amos Bird, но его решение слишком громоздкое и п
|
|||
Рассматривается вариант - поддержка GRPC в ClickHouse. Здесь есть неочевидные моменты, такие как - эффективная передача массивов данных в column-oriented формате - насколько удобно будет обернуть это в GRPC.
|
||||
|
||||
Задача в работе, есть pull request. [#10136](https://github.com/ClickHouse/ClickHouse/pull/10136)
|
||||
Upd. Задачу взял в работу Виталий Баранов.
|
||||
|
||||
|
||||
## 25. DevRel {#devrel}
|
||||
|
|
@ -1970,17 +2054,18 @@ Amos Bird, но его решение слишком громоздкое и п
|
|||
|
||||
Екатерина - организация. Upd. Проведено два онлайн митапа на русском и два на английском.
|
||||
|
||||
### 25.11. Митапы зарубежные: восток США (Нью Йорк, возможно Raleigh), возможно северо-запад (Сиэтл), Китай (Пекин снова, возможно митап для разработчиков или хакатон), Лондон {#mitapy-zarubezhnye-vostok-ssha-niu-iork-vozmozhno-raleigh-vozmozhno-severo-zapad-sietl-kitai-pekin-snova-vozmozhno-mitap-dlia-razrabotchikov-ili-khakaton-london}
|
||||
### 25.11. + Митапы зарубежные: восток США (Нью Йорк, возможно Raleigh), возможно северо-запад (Сиэтл), Китай (Пекин снова, возможно митап для разработчиков или хакатон), Лондон {#mitapy-zarubezhnye-vostok-ssha-niu-iork-vozmozhno-raleigh-vozmozhno-severo-zapad-sietl-kitai-pekin-snova-vozmozhno-mitap-dlia-razrabotchikov-ili-khakaton-london}
|
||||
|
||||
[Иван Блинков](https://github.com/blinkov/) - организация. Две штуки в США запланированы. Upd. Два митапа в США и один в Европе проведены.
|
||||
[Иван Блинков](https://github.com/blinkov/) - организация. Две штуки в США запланированы. Upd. Два митапа в США и один в Европе проведены. Upd. Все остальные перенесены в онлайн.
|
||||
|
||||
### 25.12. Статья «научная» - про устройство хранения данных и индексов или whitepaper по архитектуре. Есть вариант подать на VLDB {#statia-nauchnaia-pro-ustroistvo-khraneniia-dannykh-i-indeksov-ili-whitepaper-po-arkhitekture-est-variant-podat-na-vldb}
|
||||
|
||||
Низкий приоритет. Алексей Миловидов.
|
||||
|
||||
### 25.13. Участие во всех мероприятиях Яндекса, которые связаны с разработкой бэкенда, C++ разработкой или с базами данных, возможно участие в DevRel мероприятиях {#uchastie-vo-vsekh-meropriiatiiakh-iandeksa-kotorye-sviazany-s-razrabotkoi-bekenda-c-razrabotkoi-ili-s-bazami-dannykh-vozmozhno-uchastie-v-devrel-meropriiatiiakh}
|
||||
### 25.13. + Участие во всех мероприятиях Яндекса, которые связаны с разработкой бэкенда, C++ разработкой или с базами данных, возможно участие в DevRel мероприятиях {#uchastie-vo-vsekh-meropriiatiiakh-iandeksa-kotorye-sviazany-s-razrabotkoi-bekenda-c-razrabotkoi-ili-s-bazami-dannykh-vozmozhno-uchastie-v-devrel-meropriiatiiakh}
|
||||
|
||||
Алексей Миловидов и все подготовленные докладчики
|
||||
Алексей Миловидов и все подготовленные докладчики.
|
||||
Upd. Участвуем.
|
||||
|
||||
### 25.14. Конференции в России: все HighLoad, возможно CodeFest, DUMP или UWDC, возможно C++ Russia {#konferentsii-v-rossii-vse-highload-vozmozhno-codefest-dump-ili-uwdc-vozmozhno-c-russia}
|
||||
|
||||
|
|
@ -1988,6 +2073,7 @@ Amos Bird, но его решение слишком громоздкое и п
|
|||
Upd. Есть Saint HighLoad online.
|
||||
Upd. Есть C++ Russia.
|
||||
CodeFest, DUMP, UWDC отменились.
|
||||
Upd. Добавились Highload Fwdays, Матемаркетинг.
|
||||
|
||||
### 25.15. Конференции зарубежные: Percona, DataOps, попытка попасть на более крупные {#konferentsii-zarubezhnye-percona-dataops-popytka-popast-na-bolee-krupnye}
|
||||
|
||||
|
|
@ -2009,16 +2095,18 @@ DataOps отменилась.
|
|||
Требуется проработать вопрос безопасности и изоляции инстансов (поднятие в контейнерах с ограничениями по сети), подключение тестовых датасетов с помощью copy-on-write файловой системы; органичения ресурсов.
|
||||
|
||||
Есть минимальный прототип. Сделал Илья Яцишин. Этот прототип не позволяет делиться ссылками на результаты запросов.
|
||||
Upd. На финальной стадии инструмент для экспериментирования с разными версиями ClickHouse.
|
||||
|
||||
### 25.17. Взаимодействие с ВУЗами: ВШЭ, УрФУ, ICT Beijing {#vzaimodeistvie-s-vuzami-vshe-urfu-ict-beijing}
|
||||
|
||||
Алексей Миловидов и вся группа разработки.
|
||||
Благодаря Robert Hodges добавлен CMU.
|
||||
Upd. Взаимодействие с ВШЭ 2019/2020 успешно выполнено.
|
||||
Upd. Идёт подготовка к 2020/2021.
|
||||
|
||||
### 25.18. - Лекция в ШАД {#lektsiia-v-shad}
|
||||
|
||||
Алексей Миловидов
|
||||
Алексей Миловидов.
|
||||
|
||||
### 25.19. - Участие в курсе разработки на C++ в ШАД {#uchastie-v-kurse-razrabotki-na-c-v-shad}
|
||||
|
||||
|
|
@ -2029,6 +2117,8 @@ Upd. Взаимодействие с ВШЭ 2019/2020 успешно выпол
|
|||
Существуют мало известные специализированные СУБД, способные конкурировать с ClickHouse по скорости обработки некоторых классов запросов. Пример: `TDEngine` и `DolphinDB`, `VictoriaMetrics`, а также `Apache Doris` и `LocustDB`. Предлагается изучить и классифицировать архитектурные особенности этих систем - их особенности и преимущества. Установить эти системы, загрузить тестовые данные, изучить производительность. Проанализировать, за счёт чего достигаются преимущества.
|
||||
|
||||
Upd. Есть поползновения с TDEngine.
|
||||
Upd. Добавили OmniSci, обновили MonetDB.
|
||||
Также посмотрели QuestDB и VectorSQL (они не работают).
|
||||
|
||||
### 25.21. Повторное награждение контрибьюторов в Китае {#povtornoe-nagrazhdenie-kontribiutorov-v-kitae}
|
||||
|
||||
|
|
@ -2038,6 +2128,7 @@ Upd. Ждём снятия ограничений и восстановлени
|
|||
|
||||
[Иван Блинков](https://github.com/blinkov/) - организация. Провёл мероприятие для турецкой компании.
|
||||
Upd. On-site заменяется на Online.
|
||||
Upd. Проведены консультации для нескольких секретных компаний.
|
||||
|
||||
### 25.23. Новый мерч для ClickHouse {#novyi-merch-dlia-clickhouse}
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue