Научно-образовательный IT-форум при КНИТУ-КАИ

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Научно-образовательный IT-форум при КНИТУ-КАИ » Доклады и заметки » Организация СУБД на кластерной платформе с графическими ускорителями


Организация СУБД на кластерной платформе с графическими ускорителями

Сообщений 1 страница 3 из 3

1

ГИПОТЕТИЧЕСКИЕ ПРИНЦИПЫ ОРГАНИЗАЦИИ КОНСЕРВАТИВНЫХ СУБД
НА КЛАСТЕРНОЙ ПЛАТФОРМЕ С ГРАФИЧЕСКИМИ УСКОРИТЕЛЯМИ

Р.К. Классен (КНИТУ-КАИ)

Анализируются известные способы ускорения передачи информации по шине PCI-e в графический ускоритель и алгоритмы сжатия. Обосновывается выбор способа сжатия информации для последующего разжатия в графическом ускорителе. Рассматривается организация хранения консервативной БД в сжатом виде и стратегия работы с сжатой консервативной БД в условиях ограниченности памяти графического ускорителя. Приводятся полученные оценки повышения эффективности передачи информации.

ПРЕЗЕНТАЦИЯ

ВИДЕО ДОКЛАДА:

2

Насколько оправдано использование сжатия данных, для увеличения эффективности передачи информации в GPU, для СУБД ориентированных на хранение данных по строкам или существуют другие более эффективные варианты для данного типа СУБД?
Как используется видеопамять GPU, например, в СУБД MapD, если размер хранимых данных больше суммарного размера видеопамяти(VRAM) всех GPU?

3

Насколько оправдано использование сжатия данных, для увеличения эффективности передачи информации в GPU, для СУБД ориентированных на хранение данных по строкам или существуют другие более эффективные варианты для данного типа СУБД?


Для СУБД ориентированных на хранение данных по строкам сжатие данных для увеличения эффективности передачи информации в GPU оправдано в случае если время передачи сжатой информации и ее распаковка займет времени меньше, чем просто копирование данных в память GPU.

Для целочисленных значений при передаче по шине PCI-e 3.0 передача сжатых данных на 30% эффективнее, чем просто передача данных, при условии, что данные сжимаются в 4 и более раз. Если данные сжимаются плохо, то время передачи сжатых данных + время распаковки может превысить время просто копирования.

Использование сжатие по столбцам позволяет передавать в GPU только необходимую информацию, что уменьшает объем передаваемых данных, а с ним и время передачи.

Как используется видеопамять GPU, например, в СУБД MapD, если размер хранимых данных больше суммарного размера видеопамяти(VRAM) всех GPU?


СУБД MapD и ей подобные используется для аналитики и ориентированы в первую очередь на запросы типа SELECT-PROJECT (по сути сканирование данных). Поэтому, осмелюсь предположить, что используется либо блочная организация данных, когда подготавливается пакет данных и порциями загружается в GPU. Либо используется универсальная память (Unified Memory), которая позволяет передавать данные в GPU при необходимости.


Вы здесь » Научно-образовательный IT-форум при КНИТУ-КАИ » Доклады и заметки » Организация СУБД на кластерной платформе с графическими ускорителями