В Марте 2019 первый комплекс IntelliFlex приехал в Беларусь. И это, конечно, впечатляет. На данный момент IntelliFlex являестя самой мощной платформой Teradata. Более подробно ключевые преимущества IntelliFlex можно посмотреть на сайте Teradata, где платформе отвели целый отдельный раздел. Гибридное хранилище на SSD, InfiniBand, новый BYNET, возможность гибкой маштабируемости – многие факторы повлияли на принятие решения о необходимости перехода на IntelliFlex. Учитывалась и текущая загруженность комплеса и планируемый рост нашей потребности.

Пока еще идут только пуско-наладочные работы и внутренние тесты. Уже были произведены первые запуски и проверки соединения. Во внутреннем пространстве еще нет той гармонии, но уже сейчас заметно насколько быстро протекают изменения в IT сфере.

То, как быстро идет развитие, хорошо видно, когда сравниваешь внутреннее пространство двух топовых платформ, выпущенных в разное время. В нашем случае речь про Teradata 6700 и Teradata IntelliFlex. Конечно, многое зависит и от конкретных конфигураций, но все-таки. Пускай это чисто визуальное сравнение, пускай между платформами не меньше 5 лет разницы, однако новая система с заявленной производительностью, большей в десятки раз, и объемом хранилища, увеличенным в 4,5 раза, умещается в аналогичный по размерам шкаф с заметным резервом по занимаемому внутреннему пространству. Посмотрите насколько картина отличается платформыTeradata Active Enterprise Data Warehouse 6700.

Символично, что Teradata, похоже, перешла на светлую сторону жизни.Такое впечатление возникает, когда смотришь на два комплекса стоящие рядом. Во время монтажных работ крышку пришлось временно снять. Временно IntelliFlex вернулся на темную сторону, но, надеюсь, все станет на места, когда новый комплекс примет на себя бремя Пром среды. Забавно, что, когда смотришь на фотографии шкафов, нет никакого ощущения их реальных размеров.

Итак, первый комплекс Teradata IntelliFlex в Беларуси!

Конечно, это где-то даже знаковое, грандиозное событие. И мы оказались в самом центре этих событий. Сам факт свершился, и страница  истории нашего клиента начала переворачиваться. В предвкушении ждем, когда начнется эта новая страница. Все инстиктивно понимают, что должно быть быстрее, но как? Насколько? В одной из статей от Teradata был вот такой слайд ( ссылка на первоисточник ◊).

Как только будут завершены пуско-наладочные работы, начнется самое интересное. Мы сможем реально оценить, насколько в рамках одной автоматизированной системы изменятся длительности процессов при замене только одного комплекса. Мы постараемся подготовить целый цикл статей со статистикой о реальных изменениях в отдельных процессах в связи с переходом на IntelliFlex.

Как будет происходить сравнение?

После того, как все настройки будут завершены, начнется миграция на новый комплекс. Уже на момент начала миграции мы сможем получить предварительные результаты сравнения, но такой тест будет не совсем честным. Один из комплексов, помимо всего прочего, будет обслуживать реальных бизнес-пользователей. Гораздо более показательными будут сравнения производительности после миграции. Именно время регламентных процессов после полного перехода будем сравнивать. Какие типы процессов отдельно рассмотрим?

Stage

Насколько изменится скорость загрузки на Stage всех ETL процессов, если единственным, что поменяется будет платформа Teradata? Здесь неизменными должны остаться источники данных и объем загружаемых данных, скорость, ETL сервер и инструмент. Особенность процесса: практически только операции массовой загрузки данных.

Buffer и Work

Насколько изменится длительность выполнения процессов формирования слепков данных. Остается тот же самый ETL сервер и инструмент, объемы.  Особенность процесса: преобразование данных в нетемпоральных таблицах, преимущественно DML запросы (insert, update, delete)

CoDM (Кастомизированная Teradata FSDM)

Насколько изменится длительность выполнения процессов версионного сохранения слепков данных. Остается тот же самый ETL сервер и инструмент, объемы.  Особенность процесса: преобразование данных в темпоральных таблицах, преимущественно DML запросы (insert, update, delete).

Формирование витрин

Сравним скорость формирования выгрузок. Особенность процесса:  преимущественно запросы формирования выборки данных.

В общем, осталось запастись терпением (возможно, попкорном) и ждать результатов. Возможно, получится выкладывать и промежуточные результаты. Переход на следующую статью из цикла будет добавлен  и сюда, после ее написания, конечно Ориентировочно не раньше апреля.

П.С. Выкладываю фото с ориентиром, так проще оценить размеры. Мой рост 1 метр 82 сантиметра.