Назад

Руководитель отдела разработки / Team lead (Data lake)

Заработная плата: не указана
Опыт работы:
Занятость: полная занятость
Откликнуться

Описание вакансии

Руководителя отдела разработки / Team lead

В департамент по управлению данными крупной логистической компании требуются специалисты для построения централизованной платформы данных. Это продуктово-ориентированная команда с функциями развития новых технологических направлений, отражающих современный подход компании к данным и их дальнейшему использованию (аналитика/BI, machine learning). Команда будет заниматься продвижением решений на базе решений MPP и их интеграции в ИТ-ландшафт Компании. У нас дружный коллектив профессионалов в области управления и обработки данных.

Мы ищем экспертов, которым предстоит генерировать идеи и разрабатывать решения, в деталях изучить и оценить нюансы MPP базы данных и стать частью команды по созданию аналитической платформы.

Задачи, которые предстоит решать:

  • Создание хранилища данных и Data Lake одного из крупнейших логистических операторов России
  • Разработка алгоритмов преобразования и анализа данных с использованием технологий MPP СУБД и инструментов экосистемы Hadoop для обработки больших данных
  • Проведение предпроектных обследований (определение объема работ, продолжительности работ, ресурсов для их выполнения
  • Самостоятельная разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в аналитическую БД и Hadoop
  • Оценка кода и предложение по улучшению архитектуры и используемых инструментов в рамках стратегии развития платформы данных
  • Оптимизация и настройка производительности ETL-процессов
  • Оптимизация процессов, внедрение Code Review, CI/CD практик в разработку
  • Документирование разработанного кода
  • Руководство группой разработчиков, поиск и обучение персонала, формирование команды
  • Постановка задач и контроль и выполнения внутри проектной команды
  • Возможность работать как удаленно, так и в офисе

Что мы ждем от вас:

  • Опыт построения распределенных систем хранения и обработки данных
  • Опыт работы с Lambda архитектурой на (Hadoop, Kafka, Cassandra, GreenPlum/Vertica, PostgreSQL)
  • Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, Impala, Kafka,
  • YARN, Ranger, Ambari и др.)
  • Отличное знание одного из языков Scala, Java, Python
  • Опыт работы с NoSQL базами данных
  • Опыт работы с реляционными СУБД (DB2, Oracle, MS SQL)

Будет плюсом:

  • Опыт работы в командной строке Linux
  • Опыт работы с инструментами CDC
  • Опыт настройки процессов CI/CD
  • Приветствуется опыт работы с промышленными ETL-инструментами (IBM DataStage, Informatica, ODI)
  • Знание систем контроля версий (Git)

Откликнуться

Время карьеры

Найти работу мечты
Время карьеры