Datanomica.org 03 апреля 2021

Data Engineer

От 200000 до 270000 RUB Полная занятость Офис Москва
197

О проекте

Платформа монетизации чеков развивает продукт поиска совпадений и разбора неструктурированных текстовых данных фискальных чеков с целью их ранжирования по различным аналитическим разрезам.

Цель проекта:

  • предоставить клиенту информацию о деталях покупки, совершенной с использованием банковской карты;
  • накапливать данные о фискальных чеках клиентов для последующего анализа и построения поведенческих моделей в лаборатории искусственного интеллекта.

Обязанности

  • проектирование и разработка аналитических витрин данных для целей отчетности и моделирования на стеке Hadoop + Spark;
  • анализ исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных);
  • мониторинг и оптимизация процессов сборки витрин;
  • контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;
  • разработка и поддержка сопроводительной документации и спецификаций данных, развитие и поддержка базы знаний по вопросам работы с данными;
  • предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных.

Требования

  • не менее 1 года работы в качестве Data Engineer / Data Analyst / ETL Developer;
  • знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности);
  • опыт работы с большими объемами данных с использованием стека технологий Big Data (Hadoop, Spark, Hive/Impala);
  • знание основных понятий и концепций из области Data Warehousing. Желателен опыт разработки витрин данных;
  • знание Scala является преимуществом;
  • знание Python является преимуществом;
  • знание розничного банковского бизнеса является преимуществом;
  • знание Apache Flink приветствуется;
  • знание Apache Airflow приветствуется;
  • опыт работы по Agile (Scrum, Kanban, и т.д.) приветствуется.

Основной тех. стек

  • Hadoop (Hive/Impala/Oozie)
  • Apache Spark
  • Scala
  • Java

Условия

  • задача с достижимым результатом, понятным заказчиком и рынком. Достаточная свобода действий, инструментарий и необходимые ресурсы;
  • участие в проекте на стадии его зарождения с применением передовых технологических подходов — возможности дальнейшего развития и карьерного роста;
  • работа по методологии Scrum;
  • конкурентная заработная плата по результатам собеседования в зависимости от опыта, знаний и пожеланий;
  • профессиональный коллектив в сфере обработки данных;
  • возможность обучения и развития за счет компании.


Microsoft