Lead Data Software Engineer Lviv, Ukraine

Навички

• 5+ років практичного досвіду роботи із Big Data: Hadoop (HDFS, YARN або Mesos), Spark
• Знання та практичний досвід застосування SQL у контексті роботи із Big Data: Spark SQL, Hive QL
• Знання Spark
• Оптимізація планів виконання Spark за допомогою Spark UI
• Хороше знання Scala, включаючи фунціональні бібліотеки Scala (Cats)
• Знання основ пакетної обробки та принципів ETL у сховищах даних
• Досвід з оркестрацією даних та знання умов повноти даних
• Досвід з дата клінзінгом (обробка пошкоджених, некоректних та дубльованих даних)
• Знання міграції схем та еволюції наборів даних
• Володіння усною та письмовою англійською мовою не нижче рівня B2
• Уміння швидко навчатись та вивчати новий набір інструментів і технологій, що використовуються на проєкті: сервісні платформи, постачальники телеметрії, Spark-as-a-Service, система збору та багато іншого

Обов'язки

• Розробка дата пайплайнів, задач для створення нових вихідних датасетів в рамках розробки нового функціоналу
• Адаптація існуючих дата пайплайнів для інтеграції з різноманітними платформами, інструментами та сервісами
• Правка помилок в коді та даних, які були згенеровані через неправильну логіку або реалізацію
• Швидкий аналіз та дослідження даних для допомоги продакт менеджмент команді
• Здійснення моніторингу і усунення виробничих проблем з наявними дата пайплайнами
• Розробка та впровадження якісних перевірок даних (контроль якості)
• Планування обсягу нових розробок: оцінювання необхідних ресурсів, планування часових рамок виконання завдань
• Підтримка чіткості процесів з обробки тікетів
• Покращувати завдання, додатки та систему, якою ми керуємо, у всіх аспектах: якість коду, складність, обслуговування, документація
• Комунікувати з іншими інженерами з обробки даних у команді, колегами та керівниками проєктів щодо статусу, проблем, оцінок, часових рамок тощо

Буде перевагою

• Розуміння ідей і принципів функціонального програмування
• Досвід написання та використання веб-сервісів
• Досвід роботи з Teradata, Vertica, Oracle або Tableau
• Досвід роботи зі Spark Streaming і Kafka
• Досвід роботи або знання наступних технологій: Apache Iceberg, Trino (Presto), Druid, Cassandra, Blob-сховища, наприклад AWS
• Досвід роботи зі Splunk
• Знання або досвід роботи з Azkaban або Airflow

З нами ти можеш

• Працювати за гнучким графіком віддалено або у будь-якому з наших комфортних офісів чи коворкінгів в Україні
• Отримати необхідне обладнання для виконання робочих завдань
• Змінювати проєкти та стек технологій всередині EPAM
• Отримувати досвід у різних бізнес-доменах (Insurance, E-commerce, Healthcare, Finance, Travelling, Media, Artificial Intelligence та інші)
• Розглянути варіанти для релокації у понад 30 країн світу
• Долучатися до волонтерських, благодійних програм та спільнот (як за технічними напрямами, так і за інтересами)

Ми допоможемо тобі у професійному розвитку

• Сплануй свій індивідуальний кар’єрний шлях разом із менеджером
• Отримуй регулярний зворотній зв’язок від колег
• Безкоштовно вдосконалюй англійську мову з сертифікованими викладачами (Speaking Clubs, курси з підготовки до клієнтських інтерв’ю тощо)
• Отримай можливість безкоштовно пройти навчання та сертифікацію з AWS, GCP або Azure Clouds
• Користуйся внутрішньою навчальною програмою E-learn (18,200+ спеціалізованих тренінгів та менторинг-програм)
• Отримай доступ до корпоративних акаунтів на LinkedIn Learning, Get Abstract та інших партнерських ресурсів
• Навчайся у Solution Architecture School з практикуючими архітекторами в ролі викладачів
• Розвивайся як лідер, приєднайся до Delivery Management, Resource Management, Leadership Essentials school та інших
• Приймай учать у внутрішніх спільнотах (500+ зустрічей, технічних обговорень, сесій мозкового штурму, онлайн-заходів і конференцій щороку)

Що ми пропонуємо

• Відпустку та лікарняні дні (в тому числі без медичної довідки)
• Широку лінійку страхових програм Добровільного Медичного Страхування (ДМС) із забезпеченням як медичного лікувавання, так і різних профілактичних опцій (включно із спортивними активностями)
• Оформлення медичного страхування для членів родини за корпоративними тарифами
• Підтримку від компанії під час знакових життєвих подій (народження або всиновлення дитини, шлюб та інше)
• Підтримку психологічного комфорту: знижки на послуги спеціалістів з ментального здоров'я або коучів, тематичні тренінги
• E-kids - безкоштовну програму навчання для дітей EPAM-ерів мовам програмування
• Приємні корпоративні подарунки

Про EPAM

• ЕРАМ прагне надавати своїй глобальній команді з понад 60,000+ професіоналів у більш ніж 45 країнах можливості для професійного зростання з першого дня співпраці. Наші колеги – джерело успіху ЕРАМ, тож ми цінуємо співпрацю, намагаємось завжди розуміти бізнес наших клієнтів та прагнемо до найвищих стандартів якості. Незалежно від місця, де ви знаходитесь, ви долучитесь до відданої, розмаїтої спільноти, яка допоможе вам реалізувати свій потенціал якомога повніше