Lead Data Software Engineer Ukraine or Remote
Lead Data Software Engineer Description
Наш клієнт, всесвітньо відома багатонаціональна технологічна компанія, розташована в Каліфорнії та входить у Велику п’ятірку технологічних компаній, розширює партнерство з EPAM.
Спеціалізація клієнта:
-побутова електроніка
-програмне забезпечення
-онлайн-послуги
Ви працюватимете з експертами та технологіями світового рівня з самого серця Кремнієвої долини, займаючись розробкою продуктів та послуг, якими щодня користуються мільярди людей.
Ми шукаємо досвідченого Lead Software Data Engineer для поповнення нашої команди
#LI-DNI
Чим ви будете займатися у цій ролі
- Розробка дата пайплайнів, задач для створення нових вихідних датасетів в рамках розробки нового функціоналу
- Адаптація існуючих дата пайплайнів для інтеграції з різноманітними платформами, інструментами та сервісами
- Правка помилок в коді та даних, які були згенеровані через неправильну логіку або реалізацію
- Швидкий аналіз та дослідження даних для допомоги продакт менеджмент команді
- Здійснення моніторингу і усунення виробничих проблем з наявними дата пайплайнами
- Розробка та впровадження якісних перевірок даних (контроль якості)
- Планування обсягу нових розробок: оцінювання необхідних ресурсів, планування часових рамок виконання завдань
- Підтримка чіткості процесів з обробки тікетів
- Покращувати завдання, додатки та систему, якою ми керуємо, у всіх аспектах: якість коду, складність, обслуговування, документація
- Комунікувати з іншими інженерами з обробки даних у команді, колегами та керівниками проєктів щодо статусу, проблем, оцінок, часових рамок тощо
Навички
- 5+ років практичного досвіду роботи із Big Data: Hadoop (HDFS, YARN або Mesos), Spark
- Знання та практичний досвід застосування SQL у контексті роботи із Big Data: Spark SQL, Hive QL
- Знання Spark
- Оптимізація планів виконання Spark за допомогою Spark UI
- Хороше знання Scala, включаючи фунціональні бібліотеки Scala (Cats)
- Знання основ пакетної обробки та принципів ETL у сховищах даних
- Досвід з оркестрацією даних та знання умов повноти даних
- Досвід з дата клінзінгом (обробка пошкоджених, некоректних та дубльованих даних)
- Знання міграції схем та еволюції наборів даних
- Володіння усною та письмовою англійською мовою не нижче рівня B2
- Уміння швидко навчатись та вивчати новий набір інструментів і технологій, що використовуються на проєкті: сервісні платформи, постачальники телеметрії, Spark-as-a-Service, система збору та багато іншого
Буде перевагою
- Розуміння ідей і принципів функціонального програмування
- Досвід написання та використання веб-сервісів
- Досвід роботи з Teradata, Vertica, Oracle або Tableau
- Досвід роботи зі Spark Streaming і Kafka
- Досвід роботи або знання наступних технологій: Apache Iceberg, Trino (Presto), Druid, Cassandra, Blob-сховища, наприклад AWS
- Досвід роботи зі Splunk
- Знання або досвід роботи з Azkaban або Airflow
Що ми пропонуємо
- Відпустку та лікарняні дні (в тому числі без медичної довідки)
- Широку лінійку страхових програм Добровільного Медичного Страхування (ДМС) із забезпеченням як медичного лікувавання, так і різних профілактичних опцій (включно із спортивними активностями)
- Оформлення медичного страхування для членів родини за корпоративними тарифами
- Підтримку від компанії під час знакових життєвих подій (народження або всиновлення дитини, шлюб та інше)
- Підтримку психологічного комфорту: знижки на послуги спеціалістів з ментального здоров'я або коучів, тематичні тренінги
- E-kids - безкоштовну програму навчання для дітей EPAM-ерів мовам програмування
- Приємні корпоративні подарунки
ЕРАМ прагне надавати своїй глобальній команді з понад 60,000+ професіоналів у більш ніж 45 країнах можливості для професійного зростання з першого дня співпраці. Наші колеги – джерело успіху ЕРАМ, тож ми цінуємо співпрацю, намагаємось завжди розуміти бізнес наших клієнтів та прагнемо до найвищих стандартів якості. Незалежно від місця, де ви знаходитесь, ви долучитесь до відданої, розмаїтої спільноти, яка допоможе вам реалізувати свій потенціал якомога повніше.
