Пропустити навігацію EPAM

Big Data / Data Science

WHAT

ЩО МИ РОБИМО?

Ми перетворюємо дані, що отримують наші клієнти, на інструмент. Розгортаємо платформи та сервіси, що дозволяють будь-якому бізнесу ухвалювати стратегічні рішення, базуючись на отриманій інформації. Доступ до Big Data надає такі можливості:

  • За умови правильного використання великих даних, компанія може отримати раніше невідому й унікальну інформацію, про існування якої могла не здогадуватись. Проте все починається зі стратегії одержання, передання й управління даними на рівні всієї компанії в цілому та її конкретних відділів зокрема
  • Не менш важливим етапом є перехід від стратегічних підходів управління даними до тактичних кроків упровадження та отримання перших результатів в мінімальні терміни
  • Створення інженерних рішень і підходів зі збору, нормалізації, структуруванню, валідації, аналізу й візуалізації програмних продуктів, що базуються на великих даних для широкого кола бізнес-задач: починаючи від цифрового маркетингу, закінчуючи аналітикою в реальному часі та проактивною цифровою безпекою
  • Технічний консалтинг, моделювання даних , багаторівневе дослідження та експериментальні розробки, що враховують специфіку бізнес сфери, природу даних та комплексність задач
  • Однією з основних причин роботи над проблематикою великих даних є можливість отримання додаткової інформації, яка раніше була невидимою і недоступною. Саме тому важливим етапом в стратегії керування даними є їх дослідження та глибинне вивчення
  • Комплекс заходів у цім процесі націлений на передбачення майбутніх подій і трендів, розширення історичної інформації для комплексного, неупередженного, а також автоматизованого прийняття рішень
  • На цім етапі ми використовуємо як традиційні підходи, так і інноваційні техніки, включно з машинним та глибинним навчанням, нейронними мережами, розпізнаванням зображень і природної мови, статистичним аналізом та візуалізацією
  • При накопичуванні великих даних критично важливою є задача збереження легкого й прозорого доступу до даних та пошуку конкретних атрибутів даних у масштабі, що постійно зростає
  • Одним із варіантів вирішення цієї проблеми є створення повнотекстових пошукових систем, які лягають в основу систем семантичного та реляційного пошуку
  • Оскільки цей етап стратегії керування великим даними вже впроваджено, з’являється можливість перейти до створення систем пошукової аналітики, а також чат ботів та віртуальних асистентів
  • Звичайно, що жоден із попередніх кроків був би неможливий без усебічного комплексу заходів щодо створення, розгортання, керування та підтримки надійного комп’ютерного інфраструктурного комплексу
  • Цей комплекс заходів також включає повномасштабний моніторинг, оркестрацію й інтеграцію з промисловими стандартами безпеки, а також підтримку безперервного процесу розробки
  • Будь-яка конфігурація інфраструктури, як-от хмарні ресурси чи обчислювальні ресурси у власних датацетрах, або ж поєднання цих двох підходів, ефективно використовується при впровадженні та розгортанні стратегії управління даними

ГАРЯЧІ ВАКАНСІЇ

Big Data Retraining Program for Java, Scala, Python Engineers

Запрошуємо приєднатись до компанії у ролі Java, Scala або Python-інженера, взяти участь у Big Data ретрейнінгу всередині компанії та пройти інтерв'ю на проєкт вже у ролі Big Data-інженера. 

Основні вимоги до кандидатів:

  • володіння однією з технологій Java, Scala або Python 
  • 2+ років досвіду
  • англійська на рівні B1 та вище
  • досвід роботи з хмарними провайдерами буде великою перевагою

ЦІКАВІ ФАКТИ

400+

Талановитих професіоналів

75+

Проєктів у роботі

4

Міста: Київ, Харків, Львів, Дніпро

В ЯКИХ ГАЛУЗЯХ МИ ПРАЦЮЄМО

Фінансові сервіси

Подорожі та готельний бізнес

Програмне забезпечення й новітні технології

Ритейл і дистрибуція

Інформаційний і медіа-бізнес

Охорона життя та здоров’я

ЛЮДИ, З ЯКИМИ ВИ ПРАЦЮВАТИМЕТЕ РАЗОМ

ВОЛОДИМИР
System Engineer Team Lead

ОЛЕГ
Senior Solution Architect

БОГДАН
Software Engineering Manager

ЄВГЕН
Delivery Manager

ЯРЕМА
Senior Data Analyst

ВОЛОДИМИР
Data Quality Engineering Manager

ЗАРОДЖЕННЯ, ЕВОЛЮЦІЯ ТА РОЗВИТОК ПРАКТИКИ ІНЖЕНЕРІЇ ВЕЛИКИХ ДАНИХ

Все розпочалося з маленької команди 2011-го року, на базі котрої через 6 років сформувалась повноцінна практика інженерії великих даних, що налічувала 242 професіонали в сфері обробки, аналізу й тестування великих даних.

З того часу практика перебуває в процесі безперервного зростання та розвитку, змінюючись як кількісно так і якісно, а також розширюючи свою географію. Починаючи з 2017 року в практиці з’явились нові напрямки, такі як аналіз і дослідження даних, тестування якості даних, архітектура систем обробки великих даних, а популярний напрямок системної інженерії, в практиці набув свого, більш нішевого спрямування. Основними центрами роботи з великими даними в Україні є Львів та Київ, де сумарно налічується близько 400 спеціалістів.

НАШІ ПРОЦЕСИ І МЕТОДОЛОГІЇ РОЗРОБКИ

Українська практика інженерії великих даних використовує всі сучасні процеси і підходи гнучкої методології розробки програмного забезпечення. Ітеративна розробка, тісний контакт з представниками відділів бізнесу та експертами ринку, часті випуски нових версій продукту – все це є невід’ємною частиною наших проєктів  при вирішенні будь-яких задач, від міграції великих даних до хмарного сховища, до побудови складних моделей машинного навчання задля отримання нової додаткової інформації з наших даних.

Зазвичай ми реалізуємо проєкти від початкової фази аналізу вимог та побудови архітектури до запуску платформи, залучення й підтримки користувачів, подальшого розвитку і вдосконалення платформи.

Саме тому наші команди переважно складаються з проєктних менеджерів, бізнес аналітиків, програмних і системних архітекторів, розробників та системних інженерів, тестувальників, аналітиків і дослідників даних, а також спеціалістів з машинного навчання.

НАШІ ПРОЦЕСИ

Big Data та DevOps-процеси є частиною процесів нашої команди розробки, а, отже, усі механіки та інструменти Agile з легкістю застосовуються і до них. Напрямки сервісів і ролі спеціалістів:

  • Data Consultancy та Design
    • Consultants, Solutions Architects
  • Data engineering
    • Data sterawards і Data wranglers
    • Data та Big Data-інженери, Search-інженери
  • Devops
    • System-інженери
  • Data Quality-інженери
    • QA-інженери, які знають, як тестувати конвеєри та узгодженість даних
  • Data Analysts
    • Business analytics із фокусом на Data
  • Devops
    • System-інженери
  • Data Quality-інженери
    • QA-інженери, які знають, як тестувати конвеєри та узгодженість даних
  • Data Analysts
    • Business analytics із фокусом на Data

ТЕХНОЛОГІЇ ТА ІНСТРУМЕНТИ, ЯК МИ ВИКОРИСТОВУЄМО

Незважаючи на бурхливий розвиток нових технологій в сфері роботи з великими даними, ми намагаємося комбінувати нові й сучасні технології з перевіреними часом, де-факто стандартами індустрії, щоб забезпечити нашим клієнтам найвищий рівень сервісу, якості та підтримки.

Серед основних мов програмування, що використовуються на наших проєктах, варто виділити наступні:

  • Java
  • Python
  • Scala
  •  R

Велику роль зараз відіграють хмарні сервіси й проєкти з обробки великих даних не є виключенням. Тому майже завжди доведеться працювати з одним із провідних провайдерів хмарних обчислень:

  • Amazon Web Services
  • Google Cloud Platform
  • Microsoft Azure

Крім вищезазначеного до арсеналу розробника Великих даних зазвичай входять такі технології:

  • Spark
  • Kafka
  • Hive
  • Flink
  • Jenkins
  • Airflow
  • Ignite
  • Terraform
  • Jenkins
  • Chef/Puppet/Ansible
  • HBase
  • Cassandra
  • Mongo DB
  • Informatica
  • Sqoop
  • Flume
  • Tableau
  • PowerBI
  • Looker
  • R Studio
  • Zeppelin
  • Jupyter та багато інших.

Трансформація платформи керування даними для одного з найбільших туристичних операторів світу

Перед командою були поставлені вельми амбітні задачі з міграції платформи керування даними до хмари. Система налічувала 40 петабайт даних при 30 терабайтах даних, що надходили до системи щоденно. Для впровадження команда обрала нативні хмарні сервіси й технології, щоб забезпечити безперервний процес розробки, тестування та запуску програмних компонентів системи. Підхід лямбда-архітектури був обраний для створення аналітики в реальному часі, хмарну інфраструктуру вирішили описувати в коді задля більшого контролю та моніторингу поточного стану, дані були зашифровані під час зберігання й передачі від однієї з під-систем до іншої.

У результаті команда успішно виконала поставлену задачу у визначені терміни і змогла значно розширити партнерство. Уже на наступних етапах наші інженери і науковці брали активну участь у створенні аналітичних продуктів, а також у роботі над моделлю виявленням шахрайських операцій, їхнім попередження та прогнозуванням.

Створення аналітичної платформи для одного з найбільших інвестиційних банків

Співпраця розпочалась 2017 року зі створення стратегії розвитку аналітичної платформи за трьома напрямками: платіжні системи, онлайн транзакції та платежі; оцінювання ризиків банківських операцій; кредитні рейтинги. Для цього були залучені бізнес аналітики й архітектори, які в результаті запропонували бізнесу ряд прототипів, серед яких були обрані декілька для фінального впровадження. Команда розробників була поділена на 3 напрямки, на кожному з яких працювало від двох до п’яти спеціалістів. Незабаром з’явилися результати, зокрема завдяки якісному етапу підготовки проєкту, і вже за чотири тижні команда, що займалась модернізацією системи оцінювання ризиків, змогла продемонструвати значний приріст продуктивності та масштабованості продукту. Дві інші команди змогли не тільки завершити свої задачі вчасно, але й брали участь у створенні нових можливостей для систем, зокрема – аналітики KYC для модулю кредитних рейтингів.

ПРАКТИКА ІНЖЕНЕРІЇ ВЕЛИКИХ ДАНИХ ЯК ВНУТРІШНЯ СПІЛЬНОТА В КОМПАНІЇ

Оскільки для роботи з великими даними потрібні специфічні технології, навички й досвід, ми приділяємо багато уваги процесу навчання та розвитку наших спеціалістів, взаємному обміну досвідом та найкращими практиками. Загалом це виглядає як внутрішня спільнота в компанії зі своїми навчальними програмами й тренінгами, які ми самі готуємо, оскільки як ніхто краще знаємо реалії наших проєктів; власними програмами менторства, де кожен бажаючий може отримати порцію безцінного життєвого досвіду або ж навпаки поділитися ним; своїми конференціями (EPAM Autumn Data Conference), внутрішніми й зовнішніми зустрічами та вебінарами.

НЕ ЗНАЙШЛИ ВАКАНСІЮ СВОЄЇ МРІЇ?

Дозвольте нам запропонувати дещо цікаве.