Skip navigation EPAM

Практика інженерії великих даних

Data & Analytics PRACTICE

Data & Analytics практика надає end-to end сервіси, включно з Data & Analytics консультуванням, Data Platform Engineering, Data Science, Machine learning та Enterprise Analytics для міжнародних компаній у різних вертикалях.

Intelligent Automation

Intelligent Process Automation Competence охоплює розробку та впровадження бізнес-процесів, управління бізнес-кейсами та аналітику, автоматизацію когнітивних / робототехнічних систем тощо.

Проєкти

Генна інженерія в Агропромисловості

Опис проєкту: клієнт - один з найбільших у світі розробників і виробників високоякісного насіння, лідер з виробництва засобів захисту рослин. Компанія працює з великою кількістю даних про генотипи і фенотипи рослин, розшифровуючи геном кожного покоління до базових амінокислот, використовує машинне навчання для покращення і селекції.

Аналіз та аналітика даних є невід'ємною частиною бізнесу клієнта і потребують значних ресурсних затрат. Клієнту необхідна суттєва оптимізація на рівні зберігання та процесингу даних. Додаткової уваги потребує балансування пікових навантажень на систему.
Мета проєкту - зменшити вартість роботи з аналітикою та перенести у AWS хмару.

Проєктні активності:

  • Налаштування середовища
  • Побудова ETL та pipelines
  • Оркестрація потоку
  • Прийом та перевірка даних
  • Інтеграція Spark на EMR
  • Автоматизація
  • Запит даних та аналітика

Технологічний стек:

  • AWS (S3, EMR, Athena)
  • Hadoop (Cloudera),
  • Spark, Spark SQL, Spark streaming
  • Docker
  • Airflow
Проєкти

медицина

Опис проєкту:  Наш замовник - це міжнародний постачальник медичного сервісу (Fortune Top 3), який співпрацює з EPAM для прискорення своєї цифрової трансформації.
Одним з програмних рішень, над якими ми розпочали роботу, є Cloud transformation та Cloud migration.

Технологічний стек:

  • AWS (EMR, Lambda, Kinesis, EKS, S3)
  • AWS Step Function та EventBrindge
  • Ruby
  • Java/Scala
  • Kafka
  • Linux/Unix OS
  • Spark, Spark SQL, Spark streaming
Проєкти

компанія інформаційних рішень

Опис проєкту: Наш клієнт - це глобальна компанія інформаційних рішень, яка генерує унікальні дані та інноваційну аналітику для державних організацій та індивідуальних користувачів у всьому світі. Фінансово-аналітична інформація допомагає клієнтам нашого партнера приймати більш обізнані ділові та особисті рішення.

Замовник працює або має інвестиції в 24 країнах Північної, Центральної та Південної Америки, Європи, Азіатсько-Тихоокеанського регіону, Австралії та Нової Зеландії. Компанія успішно працює на ринку близько 170 років. Понад 11 000 працівників по всьому світу задіяно у компанії.

Технологічний стек:

  • Google Cloud Platform
  • Big Data
  • Kubernetes
  • Terraform, Helm, Vault
  • Jenkins, Spinaker
  • Hadoop, Spark, Big Query
  • Google Spanner, CloudSQL
  • Java

Спектр задач, що ми вирішуємо

DATA STRATEGY

  • За умови правильного використання великих даних, компанія може отримати унікальну інформацію, про існування якої могла не здогадуватись. Проте все починається зі стратегії отримання, передачі та управління даними на рівні всієї компанії в цілому та її конкретних відділів, зокрема.
  • Не менш важливим етапом є перехід від стратегічних підходів управління даними до тактичних кроків імлементації та отримання перших результатів в мінімальні терміни. 

 

DATA ENGINEERING

  • Створення інженерних рішень та підходів зі збору, нормалізації, структуризації, валідації, аналізу та візуалізації програмних продуктів, що базуються на великих даних для широкого кола бізнес задач, починаючи від цифрового маркетингу закінчуючи аналітикою, в реальному часі та проактивною цифровою безпекою.
  • Технічний консалтинг, моделювання даних, багаторівневе дослідження та експериментальні розробки, що враховують специфіку бізнес сфери, природу даних та комплексність задач.

DATA SCIENCE

  • Однією з основних причин роботи над проблематикою великих даних є можливість отримання додаткової інформації, яка раніше була невидимою і недоступною. Саме тому важливим етапом в стратегії керування даними є їх дослідження та глибинне вивчення.
  • На цьому етапі ми використовуємо як традиційні підходи так й інноваційні техніки включно з машинним та глибинним навчанням, нейронними мережами, розпізнаванням зображень та природної мови, статистичним аналізом та візуалізацією.

SEARCH ENGINEERING

  • При акумулюванні великих даних критично важливою є задача збереження легкого на прозорого доступу до них, пошуку конкретних атрибутів даних в масштабі, що постійно зростає. Одним із варіантів - є створення повнотекстових пошукових систем, що лягають в основу систем семантичного та релевантно-базисного пошуку.
  • Маючи імплементованим даний етап стратегії управління великими даними, з'являється можливість перейти до створення систем пошукової аналітики, а також чат-ботів та віртуальних асистентів.

DEVOPS

  • Жоден із попередніх кроків імплементації стратегії управління великими даними був би неможливий без комплексу заходів щодо створення, розгортання, керування та підтримки надійного комп'ютерного інфраструктурного комплексу.
  • Цей комплекс заходів також включає повномасштабний моніторинг, оркестрацію та інтеграцію з промисловими стандартами безпеки, а також підтримку безперервного процесу розробки.

Наші доповіді:

Приєднуйтеся!

Дякуємо за реєстрацію! Talent Acquisition team сконтактується з вами.

Щось пішло не так. Спробуйте ще раз зареєструватися.

Нам важливо отримати ваше резюме. Якщо ви не в змозі приєднати документ через свій мобільний пристрій, залиште нам посилання, де ми зможемо знайти ваше резюме в Інтернеті.

Перетягніть сюди свій файл або натисніть, щоб вибрати з файлів