Ми перетворюємо дані, що отримують наші клієнти, на інструмент. Розгортаємо платформи та сервіси, що дозволяють будь-якому бізнесу ухвалювати стратегічні рішення, базуючись на отриманій інформації. Доступ до Big Data надає такі можливості:
Big Data / Data Science
ЩО МИ РОБИМО?
- За умови правильного використання великих даних, компанія може отримати раніше невідому й унікальну інформацію, про існування якої могла не здогадуватись. Проте все починається зі стратегії одержання, передання й управління даними на рівні всієї компанії в цілому та її конкретних відділів зокрема
- Не менш важливим етапом є перехід від стратегічних підходів управління даними до тактичних кроків упровадження та отримання перших результатів в мінімальні терміни
- Створення інженерних рішень і підходів зі збору, нормалізації, структуруванню, валідації, аналізу й візуалізації програмних продуктів, що базуються на великих даних для широкого кола бізнес-задач: починаючи від цифрового маркетингу, закінчуючи аналітикою в реальному часі та проактивною цифровою безпекою
- Технічний консалтинг, моделювання даних , багаторівневе дослідження та експериментальні розробки, що враховують специфіку бізнес сфери, природу даних та комплексність задач
- Однією з основних причин роботи над проблематикою великих даних є можливість отримання додаткової інформації, яка раніше була невидимою і недоступною. Саме тому важливим етапом в стратегії керування даними є їх дослідження та глибинне вивчення
- Комплекс заходів у цім процесі націлений на передбачення майбутніх подій і трендів, розширення історичної інформації для комплексного, неупередженного, а також автоматизованого прийняття рішень
- На цім етапі ми використовуємо як традиційні підходи, так і інноваційні техніки, включно з машинним та глибинним навчанням, нейронними мережами, розпізнаванням зображень і природної мови, статистичним аналізом та візуалізацією
- При накопичуванні великих даних критично важливою є задача збереження легкого й прозорого доступу до даних та пошуку конкретних атрибутів даних у масштабі, що постійно зростає
- Одним із варіантів вирішення цієї проблеми є створення повнотекстових пошукових систем, які лягають в основу систем семантичного та реляційного пошуку
- Оскільки цей етап стратегії керування великим даними вже впроваджено, з’являється можливість перейти до створення систем пошукової аналітики, а також чат ботів та віртуальних асистентів
- Звичайно, що жоден із попередніх кроків був би неможливий без усебічного комплексу заходів щодо створення, розгортання, керування та підтримки надійного комп’ютерного інфраструктурного комплексу
- Цей комплекс заходів також включає повномасштабний моніторинг, оркестрацію й інтеграцію з промисловими стандартами безпеки, а також підтримку безперервного процесу розробки
- Будь-яка конфігурація інфраструктури, як-от хмарні ресурси чи обчислювальні ресурси у власних датацетрах, або ж поєднання цих двох підходів, ефективно використовується при впровадженні та розгортанні стратегії управління даними
Big Data Retraining Program for Java, Scala, Python Engineers
Запрошуємо приєднатись до компанії у ролі Java, Scala або Python-інженера, взяти участь у Big Data ретрейнінгу всередині компанії та пройти інтерв'ю на проєкт вже у ролі Big Data-інженера.
Основні вимоги до кандидатів:
- володіння однією з технологій Java, Scala або Python
- 2+ років досвіду
- англійська на рівні B1 та вище
- досвід роботи з хмарними провайдерами буде великою перевагою
ЦІКАВІ ФАКТИ
400+
Талановитих професіоналів
75+
Проєктів у роботі
4
Міста: Київ, Харків, Львів, Дніпро
В ЯКИХ ГАЛУЗЯХ МИ ПРАЦЮЄМО
Фінансові сервіси
Подорожі та готельний бізнес
Програмне забезпечення й новітні технології
Ритейл і дистрибуція
Інформаційний і медіа-бізнес
Охорона життя та здоров’я
ЛЮДИ, З ЯКИМИ ВИ ПРАЦЮВАТИМЕТЕ РАЗОМ
ВОЛОДИМИР System Engineer Team Lead
ОЛЕГ Senior Solution Architect
БОГДАН Software Engineering Manager
ЄВГЕН Delivery Manager
ЯРЕМА Senior Data Analyst
ВОЛОДИМИР Data Quality Engineering Manager
ЗАРОДЖЕННЯ, ЕВОЛЮЦІЯ ТА РОЗВИТОК ПРАКТИКИ ІНЖЕНЕРІЇ ВЕЛИКИХ ДАНИХ
Все розпочалося з маленької команди 2011-го року, на базі котрої через 6 років сформувалась повноцінна практика інженерії великих даних, що налічувала 242 професіонали в сфері обробки, аналізу й тестування великих даних.
З того часу практика перебуває в процесі безперервного зростання та розвитку, змінюючись як кількісно так і якісно, а також розширюючи свою географію. Починаючи з 2017 року в практиці з’явились нові напрямки, такі як аналіз і дослідження даних, тестування якості даних, архітектура систем обробки великих даних, а популярний напрямок системної інженерії, в практиці набув свого, більш нішевого спрямування. Основними центрами роботи з великими даними в Україні є Львів та Київ, де сумарно налічується близько 400 спеціалістів.
НАШІ ПРОЦЕСИ І МЕТОДОЛОГІЇ РОЗРОБКИ
Українська практика інженерії великих даних використовує всі сучасні процеси і підходи гнучкої методології розробки програмного забезпечення. Ітеративна розробка, тісний контакт з представниками відділів бізнесу та експертами ринку, часті випуски нових версій продукту – все це є невід’ємною частиною наших проєктів при вирішенні будь-яких задач, від міграції великих даних до хмарного сховища, до побудови складних моделей машинного навчання задля отримання нової додаткової інформації з наших даних.
Зазвичай ми реалізуємо проєкти від початкової фази аналізу вимог та побудови архітектури до запуску платформи, залучення й підтримки користувачів, подальшого розвитку і вдосконалення платформи.
Саме тому наші команди переважно складаються з проєктних менеджерів, бізнес аналітиків, програмних і системних архітекторів, розробників та системних інженерів, тестувальників, аналітиків і дослідників даних, а також спеціалістів з машинного навчання.
НАШІ ПРОЦЕСИ
Big Data та DevOps-процеси є частиною процесів нашої команди розробки, а, отже, усі механіки та інструменти Agile з легкістю застосовуються і до них. Напрямки сервісів і ролі спеціалістів:
- Data Consultancy та Design
- Consultants, Solutions Architects
- Data engineering
- Data sterawards і Data wranglers
- Data та Big Data-інженери, Search-інженери
- Devops
- System-інженери
- Data Quality-інженери
- QA-інженери, які знають, як тестувати конвеєри та узгодженість даних
- Data Analysts
- Business analytics із фокусом на Data
- Devops
- System-інженери
- Data Quality-інженери
- QA-інженери, які знають, як тестувати конвеєри та узгодженість даних
- Data Analysts
- Business analytics із фокусом на Data
ТЕХНОЛОГІЇ ТА ІНСТРУМЕНТИ, ЯК МИ ВИКОРИСТОВУЄМО
Незважаючи на бурхливий розвиток нових технологій в сфері роботи з великими даними, ми намагаємося комбінувати нові й сучасні технології з перевіреними часом, де-факто стандартами індустрії, щоб забезпечити нашим клієнтам найвищий рівень сервісу, якості та підтримки.
Серед основних мов програмування, що використовуються на наших проєктах, варто виділити наступні:
- Java
- Python
- Scala
- R
Велику роль зараз відіграють хмарні сервіси й проєкти з обробки великих даних не є виключенням. Тому майже завжди доведеться працювати з одним із провідних провайдерів хмарних обчислень:
- Amazon Web Services
- Google Cloud Platform
- Microsoft Azure
Крім вищезазначеного до арсеналу розробника Великих даних зазвичай входять такі технології:
- Spark
- Kafka
- Hive
- Flink
- Jenkins
- Airflow
- Ignite
- Terraform
- Jenkins
- Chef/Puppet/Ansible
- HBase
- Cassandra
- Mongo DB
- Informatica
- Sqoop
- Flume
- Tableau
- PowerBI
- Looker
- R Studio
- Zeppelin
- Jupyter та багато інших.
ПРАКТИКА ІНЖЕНЕРІЇ ВЕЛИКИХ ДАНИХ ЯК ВНУТРІШНЯ СПІЛЬНОТА В КОМПАНІЇ
Оскільки для роботи з великими даними потрібні специфічні технології, навички й досвід, ми приділяємо багато уваги процесу навчання та розвитку наших спеціалістів, взаємному обміну досвідом та найкращими практиками. Загалом це виглядає як внутрішня спільнота в компанії зі своїми навчальними програмами й тренінгами, які ми самі готуємо, оскільки як ніхто краще знаємо реалії наших проєктів; власними програмами менторства, де кожен бажаючий може отримати порцію безцінного життєвого досвіду або ж навпаки поділитися ним; своїми конференціями (EPAM Autumn Data Conference), внутрішніми й зовнішніми зустрічами та вебінарами.
НЕ ЗНАЙШЛИ ВАКАНСІЮ СВОЄЇ МРІЇ?
Дозвольте нам запропонувати дещо цікаве.
Вакансії EPAM Ukraine у Київ | Львів | Харків | Дніпро | Вінниця | Івано-Франківськ | Одеса | Чернівці | Хмельницький | Рівне | Ужгород | Тернопіль | Луцьк за напрямком Java | JavaScript | .NET | DevOps | Experience Design | Software Testing | Business Analysis | Python| Big Data | Mobile | Solution Architect | Ruby on Rails у містах за напрямком Java вакансії Київ | Java вакансії Харків | Java вакансії Львів | Java вакансії Вінниця | Java вакансії Одеса | Java вакансії Івано-Франківськ | Java вакансії Чернівці | Java вакансії Хмельницький | Java вакансії Рівне | Java вакансії Ужгород | Java вакансії Тернопіль | Java вакансії Луцьк | JavaScript вакансії Київ | JavaScript вакансії Харків | JavaScript вакансії Львів | JavaScript вакансії Вінниця | JavaScript вакансії Одеса | JavaScript вакансії Івано-Франківськ | JavaScript вакансії Чернівці | JavaScript вакансії Хмельницький | JavaScript вакансії Рівне | JavaScript вакансії Ужгород | JavaScript вакансії Тернопіль | JavaScript вакансії Луцьк | DevOps вакансії Київ | DevOps вакансії Харків | DevOps вакансії Львів | DevOps вакансії Вінниця | DevOps вакансії Одеса | DevOps вакансії Івано-Франківськ | DevOps вакансії Чернівці | DevOps вакансії Хмельницький | DevOps вакансії Рівне | DevOps вакансії Ужгород | DevOps вакансії Тернопіль | DevOps вакансії Луцьк