Під час цієї сесії буде розглянуто перехід від застарілих сховищ даних до Azure Fabric із використанням Generative AI. Ми розглянемо архітектуру рішення Azure Fabric і його переваги для безперебійного, масштабованого управління даними у хмарі. Також поговоримо про інструмент migVisor Converter для міграції ETL, зокрема його архітектуру та AI-ефективність. Крім того, будуть представлені кейси недавніх міграцій із обговоренням найкращих практик, викликів і результатів. Ця сесія підходить для архітекторів даних та IT-лідерів, які готові модернізувати інфраструктуру даних.

Нестача знань про бізнес клієнта та нерозуміння впливу нашої системи на бізнес клієнта й зацікавлених сторін може призвести до численних наслідків. Від відносно безпечних, на перший погляд, таких як зниження продуктивності або навіть недоступність системи під час пікових навантажень, до серйозних втрат у бізнесі клієнта через витік конфіденційних даних, викликаний вразливостями нашої системи.

Цей додаток спрямований на те, щоб допомогти користувачам виявляти гендерну упередженість у своїх текстах. Технологічна основа програми базується на фундаменті LLM разом із новою функцією OpenAI для логічного аналізу. Це чудова можливість продемонструвати вплив технології LLM у реалізації функціональних рішень. Більше того, це значний крок у напрямку безпеки для компаній у всьому світі, оскільки Purple Lens може запобігти судовим позовам через гендерну дискримінацію.

На цій презентації Маніш Бхоге, архітектор рішень з даними, та Волга Кароль, консультант із Data Analytics, поділяться своїм досвідом у проєктуванні та впровадженні платформи Generative AI для провідної компанії у сфері споживчих товарів. Команда EPAM співпрацювала з консалтинговою агенцією, долаючи додаткові труднощі, пов’язані з відмінностями у стилях роботи та операційних очікуваннях.

У швидко змінюваній сфері prompt engineering необхідність інноваційних методів для покращення прийняття рішень і вирішення проблем є критичною. Ми представляємо "Belbin prompt" — новий підхід, спрямований на підвищення ефективності та прозорості етапу планування в життєвому циклі розробки ПЗ (SDLC). Цей метод розширює принципи "комітетних підказок" і базується на добре відомій моделі ролей команди Белбіна, забезпечуючи багатогранний аналіз складних питань. У поєднанні з нашою новою підказкою "дерево знань" це дозволяє за допомогою простих ключових слів значно покращити якість результатів роботи LLM.

Зі стрімким зростанням обсягів даних потреба в надійних та ефективних структурах для роботи з ними стає як ніколи актуальною. Спікер маючи за плечима два десятиліття досвіду у галузі науки про дані, аналітики даних, інженерії даних та архітектури даних, я добре підготовлений до глибокого аналізу тонкощів цих структур.

Технічна експертиза та відповідні сертифікації в галузі даних та аналітики дозволяють спікеру ділитися цінними знаннями щодо технічних нюансів, найкращих практик та потенційних викликів у роботі з даними в епоху GenAI та у майбутньому.

У цій доповіді ми дізнаємося про поширені бізнес-проблеми, які можна вирішити за допомогою AI, сучасні підходи до розширення бізнес-можливостей, а також здатність масштабувати бізнес вертикально та горизонтально за допомогою AI / GenAI.

Подолання складного переходу від моделі до AI-продукту: додатки Databricks Lakehouse

У випадку з біологічними наборами даних дуже важливо мати можливості обробки, які є швидкими, масштабованими та недорогими. У цій доповіді Polar та DuckDB обрані для тестування на наборі даних BELKA із використанням різних форматів (CSV та Parquet). Дослідження показує, що DuckDB перевершує Polar за швидкістю та використанням пам'яті. Це особливо актуально в ситуаціях, коли великі інструменти для роботи з даними, такі як Apache Spark, занадто дорогі та складні у використанні. Мета — знайти ефективні способи обробки великих біологічних даних без додаткової складності, властивої традиційним системам Big Data.

З огляду на нинішній високий попит у сфері Data Analytics і Data Engineering, спричинений експоненціальним зростанням обсягу даних, доступ до ефективних інструментів управління даними став критично важливим для їхньої надійної обробки. Одним із найбільш ефективних рішень є впровадження фреймворків завантаження даних, керованих метаданими. Вони відіграють важливу роль у спрощенні ключових процесів обробки даних, роблячи їх інтеграцію безперебійною. Як досвідчений інженер із даних, я планую розглянути архітектурні особливості цих рішень і продемонструвати найкращі практики їх використання. У середовищі, що дедалі більше зосереджується на даних, ці фреймворки виступають фундаментальними навігаційними інструментами, створюючи основу для прийняття рішень та стратегічного планування в будь-якому бізнесі.