Компанія Canonical радісно оголошує про випуск першої версії нашого рішення для готових до корпоративного використання data lakehouses, створеного на основі комбінації Apache Spark та Apache Kyuubi. Використовуючи наш Charmed Apache Kyuubi в інтеграції зі Spark, ви можете отримати надійний, продукційний та відкритий data lakehouse. Наш Apache Kyuubi charm тісно інтегрується як частина Charmed Apache Spark пакету, надаючи єдиний та простий у використанні SQL інтерфейс для шанувальників аналітики великих даних.

Огляд архітектури data lakehouse

Архітектура lakehouse для обробки та аналітики даних є зміною парадигми управління даними в підприємствах. Раніше організації змушені були жертвувати між сировинним, масштабованим зберіганням даних lake та швидкою доступністю запитів структурованих даних у сховищах. Підхід lakehouse може усунути цей розрив, дозволяючи підприємствам зберігати великі обсяги структурованих та неструктурованих даних на одній платформі, здійснювати потокове оброблення даних, пакетну обробку та швидку аналітику, все це упаковано в контекст транзакційної цілісності та управління. Підхід Canonical до data lakehousing ґрунтується на інтеграції Apache Spark та Apache Kyuubi, створюючи платформу, де пакетні та потокові дані можуть співіснувати, оброблятися в масштабах та бути доступними для просунутої аналітики та AI/ML миттєво.

В основі цього проекту lakehouse знаходиться Apache Spark, стандартний розподілений движок для обробки даних. Архітектура Spark має відмовостійкість, що дозволяє користувачам виконувати завдання ETL з високою пропускною спроможністю, трансформацію даних та ітеративні навантаження машинного навчання. Підхід Canonical використовує зображення Spark OCI з Kubernetes, оптимізуючи вартість та продуктивність стандартних завдань Spark. Інтеграція підтримує багато джерел даних, таких як сховища, сумісні з S3, та Azure Blob для введення даних, а також інші бази даних як метастори для обробки.

Чарівний lakehouse, готовий для підприємства

Стек lakehouse Canonical Spark і Kyuubi створено для швидкості та надійності. Фактично, розгортання автоматизоване від початку до кінця за допомогою чарм-операторів Canonical, які контролюють життєвий цикл Spark, Kyuubi та супутніх компонентів. Це включає автоматизоване постачання кластерів, безперервні оновлення, відмовостійкість, патчинг безпеки та еластичне масштабування у середовищах Kubernetes.

Безпека вбудована в усі шари пакету. Випуск пакету Charmed Apache Spark/Kyuubi включає шифрування від кінця до кінця, нативну інтеграцію з Canonical Observability Stack, а також посилення безпеки з поліпшеною документацією. Крім того, ми працювали над патчингом декількох критичних та високих CVE для цього запуску, покращуючи загальну безпеку продукту. Пакет також включає резервне копіювання та відновлення для Kyuubi, забезпечуючи надійність та безперервність бізнесу.

Стек spark-kyuubi є платформонезалежним, підтримуючи гібридні та багатохмарні розгортання, а також локальні установки. Це робиться з метою уникнення прив’язки до постачальника, що дозволяє організаціям оптимізувати витрати, продуктивність та дотримання нормативних вимог на інфраструктурі їх вибору. Незалежно від того, чи будуєте ви нову платформу аналітики, чи модернізуєте застаріле розгортання Hadoop, рішення Canonical спрощує досяжність з експертною підтримкою на кожному етапі.

Spark і Kyuubi: спробуйте вже сьогодні

У підсумку, data lakehouse на основі Kyuubi та Spark від Canonical дозволяє організаціям об’єднувати архітектуру даних, прискорювати аналітику та забезпечувати стратегію управління даними на перспективу. Об’єднуючи інновації з відкритим кодом з підтримкою рівня підприємства, Canonical надає бізнесам можливість розкрити справжній потенціал їхніх даних – надійно, ефективно та в масштабах. Ми запрошуємо інженерів з даних, архітекторів та ІТ-ентузіастів перевірити рішення та дізнатися більше про те, як Canonical може допомогти вам створити наступне покоління додатків на основі даних і аналітики.