Meta представляє OpenZL — новий відкритий фреймворк для стиснення даних

Компанія Meta, що стоїть за Facebook, представила OpenZL — новий відкритий фреймворк для стиснення даних. Це програмна система, яка зменшує розмір файлів даних, щоб вони займали менше місця і швидше передавалися по мережах, не втрачаючи жодної інформації.

Особливості OpenZL для структурованих даних

OpenZL виділяється тим, що він призначений для структурованих даних, таких як бази даних, таблиці та інша добре організована інформація. Замість того, щоб розглядати кожний файл як довгий рядок байтів, OpenZL аналізує внутрішню структуру даних. Наприклад, він враховує колонки, числівники або повторювані шаблони, щоб ефективніше стиснути дані.

Результат — безвтратне стиснення, що означає, що оригінальні дані можуть бути повністю відновлені. Продуктивність OpenZL подібна до конкретних форматних компресорів, але з використанням лише одного виконуваного файлу. Це означає, що вам не потрібно різні інструменти для кожного типу файлів. Усе можна обробити за допомогою одного універсального декомпресора, що спрощує обслуговування та покращує безпеку.

OpenZL — відповідь на обмеження існуючих компресорів

Meta повідомляє, що OpenZL є відповіддю на обмеження вже існуючих компресорів, таких як Zstandard. Хоча Zstandard демонструє високу швидкість і солідні показники стиснення, він залишається загальним інструментом, який не повною мірою використовує структуру сучасних наборів даних. OpenZL, у свою чергу, поєднує цю швидкість з глибшим розумінням форматів даних.

Розробники можуть описати структуру своїх даних за допомогою невеликої схеми або через Simple Data Description Language. Вбудований «тренер» OpenZL автоматично вивчає найкращий план стиснення. Цей план можна повторно використовувати для схожих наборів даних, визнаючи заощадження часу та забезпечуючи однорідність.

Перші результати тестування OpenZL

Як видно з таблиці, ранні бенчмарки демонструють вражаючі результати. При стисненні структурованих даних, таких як файл “sao” з Silesia Compression Corpus, OpenZL досяг коефіцієнта стиснення 2.06x. Це перевершило xz (1.64x) та zstd (1.31x) при швидкості 340 MB/s для стиснення та 1.2 GB/s для декомпресії на чипі Apple M1.

OpenZL також здатний адаптуватися з часом. Він підтримує автоматичне повторне навчання та коригування в реальному часі. Отже, стратегії стиснення можуть еволюціонувати в міру змін даних, не порушуючи сумісність. Ця гнучкість спирається на внутрішню систему Managed Compression Meta, яка спочатку використовувалася з Zstandard у структурі Facebook і тепер представлена для відкритої спільноти.

Спробуйте OpenZL сьогодні

Розробники і дослідники можуть спробувати OpenZL вже сьогодні. Джерельний код, документація та посібник з Quick Start доступні на GitHub, а також білл гарт, що детально описує дизайн та результати продуктивності.

Для отримання додаткової інформації ознайомтеся з офіційною новиною на сайті OpenZL.