XTX Markets представила TernFS як Open Source продукт

XTX Markets оголосила, що її власна файлова система TernFS тепер доступна як програмне забезпечення з відкритим кодом. Ліцензія GPL-2.0 або пізніше покриває основні компоненти файлової системи. Протокольні визначення та клієнтські бібліотеки представлені під ліцензією Apache-2.0 з виключенням LLVM.

TernFS: рішення для великих обсягів даних

Спочатку створена для задоволення величезних потреб компанії в даних, TernFS призначена для зберігання обсягів у ексабайтах. Вона підтримує трильйони файлів та мільйони клієнтів одночасно.

Тепер ці можливості стали доступними для всіх. TernFS входить у середовище, приєднуючись до таких проєктів, як Ceph, Lustre та GlusterFS, які мають значну популярність на ринку.

TernFS у використанні: статистика та характеристики

TernFS використовується в XTX з середини 2023 року. Вона обробляє понад 500 петабайтів даних у трьох дата-центрах, підтримуваних приблизно 30,000 жорстких дисків та 10,000 флеш-дисків. Система побудована так, щоб масштабується до 10 ексабайтів логічного зберігання, трильйонів файлів та мільйонів одночасних клієнтів.

Архітектура та ключові компоненти TernFS

Дизайн TernFS підкреслює незмінність, надійність та багаторегіональну роботу. Файли стають незмінними після запису. Це спрощує реплікацію та підтримує узгодженість на великій шкалі. Метадані розподілені по кількох частинах, що усуває одноточкові точки відмови. Реплікація та кодування Reed–Solomon забезпечують резервування даних.

До ключових компонентів TernFS входять:

• Реєстр для метаданих кластерів та відстеження служб
• Частини метаданих, що використовують RocksDB з консенсусом через LogsDB
• Блокові служби для резервного зберігання вмісту файлів на вузлах
• Координатор між каталогами для операцій, що охоплюють кілька каталогів

Доступ до TernFS

Доступ підтримується через модуль ядра Linux, клієнт FUSE та мінімальну реалізацію API S3. Система оптимізована для великих незмінних файлів, зазвичай більших за кілька мегабайт. Це означає, що TernFS не підходить для маленьких файлів, частих оновлень або операцій з каталогами, які потребують швидких змін.

Для отримання додаткової інформації, відвідайте [оголошення](https://www.xtxmarkets.com/tech/2025-ternfs/) або нову опубліковану [репозиторію на GitHub](https://github.com/XTXMarkets/ternfs).