Історія обчислень — це історія неймовірних змін, але не всяка революція відбувається з однаковою швидкістю. Для того, щоб зменшити габарити мейнфреймів, винайти мікропроцесори та принести обчислення в персональні пристрої, знадобилися десятиліття. Сьогодні ми стаємо свідками нової ери: переходу від масивних, централізованих AI-кластерів до потужних ПК з AI на пристрої. І це відбувається з вибуховою швидкістю. Ця стаття досліджує, чому друга революція відбувається так швидко та як роки розвитку в екосистемі Ubuntu сприяли цьому зсуву.

NVIDIA DGX Spark: великі AI-моделі працюють локально

У міру зростання попиту споживачів на AI-можливості, відбувається перехід від масивних централізованих GPU-кластерів до AI на пристрої. NVIDIA нещодавно анонсувала доступність DGX Spark для розробників AI. Система спроектована з нуля, щоб створювати і запускати AI.

NVIDIA DGX Spark надає величезну обчислювальну потужність для розробників. Він пропонує 1 петаFLOP AI-продуктивності в енергоефективному, компактному дизайні. З 128 ГБ об’єднаної системної пам’яті, графічним процесором Blackwell та процесором Grace з 20 ARM-ядрами, він може обробляти AI-моделі до 200B параметрів. Використовуючи NVIDIA ConnectX мережу, два DGX Spark можуть бути з’єднані для роботи з ще більшими моделями до 405B параметрів. Ця конфігурація забезпечує надійну платформу для прототипування, тонкого налаштування та інференції великих моделей локально. DGX Spark пропонує повноцінне рішення для розробників AI, включаючи програмне забезпечення NVIDIA AI для прискорення AI-робочих навантажень та підтримки вражаючої екосистеми сторонніх розробників.

Ubuntu як основа для DGX OS

Операційна система NVIDIA DGX Spark, DGX OS, базується на Ubuntu. DGX OS використовує усталену екосистему Ubuntu та перевірені репозиторії для прискорення розробки. Екосистема Ubuntu забезпечує роки зрілості в програмному забезпеченні, особливо в стеку програмного забезпечення навколо середовища виконання CUDA та інструментів розробки CUDA. Canonical допомагає забезпечити безпечне середовище для обчислень, підтримуючи послідовні оновлення, виправляючи тисячі відкритих пакетів і своєчасно вирішуючи вразливості.

Ubuntu приносить три основні стовпи для покращення досвіду розробника в DGX OS:

1. Ubuntu використовує один і той же ядро для Ubuntu Server і Ubuntu Desktop

Оскільки Ubuntu Server і Ubuntu Desktop ділять одне й те саме ядро, це не окремі операційні системи. Ця єдина основа дозволяє розробникам встановлювати серверні пакети на десктопі і навпаки. Як результат, десктоп Ubuntu виграє від років зрілого розвитку в екосистемі CUDA на серверах Ubuntu. AI-робочі навантаження, які працюють на масивних кластерних хмарах, можуть використовувати той самий стек програмного забезпечення на DGX OS, створюючи стабільне середовище для розробки.

2. Підтримка Arm в Ubuntu

Canonical підтримує процесори Arm з 2011 року, створюючи Ubuntu як масштабовану платформу для AI як на серверах, так і на пристроях. Ця тривала та послідовна підтримка 64-бітної архітектури Armv8 забезпечує повну підтримку NVIDIA DGX Spark з ARM-процесором Grace з моменту запуску.

3. Зріла дистрибуція пакетів і безпека ланцюга постачання

DGX OS використовує зрілу систему управління пакетами Ubuntu та надійний програмний ланцюг постачання, щоб стати платформою готовою до виробництва. Він успадковує перевірені репозиторії, що забезпечує валідацію програмного забезпечення. Крім того, розширена безпека Canonical (ESM), доступна через Ubuntu Pro, забезпечує своєчасні патчі безпеки для відкритих пакунків, що критично важливо для AI і робочих навантажень у сфері науки про дані.

Створивши DGX OS на базі Ubuntu, NVIDIA змогла використовувати те ж самісіньке програмне забезпечення, яке працює на хмарних серверах, для компактного десктопного пристрою. Це стало можливим завдяки зрілій підтримці Ubuntu для процесорів Arm та безпеці його програмного забезпечення, що створило стабільну, готову до виробництва платформу і значно прискорило розвиток.

Уніфікований досвід для розробників

Архітектура програмного забезпечення AI платформи NVIDIA робить можливим для користувачів DGX Spark легко переносити свої моделі з десктопа в DGX Cloud або будь-яку прискорену хмарну або дата-центричну інфраструктуру, спрощуючи прототипування, тонке налаштування та повторення.

Щоб надати розробникам знайомий досвід, NVIDIA DGX Spark відображає ту ж архітектуру програмного забезпечення, яка підтримує промислові AI-фабрики. Він постачається з попередньо налаштованим новітнім стосом програмного забезпечення NVIDIA AI, а також з доступом до програм розробників NVIDIA NIM™ та NVIDIA Blueprints. Це означає, що розробники можуть швидко почати працювати, використовуючи провідні моделі AI з відкритим кодом та загальні інструменти, такі як PyTorch, Jupyter та Ollama для прототипування, тонкого налаштування та інференції на NVIDIA DGX Spark з легкою розгортанням у дата-центрі або хмарі. З DGX Spark розробники отримують знайоме середовище та спрощений досвід налаштування за допомогою майстра налаштування, що забезпечує швидке впровадження.

Перспективи розвитку

Запуск NVIDIA DGX Spark є захоплюючою віхою в обчисленнях AI для десктопів. Оскільки AI продовжує перетворювати галузі та сприяти інноваціям, такі інструменти, як DGX Spark, відіграватимуть ключову роль у демократизації доступу до потужних ресурсів для розробки AI. У Canonical ми раді продовжувати нашу співпрацю з NVIDIA, підтримуючи спільноту AI міцними рішеннями з відкритим кодом, які сприяють наступному поколінню проривів у AI.

Дізнайтеся більше про роботу Canonical з NVIDIA