NVIDIA Nemotron 3.5 Lightning AI тепер доступний на Ubuntu

Canonical оголосила, що нова модель NVIDIA Nemotron 3.5 Lightning AI, яка має 30 мільярдів параметрів, тепер доступна на Ubuntu. Користувачі можуть легко встановити її за допомогою готового для використання Snap для виконання інференсу та всього лише однієї команди.

Що таке Nemotron 3.5 Lightning?

Якщо ви не стежите за кожною новою моделлю штучного інтелекту, Nemotron 3.5 Lightning – це компактна відкрита модель AI від NVIDIA, створена для виконання повторюваних завдань, що їх обробляють автономні агенти AI.

Особливості моделі Nemotron 3.5 Lightning

Що вирізняє її, так це те, що замість використання великої моделі для кожного невеликого завдання, вона обробляє такі задачі, як виклики інструментів, перевірки результатів, форматування виходу та інші часті завдання, де швидкість і ефективність важливіші за глибоке міркування.

Canonical значно спростила розгортання цієї моделі на Ubuntu. Замість того, щоб самостійно налаштовувати та конфігурувати програмне забезпечення для інференсу, ви можете встановити готове середовище виконання за командою sudo snap install nemotron-3-5-lightning. Пакет Nemotron доступний з моменту запуску та працює на сумісних робочих станціях, серверах і пристроях з підтримкою NVIDIA.

Переваги використання Nemotron

Ця модель підтримує контекстне вікно до одного мільйона токенів, що допомагає довгостроковим агентам AI зберігати інформацію під час складних багатоступеневих завдань. Canonical також зазначає, що пакет Snap пропонує стандартизоване середовище виконання, безпечне виконання, перевірену дистрибуцію, автоматичні оновлення і менше обслуговування.

Nemotron 3.5 Lightning також повністю налаштовуваний. NVIDIA надає розробникам ваги моделі, навчальні дані та рецепти, тож вони можуть доопрацьовувати її для конкретних завдань, а не використовувати лише як віддалений сервіс. Модель може працювати локально, у хмарі або в дата-центрах.

Швидкість виконання завдань із Nemotron

Більше того, ця модель може бути до чотирьох разів швидшою за подібні моделі для деяких завдань, оскільки вона розроблена для агентів, що завжди активні. Це означає, що прості операції не повинні проходити через значно більшу модель, що гальмує процес та використовує більше ресурсів.

Для додаткових деталей, перегляньте офіційне оголошення Canonical.