Встановлення моделі DeepSeek R1 або Qwen 2.5 VL за одним командою на Ubuntu

Лондон, 23 жовтня – Canonical сьогодні оголосила про оптимізовані інференс-напки, новий спосіб розгортання AI-моделей на пристроях Ubuntu з автоматичним вибором оптимізованих двигунів, квантизацій і архітектур на основі специфічної силікони пристрою. Canonical співпрацює з широким спектром постачальників силікони, щоб надати свої оптимізації відомих LLM для розробників та пристроїв.

Одна з відомих моделей, таких як Qwen 2.5 VL або DeepSeek R1, має багато різних розмірів і конфігурацій, з кожною з яких оптимізовано для певної силікони. Користувачам може бути важко знати, який розмір моделі та режим виконання використовувати на своєму пристрої. Тепер одна команда дозволяє отримати найкращу комбінацію автоматично. Canonical працює з партнерами-силіконопостачальниками, щоб інтегрувати їхні оптимізації. З моментом публікації нових оптимізацій моделі стануть більш ефективними на більшій кількості пристроїв.

Це дозволяє розробникам безперешкодно інтегрувати відомі можливості AI у свої додатки та забезпечити їх оптимальну роботу на настільних комп’ютерах, серверах і крайових пристроях.

Напківський пакет може динамічно завантажувати компоненти. Ми отримуємо рекомендовану збірку для хост-системи, спрощуючи управління залежностями і покращуючи затримки. Публічна бета-версія включає оптимізовані DeepSeek R1 та Qwen 2.5 VL для Intel та Ampere® як приклади, а також відкриває фреймворк, на основі якого це побудовано.

“Ми робимо AI-моделі, оптимізовані для силікони, доступними для всіх. Коли це активується користувачем, вони будуть глибоко інтегровані до рівня силікони,” – сказав Джон Сігер, VP Engineering в Canonical, “Я радий працювати з партнерами-силіконопостачальниками, щоб забезпечити, що їхні моделі ‘просто працюють’. Розробники та кінцеві користувачі більше не повинні турбуватися про складну матрицю двигунів, збірок і квантизацій. Натомість вони можуть надійно інтегрувати локальну версію моделі, яка є максимально ефективною і постійно вдосконалюється.”

Екосистема силікони активно інвестує у оптимізації продуктивності для AI, але розробницькі середовища є складними і не мають простих інструментів для розпакування всіх необхідних компонентів для створення повноцінних середовищ виконання. На Ubuntu спільнота тепер може поширювати свої оптимізовані стеки безпосередньо кінцевим користувачам. Canonical тісно співпрацювала з Intel та Ampere для надання апаратних інференс-напків, що максимізують продуктивність.

“Працюючи з Canonical, щоб упаковувати та поширювати великі мовні моделі, оптимізовані для апаратного забезпечення Ampere через наше програмне забезпечення AIO, розробники можуть просто отримувати наші рекомендовані збірки за замовчуванням, вже налаштовані для процесорів Ampere у їхніх серверах,” – сказав Джеф Уіттіх, головний продукт-менеджер Ampere, “Це приносить високу продуктивність та ефективність Ampere кінцевим користувачам прямо з коробки. Разом ми дозволяємо підприємствам швидко розгортати та масштабувати свої улюблені AI-моделі на системах Ampere в екосистемі AI, готовій до Ubuntu.”

“Intel оптимізує AI-робочі навантаження від силікони до високорівневих програмних бібліотек. До цього часу розробник повинен був мати навички та знання для вибору, які варіанти моделей та оптимізації можуть бути найкращими для їхньої клієнтської системи,” – сказав Джим Джонсон, старший VP, GM групи обчислень клієнтів в Intel, “Підхід Canonical до пакування та розподілу AI-моделей долає цю проблему, дозволяючи розробникам без зусиль отримувати вигоди від продуктивності та вартості апаратного забезпечення Intel. Одна команда виявляє апаратуру та використовує OpenVINO, наш відкритий інструмент для прискорення AI-інференсу, щоб розгорнути рекомендований варіант моделі з рекомендованими параметрами на найпідходящий пристрій.”

Розпочніть сьогодні

Розпочніть та запускайте оптимізовані моделі на Ubuntu за допомогою таких команд:

sudo snap install qwen-vl --beta

sudo snap install deepseek-r1 --beta

Розробники можуть почати експериментувати з локальними та стандартними інференс-точками цих моделей для активізації можливостей AI у їхніх кінцевих додатках.

Дізнайтесь більше та надайте зворотний зв’язок

Щоб дізнатися більше про оптимізовані моделі, звертайтеся до документації Canonical.

Про Canonical

Canonical, видавець Ubuntu, надає відкриті рішення в області безпеки, підтримки та послуг. Наш портфель охоплює критично важливі системи, від найменших пристроїв до найбільших хмар, від ядра до контейнерів, від баз даних до AI. Маємо клієнтів, включаючи провідні технологічні бренди, нові стартапи, уряди та домашніх користувачів, Canonical забезпечує надійний відкритий код для всіх.

Дізнайтеся більше на сайті Canonical.