О платформе для развертывания и сопровождения ИИ-моделей SmartMLOps

Назначение

Почему проходят годы, прежде чем передовые технологии искусственного интеллекта (ИИ) доходят до обычных пользователей? Потому что разработчик моделей, специалист по развертыванию и сопровождению моделей (DevOps) и администратор — это три разные профессии! А для создания ИИ-решения нужны не только они, но и вычислительные ресурсы, хранилища данных, платформа для пользователей, система безопасности и многое другое.

Чтобы решить эту задачу, мы создаём платформу для размещения, настройки и управления сервисами искуственного интеллекта SmartMLOPs! Создаём для лабораторий и подразделений ВШЭ, студентов, аспирантов, преподавателей и сотрудников ВШЭ, а также внешних исследований и партнеров.

Система для разработки и интеграции прикладных модулей с использованием технологий искусственного интеллекта под названием SmartMLOps предназначена, в частности, для создания ИИ-помощников в образовательных и административных процессах, в сфере управления, медицине и других областях. В системе размещаются интеллектуальные сервисы, используемые в рабочих процессах, экспериментальные и учебные модели. На базе системы возможно проведение опытной эксплуатации и внедрения результатов НИОКР лабораторий НИУ ВШЭ. Система является площадкой для вывода разрабатываемых решений в практическое применение и их коммерциализации.

Сценарии использования

1 Промышленные сервисы 

Размещайте и управляйте долговременными промышленными сервисами для административных и образовательных процессов НИУ ВШЭ, сотрудников, преподавателей и студентов. Будь то умный сервис для единого личного кабинета, аналитическая система для руководства, ИИ-помощник для подразделения или персональный чат-бот для студента — сервис для развертывания и сопровождения ИИ-моделей SmartMLOps  позволит поддерживать такие решения на постоянной основе, предоставит программный интерфейс (API) для встраивания результатов в ваши системы, а также упростит мониторинг и обновление сервисов. Сценарий подходит для IT-служб НИУ ВШЭ, долговременных проектов, администраторов и др. 

2 Экспериментальные сервисы

Нужно обучить простую или, наоборот, большую и сложную модель искусственного интеллекта, протестировать ее на пользователях, дообучить или провести опытную эксплуатацию модели в рамках научно-исследовательских и опытно-конструкторских работ (НИОКР)? Сервис для развертывания и сопровождения ИИ-моделей SmartMLOps  поможет решить эту задачу. Платформа поддерживает сложные процессы обучения моделей и получения результатов их работы, управляет вычислительными ресурсами для проведения экспериментов, автоматически масштабирует такие ресурсы при необходимости и предусматривает возможность подключения к суперкомпьютеру cHARISMa. Также платформа предоставляет средства мониторинга моделей и позволяет провести проверку модели на уязвимости. Сценарий для таких обычно краткосрочных экспериментов подходит для лабораторий и исследователей или ВКР студентов. По окончанию эксперимента модель будет законсервирована и к ней можно будет вернуться при необходимости.  

3 Данные

Нет потребности в сложных вычислениях или вы не хотите размещать модель во внешней инфраструктуре, но нужны данные для работы таких моделей? Сервис для работы с ИИ-моделями SmartMLOps поможет и в этом случае. Данные корпоративных информационных систем НИУ ВШЭ доступны через сервис для развертывания и сопровождения ИИ-моделей SmartMLOps. Данные проходят процедуры очистки и обезличивания. Список данных КИС, доступных через Платформу постоянно пополняется.

В разработке:

- специальные MLOps модули для сопровождения, улучшения и вывода ИИ-моделей в практическое применение;

- публично доступные модели и каталог доступных моделей

Устройство сервиса для развертывания и сопровождения ИИ-моделей SmartMLOps

Сервис для развертывания и сопровождения ИИ-моделей SmartMLOps использует облачную инфраструктуру Яндекс.Облака и основан на платформе для управления контейнеризованными рабочими нагрузками и сервисами Kubernetes.

• Основной компонент системы — автоматизированная среда для сопровождения жизненного цикла ИИ-моделей SmartMLOps, созданная Центром ИИ в период с 2021 по 2024 год.
• Аутентификация команд разработчиков и пользователей системы выполняется с использованием инструмента управления доступом и аутентификацией Keycloak и интегрирована с единым личным кабинетом НИУ ВШЭ.
• Управление доступом и разграничение ролей выполняется с использованием реестра контейнеров и артефактов Harbor.
• Управление разработкой и размещение программного кода выполняются с использованием платформы для управления кодом Forgejo.
• Размещение компонентов и управление их жизненным циклом выполняются с использованием инструмента управления развертыванием ArgoCD.
• В качестве системы управления базами данных используется база данных PostgreSQL.
• Отдельные компоненты системы SmartMLOps отвечают за взаимодействие с суперкомпьютером.
• Контроль и настройка сетевого трафика осуществляются с использованием инструмента управления входящим трафиком Ingress.
• Для наблюдения за работой системы используется система сбора и хранения метрик Prometheus, а для настройки панелей мониторинга — инструмент визуализации метрик и логов Grafana. 
• Система предоставляет программный интерфейс взаимодействия REST API для операций управления и запуска ИИ-модулей, работы с файлами и получения результатов вычислений.
• Процессы управления моделями контролируются через личный кабинет

Более подробную информацию о работе компонент можно найти в документации.