О платформе SmartMLOps

Назначение

Почему проходят годы, прежде чем передовые технологии искусственного интеллекта (ИИ) доходят до обычных пользователей? Потому что разработчик моделей, специалист DevOps по развертыванию и поддержке моделей и администратор – это три разные профессии! А для создания ИИ-решения нужны не только они, но и вычислительные ресурсы, хранилища данных, платформа для пользователей, система безопасности и многое другое.

Чтобы решить эту задачу, мы создаём платформу SmartMLOPs! Создаём для лабораторий и подразделений ВШЭ, студентов, аспирантов, преподавателей и сотрудников ВШЭ, а также внешних исследований и партнеров.

Система SmartMLOPs предназначена для разработки и интеграции прикладных модулей, использующих технологии искусственного интеллекта, например, ИИ-помощников в образовательном и административном процессах, в сфере управления, медицине и др. В системе размещаются интеллектуальные сервисы, используемые в рабочих процессах, экспериментальные и учебные модели. На базе системы возможно проведение опытной эксплуатации и внедрения результатов НИОКР лабораторий НИУ ВШЭ. Система является площадкой для продуктивизации и коммерциализации разрабатываемых решений.

Сценарии использования

1 Промышленные сервисы 

Размещайте и управляйте долговременными промышленными сервисами для административных и образовательных процессов НИУ ВШЭ, сотрудников, преподавателей и студентов. Будь-то умный сервис для единого личного кабинета, аналитическая система для руководства, ИИ-помощник для подразделения или персональный чат-бот для студента — SmartMLOps поддержит ваши сервисы на постоянной основе, предоставит удобный API для встраивания результатов в ваши системы, упростит мониторинг и обновление сервисов. Сценарий подходит для IT-служб НИУ ВШЭ, долговременных проектов, администраторов и др. 

2 Экспериментальные сервисы

Нужно обучить простую или наоборот, большую и сложную ИИ-модель, протестировать ее на пользователях, дообучить или провести опытную эксплуатацию модели для НИОКРа?  SmartMLOps поможет! Платформа поддерживает сложные пайплайны обучения и инференса моделей, управляет вычислительными ресурсами для эксперимента, автоматически масштабирует такие ресурсы по необходимости, и, даже, дает возможность подключения к суперкомпьютеру cHARISMa. Дает богатые средства мониторинга моделей и аккуратно просканирует вашу модель на уязвимости. Сценарий для таких обычно краткосрочных экспериментов подходит для лабораторий и исследователей или ВКР студентов. По окончанию эксперимента модель будет законсервирована и к ней можно будет вернуться при необходимости.  

3 Данные

Нет сложных вычислений или не хотите размещать свою модель во вне, но нужны данные для таких моделей? SmartMLOps поможет и тут! Данные корпоративных информационных систем НИУ ВШЭ доступны через SmartMLOps. Данные проходят процедуры очистки и обезличивания. Список данных КИС, доступных через Платформу постоянно пополняется.

В разработке:

- специальные MLOps модули для улучшения и продуктивизации моделей

- публично доступные модели, каталог доступных моделей

Устройство SmartMLOps

Система SmartMLOps использует Яндекс.Облако и основана на платформе для управления контейнеризованными рабочими нагрузками и сервисами Kubernetes.

• Основная компонента системы - это автоматизирующий MLOps-фреймворк, который был создан Центром ИИ в период с 2021 по 2024 г.
• Аутентификация команд разработчиков и пользователей системы происходит с использованием инструмента Keycloak и интегрировано с ЕЛК НИУ ВШЭ.
• Управление доступом и разграничение ролей выполняется инструментом Harbor.
• Управление разработкой, размещение кодов выполняется инструментом Forgejo. 
• Инструмент ArgoCD применяется для размещения компонент, управления их жизненным циклом, контроля версий и др.
• В качестве системы управления базой данных используется  PostgreSQL.
• Отдельные компоненты отвечают за взаимодействие с суперкомпьютером.
• Контроль и настройка трафика осуществляется инструментом Ingress.
• Для наблюдения за работой системы используем Prometheus, а для настройки дашбордов мониторинга используем Grafana. 
• Система предоставляет REST API для операций управления и запуска ИИ-модулей, работы с файлами, получения результатов вычислений.
• Процессы управления моделями контролируются через Личный кабинет. 

Более подробную информацию о работе компонент можно найти в документации.