О платформе SmartMLOps
SmartMLOps сегодня
-
Модели 8 шт.
Развернуто моделей искусственного интеллекта
-
Корп. систем 3 шт.
Подключено источников данных из корпоративных информационных систем
Назначение
Почему проходят годы, прежде чем передовые технологии искусственного интеллекта (ИИ) доходят до обычных пользователей? Потому что разработчик моделей, специалист DevOps по развертыванию и поддержке моделей и администратор – это три разные профессии! А для создания ИИ-решения нужны не только они, но и вычислительные ресурсы, хранилища данных, платформа для пользователей, система безопасности и многое другое.
Чтобы решить эту задачу, мы создаём платформу SmartMLOPs! Создаём для лабораторий и подразделений ВШЭ, студентов, аспирантов, преподавателей и сотрудников ВШЭ, а также внешних исследований и партнеров.
Система SmartMLOPs предназначена для разработки и интеграции прикладных модулей, использующих технологии искусственного интеллекта, например, ИИ-помощников в образовательном и административном процессах, в сфере управления, медицине и др. В системе размещаются интеллектуальные сервисы, используемые в рабочих процессах, экспериментальные и учебные модели. На базе системы возможно проведение опытной эксплуатации и внедрения результатов НИОКР лабораторий НИУ ВШЭ. Система является площадкой для продуктивизации и коммерциализации разрабатываемых решений.
Сценарии использования
1 Промышленные сервисы
Размещайте и управляйте долговременными промышленными сервисами для административных и образовательных процессов НИУ ВШЭ, сотрудников, преподавателей и студентов. Будь-то умный сервис для единого личного кабинета, аналитическая система для руководства, ИИ-помощник для подразделения или персональный чат-бот для студента — SmartMLOps поддержит ваши сервисы на постоянной основе, предоставит удобный API для встраивания результатов в ваши системы, упростит мониторинг и обновление сервисов. Сценарий подходит для IT-служб НИУ ВШЭ, долговременных проектов, администраторов и др.
2 Экспериментальные сервисы
Нужно обучить простую или наоборот, большую и сложную ИИ-модель, протестировать ее на пользователях, дообучить или провести опытную эксплуатацию модели для НИОКРа? SmartMLOps поможет! Платформа поддерживает сложные пайплайны обучения и инференса моделей, управляет вычислительными ресурсами для эксперимента, автоматически масштабирует такие ресурсы по необходимости, и, даже, дает возможность подключения к суперкомпьютеру cHARISMa. Дает богатые средства мониторинга моделей и аккуратно просканирует вашу модель на уязвимости. Сценарий для таких обычно краткосрочных экспериментов подходит для лабораторий и исследователей или ВКР студентов. По окончанию эксперимента модель будет законсервирована и к ней можно будет вернуться при необходимости.
3 Данные
Нет сложных вычислений или не хотите размещать свою модель во вне, но нужны данные для таких моделей? SmartMLOps поможет и тут! Данные корпоративных информационных систем НИУ ВШЭ доступны через SmartMLOps. Данные проходят процедуры очистки и обезличивания. Список данных КИС, доступных через Платформу постоянно пополняется.
В разработке:
- специальные MLOps модули для улучшения и продуктивизации моделей
- публично доступные модели, каталог доступных моделей
Устройство SmartMLOps
Система SmartMLOps использует Яндекс.Облако и основана на платформе для управления контейнеризованными рабочими нагрузками и сервисами Kubernetes.
- Основная компонента системы - это автоматизирующий MLOps-фреймворк, который был создан Центром ИИ в период с 2021 по 2024 г.
- Аутентификация команд разработчиков и пользователей системы происходит с использованием инструмента Keycloak и интегрировано с ЕЛК НИУ ВШЭ.
- Управление доступом и разграничение ролей выполняется инструментом Harbor.
- Управление разработкой, размещение кодов выполняется инструментом Forgejo.
- Инструмент ArgoCD применяется для размещения компонент, управления их жизненным циклом, контроля версий и др.
- В качестве системы управления базой данных используется PostgreSQL.
- Отдельные компоненты отвечают за взаимодействие с суперкомпьютером.
- Контроль и настройка трафика осуществляется инструментом Ingress.
- Для наблюдения за работой системы используем Prometheus, а для настройки дашбордов мониторинга используем Grafana.
- Система предоставляет REST API для операций управления и запуска ИИ-модулей, работы с файлами, получения результатов вычислений.
- Процессы управления моделями контролируются через Личный кабинет.
Более подробную информацию о работе компонент можно найти в документации.