О платформе SmartMLOps

SmartMLOps сегодня

  • Модели 8 шт.

    Развернуто моделей искусственного интеллекта

  • Корп. систем 3 шт.

    Подключено источников данных из корпоративных информационных систем

Наши достижения

Назначение

Почему проходят годы, прежде чем передовые технологии искусственного интеллекта (ИИ) доходят до обычных пользователей? Потому что разработчик моделей, специалист DevOps по развертыванию и поддержке моделей и администратор – это три разные профессии! А для создания ИИ-решения нужны не только они, но и вычислительные ресурсы, хранилища данных, платформа для пользователей, система безопасности и многое другое.

Чтобы решить эту задачу, мы создаём платформу SmartMLOPs! Создаём для лабораторий и подразделений ВШЭ, студентов, аспирантов, преподавателей и сотрудников ВШЭ, а также внешних исследований и партнеров.

Система SmartMLOPs предназначена для разработки и интеграции прикладных модулей, использующих технологии искусственного интеллекта, например, ИИ-помощников в образовательном и административном процессах, в сфере управления, медицине и др. В системе размещаются интеллектуальные сервисы, используемые в рабочих процессах, экспериментальные и учебные модели. На базе системы возможно проведение опытной эксплуатации и внедрения результатов НИОКР лабораторий НИУ ВШЭ. Система является площадкой для продуктивизации и коммерциализации разрабатываемых решений.

Сценарии использования

1 Промышленные сервисы 

Размещайте и управляйте долговременными промышленными сервисами для административных и образовательных процессов НИУ ВШЭ, сотрудников, преподавателей и студентов. Будь-то умный сервис для единого личного кабинета, аналитическая система для руководства, ИИ-помощник для подразделения или персональный чат-бот для студента — SmartMLOps поддержит ваши сервисы на постоянной основе, предоставит удобный API для встраивания результатов в ваши системы, упростит мониторинг и обновление сервисов. Сценарий подходит для IT-служб НИУ ВШЭ, долговременных проектов, администраторов и др. 

 


2 Экспериментальные сервисы

Нужно обучить простую или наоборот, большую и сложную ИИ-модель, протестировать ее на пользователях, дообучить или провести опытную эксплуатацию модели для НИОКРа?  SmartMLOps поможет! Платформа поддерживает сложные пайплайны обучения и инференса моделей, управляет вычислительными ресурсами для эксперимента, автоматически масштабирует такие ресурсы по необходимости, и, даже, дает возможность подключения к суперкомпьютеру cHARISMa. Дает богатые средства мониторинга моделей и аккуратно просканирует вашу модель на уязвимости. Сценарий для таких обычно краткосрочных экспериментов подходит для лабораторий и исследователей или ВКР студентов. По окончанию эксперимента модель будет законсервирована и к ней можно будет вернуться при необходимости.  

 


3 Данные

Нет сложных вычислений или не хотите размещать свою модель во вне, но нужны данные для таких моделей? SmartMLOps поможет и тут! Данные корпоративных информационных систем НИУ ВШЭ доступны через SmartMLOps. Данные проходят процедуры очистки и обезличивания. Список данных КИС, доступных через Платформу постоянно пополняется.


В разработке:

- специальные MLOps модули для улучшения и продуктивизации моделей

- публично доступные модели, каталог доступных моделей

 

 

 

Интересно? Подключайтесь

Устройство SmartMLOps

Система SmartMLOps использует Яндекс.Облако и основана на платформе для управления контейнеризованными рабочими нагрузками и сервисами Kubernetes.

  • Основная компонента системы - это автоматизирующий MLOps-фреймворк, который был создан Центром ИИ в период с 2021 по 2024 г.
  • Аутентификация команд разработчиков и пользователей системы происходит с использованием инструмента Keycloak и интегрировано с ЕЛК НИУ ВШЭ.
  • Управление доступом и разграничение ролей выполняется инструментом Harbor.
  • Управление разработкой, размещение кодов выполняется инструментом Forgejo. 
  • Инструмент ArgoCD применяется для размещения компонент, управления их жизненным циклом, контроля версий и др.
  • В качестве системы управления базой данных используется  PostgreSQL.
  • Отдельные компоненты отвечают за взаимодействие с суперкомпьютером.
  • Контроль и настройка трафика осуществляется инструментом Ingress.
  • Для наблюдения за работой системы используем Prometheus, а для настройки дашбордов мониторинга используем Grafana. 
  • Система предоставляет REST API для операций управления и запуска ИИ-модулей, работы с файлами, получения результатов вычислений.
  • Процессы управления моделями контролируются через Личный кабинет. 

 

Более подробную информацию о работе компонент можно найти в документации