3D-визуализация в реальном времени для обучения искусственного интеллекта беспилотного транспорта

опубликовано
Uncategorized
Real-Time 3D Visualization For Deep Learning In Automotive

Машинное обучение автономного транспорта / ADAS

Работа автономных транспортных средств:

  1. Восприятие
  2. Локализация
  3. Планирование траектории
  4. Управление

Обучение компьютерного зрения (Восприятие) требует большого объема визуальных данных, которые можно сгенерировать при помощи платформы 3D-визуализации в реальном времени (виртуальные сценарии).

Виртуальные сценарии также можно применять для проверки поведения (Управление) автономных систем (виртуальный тест-драйв).

Требования к виртуальному 3D-окружению:

  • Фотореалистичное качество изображений
  • Физически корректное освещение
  • Несколько широкоугольных камер кругового обзора
  • Имитация датчиков (LIDAR, радар, сонар…)
  • Доступ к семантическим данным объектов (характеристики)
  • Процедурная конфигурация сцены (положение транспорта/пешеходов, препятствия, освещение, погодные условия)

В отличие от традиционных подходов (сбор и маркировка массивов данных, испытательные автодромы) использование 3D-платформы экономит время, усилия и ресурсы.

Среда разработки приложений, использующих интерактивную 3D-визуализацию

Фотореалистичная графика

  • Физически корректная визуализация
  • Соблюдение законов сохранения энергии
  • Динамическое освещение, тени и отражения
  • GGX BRDF: реалистичные блики от источников освещения
  • Френелевское отражение, отражение на шероховатых поверхностях 
  • Расчет отражений на основе трассировки лучей света в экранном пространстве (SSRR)
  • Настраиваемые алгоритмы сглаживания
  • Уникальная технология расчета глобального освещения в экранном пространстве на основе трассировки лучей (SSRTGI)
Photorealistic Visuals
Photorealistic Visuals

Виртуальные камеры и сенсоры

Камеры кругового обзора

Камеры кругового обзора с линейной или панорамной (“рыбий глаз”) перспективой.

Моно- и стереоизображение с видеорегистраторов для систем ADAS.

LiDAR

Lidar

Поддержка лазерного дальномера с углом обзора 360°. Расстояния до окружающих объектов передаются алгоритмам AI в режиме реального времени вне зависимости от условий освещения.

Радар

Sensors

Возможность имитации коротковолновых радаров с быстрым доступом к данным о глубине сцены.

Эти точные данные также можно использовать для имитации сонаров ближнего действия.

Специализированные сенсоры

Sensors

UNIGINE 2 Sim можно использовать для имитации других типов сенсорных приборов: тепловизоры, приборы ночного видения, FLIR и т. д.

Сцены с геопривязкой

UNIGINE 2 Sim SDK позволяет создавать точную виртуальную копию реального мира в требуемом масштабе.

  • Повышенная точность позиционирования объектов: 64 бита на координату
  • Поддержка трехмерной модели планеты на основе эллипсоида (WGS84, нестандартные модели)
  • Поддержка различных форматов геоданных (карты высот / спутниковые снимки / векторные данные)
  • Расположения небесных тел с учетом времени/координат
  • Оптимизированная система кластеров объектов для повышения производительности
Georeferenced Scenes
Georeferenced Scenes

Автоматическая разметка данных

В UNIGINE 2 Sim сцены уже содержат покадровую классификационную информацию, что делает их готовым размеченным набором данных для машинного обучения. По каждому пикселю можно получить истинные данные (ground truth). При таком подходе, в отличие от разметки вручную, вероятность ошибки при классификации равна нулю.

  • Система свойств с привязкой к каждому объекту для семантических данных
  • Простое маскирование объектов
  • Расширенный доступ к графу сцены
  • Быстрая проверка видимости объектов
  • Эффективное управление перекрытиями
  • 24-битные маски материалов
  • Информация о границах объекта для оценки сегментации
Автоматическая разметка данных

Удобная настройка сценариев

Возможность создавать неограниченное количество сценариев, меняя любой из нижеперечисленных параметров, динамически контролируемых через API:

  • положение автономного т/с
  • окружающий трафик
  • пешеходы
  • препятствия
  • аварийные ситуации
  • состояние дороги
  • условия освещения
  • погодные условия

Таким образом, можно проработать огромное количество ситуаций и тестовых случаев и значительно повысить надежность системы.

  • Reconfiguration
  • Reconfiguration
  • Reconfiguration

Высокая производительность

UNIGINE 2 Sim предусматривает работу с большими сложными процедурными сценами, содержащими множество динамических объектов.

3D-платформа демонстрирует высокую и стабильную производительность даже на оборудовании потребительского класса, что оказывается крайне полезным и экономит время при итеративном процессе обучения ИИ.

UNIGINE уже много лет тесно сотрудничает с ведущими поставщиками оборудования (AMD, Intel, NVIDIA) по вопросам оптимизации производительности.

Моделирование динамики ТС

В UNIGINE 2 Sim SDK входит базовая система моделирования динамики транспортных средств, которой может оказаться достаточно для имитации фонового трафика или для прототипов приложений (на начальном этапе без сложных программных алгоритмов или подключения аппаратных средств моделирования).

  • Основное оборудование: двигатель, КПП, раздаточная коробка, мост, дифференциал, колеса, подвеска, рулевое управление, тормозная система
  • Настраиваемая трансмиссия: передний, задний и полный привод, многоосные транспортные средства
  • Моделирование различных типов покрытий (сухой, мокрый, покрытый снегом или льдом асфальт, грязь и т. д.)
  • Визуальный контроль / отладка параметров в режиме реального времени

Также доступны встроенные компоненты, необходимые для моделирования трафика (пространственные триггеры, модуль поиска маршрутов).

Мощный API для C++ и C#

Поддержка языков программирования C++ и C# расширяет спектр возможностей разработчиков. Оба API идентичны в плане уровня доступа:

  • Доступ к процессу рендеринга на высоком и низком уровне
  • Режим одновременного использования нескольких окон просмотра
  • Доступ к графу сцены и всем параметрам
  • Поддержка CUDA для быстрой передачи данных между GPU и CPU
  • Доступ к текстурам в несжатом формате
  • Расширяемость с возможностью создания пользовательских объектов и шейдеров

Проверено на людях

UNIGINE 2 Sim уже многие годы успешно используется в профессиональных тренажерах для обучения людей. SDK может работать как часть модульных распределенных систем.

Многие методы и подходы, применяемые при генерации виртуальных пространств для обучения людей, подходят и для ИИ.

В мире используется множество всевозможных симуляторов вождения, разработанных нашими клиентами. Легковые автомобили, грузовики, спецтехника, поезда, военный транспорт — на базе платформы UNIGINE представлены симуляторы всех видов наземного транспорта.

Proven By Training Humans

Различные типы транспортных средств

Various Types Of Vehicles

Оптимальная организация работы с контентом

  • Редактор 3D-сцен (визуальных баз данных) по принципу WYSIWYG
  • Инструмент для создания ландшафтов с поддержкой процедурного уточнения данных
  • Физически корректная визуализация 3D-моделей (совместимо со всеми современными платформами)
  • Поддержка форматов данных CAD и GIS
  • Библиотека 3D-моделей

Команда экспертов

UNIGINE решает задачи моделирования и обучения уже более десяти лет (из них 4 года задачи, связанные с обучением ИИ). Команда принимала непосредственное участие во многих проектах, получая реальный опыт, и разрабатывая множество проектов под ключ. 

Свой опыт мы трансформировали в программную платформу UNIGINE 2 Sim, и теперь наши клиенты могут использовать готовые компоненты, которые были разработаны для решения схожих задач.

Наши технические специалисты всегда готовы помочь вашей команде по любым вопросам.

Experts

Преимущества UNIGINE

  • Фотореалистичное качество изображения
  • Данные с камер и датчиков
  • Автоматическая разметка семантических данных
  • Простота изменения сценариев
  • Доступ к процессу визуализации на глубоком уровне
  • Встраиваемость в кодовую базу C++ / C#
  • Высокий уровень оптимизации производительности
  • Поддержка сцен с геопривязкой
  • Широкий набор готовых решений
  • Визуальный редактор сцен и библиотека 3D моделей
  • Базовое моделирование динамики транспортных средств
  • Поддержка различных типов транспорта
  • Эффективность, доказанная тренажерами для людей
  • Результат работы экспертов в области разработки промышленного ПО

Автономность в любой среде

Независимо от типа автономного транспорта, до начала массовой эксплуатации его ИИ должен пройти процесс обучения со стандартным набором задач.

  • Беспилотные автомобили (уровень 4 / 5 по классификации SAE)
  • Беспилотные летательные аппараты
  • Беспилотные надводные и подводные суда
  • Беспилотные космические корабли

UNIGINE 2 Sim позволяет визуализировать все эти сценарии.

Autonomous Everywhere
Autonomous Everywhere

Разработчики из 250+ компаний со всех континентов используют технологии UNIGINE для реализации своих проектов.