Беспилотные автомобили в значительной степени полагаются на глубокие нейронные сети для навигации в сложных дорожных ситуациях, однако эти системы часто функционируют как непрозрачные «черные ящики». Чтобы решить эту проблему, исследователи из компании по разработке беспилотного транспорта Motional и Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) разработали фреймворк, который переводит процесс принятия решений ИИ в реальном времени в понятные человеку концепты.
Опубликованное в журнале Nature исследование представляет архитектуру Concept-Wrapper Network (CW-Net). Вместо того чтобы пытаться постфактум угадать причины действий автомобиля, система напрямую связывает его маневры с распознаваемыми визуальными понятиями — например, обнаружением неподвижного автомобиля или фиксацией близости к велосипедисту.
Принятие решений в понятном для человека виде в реальном времени
Традиционные сквозные (end-to-end) модели глубокого обучения отлично справляются с обработкой сенсорных данных, но не способны объяснить причину внезапного маневра. CW-Net устраняет этот пробел, гарантируя, что планировщик движения беспилотника явно опирается на понятные человеку понятия для выполнения действий.
«Обычный исключительно сквозной подход может обеспечить очень хороший результат на 80–90% или даже 95%, но этого недостаточно, чтобы полностью убрать водителя или заслужить доверие городов, сообществ и клиентов», — объяснила генеральный директор Motional Лора Мейджор.
В отличие от генеративных текстовых моделей, создающих правдоподобно звучащие отчеты постфактум, CW-Net обеспечивает причинно-следственную точность: каждую команду торможения или поворота руля можно напрямую сопоставить с конкретным концептом, вызвавшим её.
Тестирование в реальных условиях на дорогах Лас-Вегаса
В то время как многие модели объяснимого ИИ остаются ограниченными симуляционными тестами, команда внедрила CW-Net непосредственно в тестовые автомобили, курсирующие по закрытым полигонам и дорогам общего пользования в окрестностях Лас-Вегаса. Система быстро выявила скрытые недостатки в экспериментальном программном обеспечении:
- Фантомные препятствия: когда автомобиль неоднократно останавливался рядом с дорожным конусом, инженеры изначально подозревали, что причина в конусе. Однако даже после его удаления торможение продолжалось. CW-Net показала, что экспериментальный планировщик «галлюцинировал» стоящий впереди автомобиль из-за аномалий в обучающих данных.
- Идентификация работы систем резервной безопасности: при сближении с велосипедистом автомобиль корректно остановился. Однако CW-Net показала, что экспериментальный планировщик не зафиксировал велосипедиста; остановку на самом деле инициировала базовая резервная система безопасности, что позволило операторам вмешаться и перепроверить планировщик.
Незначительное влияние на производительность
Постоянной проблемой архитектур объяснимого ИИ остаются вычислительные накладные расходы. В сравнительных тестах с ведущими моделями беспилотного вождения интеграция CW-Net привела к снижению эффективности менее чем на один процент.
По мере того как регуляторы требуют большей подотчетности от автономных систем, инструменты интерпретируемости, подобные CW-Net, могут стать общепринятыми стандартами. Исследователи отмечают, что данная технология также весьма перспективна для других критически важных сфер применения ИИ, включая беспилотные дроны-доставщики и роботизированные хирургические системы.