Насколько умен искусственный интеллект?

Исследователи из Берлинского технического университета, Института им. Фраунгофера Генриха Герца HHI и Сингапурского университета технологии и дизайна (SUTD) занялись этим вопросом и дали представление о разнообразном спектре «интеллекта», наблюдаемом в современных системах ИИ, в частности, проанализировав эти системы ИИ с помощью новой новинки. технология, позволяющая автоматизировать анализ и количественную оценку.

Наиболее важной предпосылкой для этой новой технологии является метод, разработанный ранее TU Berlin и Fraunhofer HHI, так называемый алгоритм послойного распространения релевантности (LRP), который позволяет визуализировать, в соответствии с какими входными переменными системы ИИ принимают свои решения. Расширяя LRP, новый анализ спектральной релевантности (SpRAy) может идентифицировать и количественно определять широкий спектр усвоенного поведения при принятии решений. Таким образом, теперь стало возможным обнаруживать принятие нежелательных решений даже в очень больших наборах данных.

Этот так называемый «объяснимый ИИ» стал одним из самых важных шагов на пути к практическому применению ИИ, по словам доктора Х. Клаус-Роберт Мюллер, профессор машинного обучения Берлинского технического университета. «В частности, в медицинской диагностике или в критически важных для безопасности системах нельзя использовать системы искусственного интеллекта, которые используют ненадежные или даже мошеннические стратегии решения проблем.»
Используя свои недавно разработанные алгоритмы, исследователи, наконец, могут протестировать любую существующую систему ИИ, а также получить количественную информацию о них: весь спектр, начиная от наивного поведения при решении проблем и заканчивая мошенническими стратегиями и заканчивая тщательно продуманными «интеллектуальными» стратегическими решениями. наблюдается.
Доктор.

Войцех Самек, руководитель группы Fraunhofer HHI, сказал: «Мы были очень удивлены широким спектром усвоенных стратегий решения проблем. Даже современные системы искусственного интеллекта не всегда находят решение, которое кажется значимым с человеческой точки зрения, но иногда используют так называемые «умные стратегии Ганса».»
Умный Ганс был лошадью, которая якобы могла считать и считалась научной сенсацией в 1900-х годах.

Как позже выяснилось, Ганс не владел математикой, но примерно в 90 процентах случаев он мог получить правильный ответ из реакции вопрошающего.

Команда Клауса-Роберта Мюллера и Войцеха Самека также обнаружила похожие стратегии «Умного Ганса» в различных системах искусственного интеллекта. Например, система искусственного интеллекта, которая несколько лет назад выиграла несколько международных конкурсов по классификации изображений, использовала стратегию, которую с человеческой точки зрения можно считать наивной. Он классифицировал изображения в основном на основе контекста.

Снимки были отнесены к категории «корабль», когда на снимке было много воды. Другие изображения были классифицированы как «поезд», если были рельсы. Тем не менее, другим изображениям была присвоена правильная категория по их водяным знакам с авторскими правами. Настоящая задача, а именно обнаружение концептов кораблей или поездов, поэтому не была решена этой системой ИИ – даже если она действительно правильно классифицировала большинство изображений.

Исследователи также смогли найти эти типы ошибочных стратегий решения проблем в некоторых современных алгоритмах искусственного интеллекта, так называемых глубоких нейронных сетях – алгоритмах, которые до сих пор считались неуязвимыми для таких ошибок. Эти сети основывали свое решение о классификации частично на артефактах, которые были созданы во время подготовки изображений и не имеют ничего общего с фактическим содержанием изображения.

«Такие системы искусственного интеллекта бесполезны на практике. Их использование в медицинской диагностике или в областях, критически важных для безопасности, может даже повлечь за собой огромную опасность », – сказал Клаус-Роберт Мюллер. «Вполне вероятно, что около половины используемых в настоящее время систем искусственного интеллекта явно или неявно полагаются на такие стратегии« Умного Ганса ». Пришло время систематически проверять это, чтобы можно было разработать безопасные системы искусственного интеллекта.»

С помощью своей новой технологии исследователи также определили системы искусственного интеллекта, которые неожиданно научились «умным» стратегиям. Примеры включают системы, которые научились играть в игры Atari Breakout и Pinball. «Здесь ИИ четко понял концепцию игры и нашел разумный способ целенаправленно и с минимальным риском собирать много очков. Система иногда даже вмешивается так, как не сделал бы настоящий игрок », – сказал Войцех Самек.

«Помимо понимания стратегий ИИ, наша работа устанавливает удобство использования объяснимого ИИ для итеративного проектирования наборов данных, а именно для удаления артефактов в наборе данных, которые заставят ИИ изучить ошибочные стратегии, а также помочь решить, какие немаркированные примеры необходимо аннотировать и добавлено, чтобы можно было уменьшить количество отказов системы искусственного интеллекта «, – сказал доцент SUTD Александр Биндер.
«Наша автоматизированная технология имеет открытый исходный код и доступна всем ученым.

Мы рассматриваем нашу работу как важный первый шаг к тому, чтобы сделать системы искусственного интеллекта более надежными, понятными и безопасными в будущем, и за этим последует еще больше. «Это важная предпосылка для общего использования ИИ», – сказал Клаус-Роберт Мюллер.