Ошибка.hr ; Ошибка.hr ;Глубокие нейронные сети видят мир не так, как видим его мы
Опубликовано: 26.10.2023
Ошибка.hr ; Ошибка.hr ;Глубокие нейронные сети видят мир не так, как видим его мы
Сенсорные системы человека очень хорошо распознают объекты, которые мы видим, или слова, которые мы слышим, даже если объект перевернут или слово произнесено голосом, которого мы никогда не слышали. Глубокие нейронные сети можно научить делать то же самое: правильно идентифицировать изображение собаки независимо от цвета ее шерсти или слово независимо от высоты голоса говорящего. Однако, новое исследование нейробиологов Массачусетского технологического института показывает, что эти модели часто одинаково реагируют на изображения или слова, которые не имеют ничего общего с целью.
Реакции нейронных сетей
Когда эти нейронные сети использовались для генерации изображений или слов, которые реагировали так же, как и определенные естественные входные данные, например изображение медведя, большинство из них генерировало изображения или звуки, неузнаваемые для наблюдателей-людей. Это говорит о том, что эти модели выстраивают свои собственные «инварианты», то есть одинаково реагируют на стимулы с совершенно разными характеристиками.
Когда нейронным сетям было предложено сгенерировать изображение или слово для помещения в ту же категорию, что и конкретный входной сигнал, например изображение медведя, большая часть того, что они создали, была неузнаваема для людей-наблюдателей. Справа — пример того, что модель назвала «медведем». МИФРезультаты, представленные в журнале Природа Нейронауки,предлагают исследователям новый способ оценить, насколько хорошо эти модели имитируют организацию сенсорного восприятия человека, говоритДжош МакДермотт, доцент кафедры мозговых и когнитивных наук Массачусетского технологического института и член Институт исследований мозга Макговерна и Центр мозга, разума и машин (КБММ).
Игнорирование функций
В последние годы исследователи обучили глубокие нейронные сети, которые могут анализировать миллионы входных данных, звуков или изображений, а также изучать общие функции, которые позволяют им классифицировать целевое слово или объект примерно так же точно, как это делают люди. Эти модели в настоящее время считаются ведущими моделями биологических сенсорных систем.
Примеры моделей метамеров, созданных с помощью регуляризации МИФСчитается, что сенсорная система человека учится игнорировать особенности, которые не имеют отношения к фундаментальной идентичности объекта, например, количество падающего на него света или угол, под которым он рассматривается. Это известно как инвариантность: объекты воспринимаются как одинаковые, даже если они имеют различия по этим менее важным характеристикам.
Понятие метамера
Исследователи задавались вопросом, могут ли глубокие нейронные сети, обученные выполнять задачи классификации, развивать подобные инварианты, и использовали эти модели для генерации стимулов, которые вызывали одинаковый тип реакции в модели. Они называют эти стимулы «метамерной моделью»; Первоначально эта концепция была разработана для изучения человеческого восприятия для описания цветов, которые кажутся идентичными, даже если они состоят из световых волн разной длины.
Метамеры классической модели зрения МИФБольшинство изображений и звуков, созданных таким образом, выглядят и звучат совсем не так, как примеры, которые изначально были приведены моделями. Эти изображения — всего лишь набор случайных пикселей, а звуки — непонятный шум.
«Люди вообще не могут их распознать. Они не выглядят и не звучат естественно и не имеют интерпретируемых особенностей, которые человек мог бы использовать для классификации объектов или слов», — объясняют исследователи. Полученные данные позволяют предположить, что модели каким-то образом выработали свои собственные инварианты, отличающиеся от инвариантов систем человеческого восприятия.
Противоречивое обучение
Кажется, что каждая модель обладает своей уникальной инвариантностью. Когда метамеры одной модели демонстрировались другой модели, метамеры были так же неузнаваемы для другой модели, как и для людей-наблюдателей.
Модели метамеров неузнаваемы для людей даже при использовании альтернативных процедур обучения. МИФМетамеры моделей могут стать более узнаваемыми для людей с помощью состязательного обучения, первоначально разработанного для борьбы с другим ограничением моделей распознавания объектов, когда внесение почти незаметных изменений в изображение может привести к тому, что модель его неправильно распознает. Эта форма обучения имеет большой эффект, но исследователи не знают, почему. По их словам, это станет предметом будущих исследований.