Инженеры из MIT (Массачусетского технологического института) обучили нейросеть навыку распознавания различных предметов, изображенных на картинке, по предварительному краткому описанию. Исследование описано в техническом блоге Engadget.
Новый алгоритм распознавания объектов работает просто: ему достаточно описания предмета. Система состоит из сверточной нейронной сети, образуемой из двух обычных. Первая анализирует картинку, вторая занимается спектрограммами, разделяя визуальный рисунок аудиодорожки на краткие отрезки по одной или несколько секунд.
По мнению инженеров, авторов проекта, в будущем разработка может стать полезной для создания первоклассных программ по переводу с одного языка на другой.
