Джон Хопфилд изобрел сеть, использующую метод сохранения и воссоздания образов. Узлы сети можно представить как пиксели. Сеть Хопфилда использует физические принципы, описывающие свойства материала на основе спина атомов – характеристики, которая делает каждый атом крошечным магнитом. Сеть в целом описывается способом, эквивалентным энергии в спиновой системе, известной в физике, и обучается путем нахождения значений связей между узлами таким образом, чтобы сохраненные изображения имели низкую энергию. Когда в сеть Хопфилда подается искаженное или неполное изображение, она методично обрабатывает узлы и обновляет их значения так, чтобы энергия сети снижалась. Таким образом, сеть пошагово находит сохраненное изображение, наиболее похожее на несовершенное входное изображение.
Джеффри Хинтон использовал сеть Хопфилда как основу для новой сети, использующей другой метод: машины Больцмана. Она может научиться распознавать характерные элементы в определенном типе данных. Хинтон использовал инструменты статистической физики – науки о системах, построенных из множества схожих компонентов. Машина обучается путем подачи примеров, которые с высокой вероятностью возникают при работе машины. Машина Больцмана может использоваться для классификации изображений или создания новых примеров того типа образов, на которых она была обучена. Хинтон развил эту работу, помогая положить начало нынешнему взрывному развитию машинного обучения.