Исследование ученых MIT (Массачусетский технологический институт) показало, что современные большие языковые модели (LLM), которые используются в чат-ботах, не способны создавать точные внутренние модели реального мира.
В ходе исследования команда разработала новые метрики, основываясь на детерминированных конечных автоматах (DFA), требующих выполнения последовательных шагов по определенным правилам. Одним из тестов было моделирование навигации по улицам Нью-Йорка. Модели ИИ демонстрировали высокую точность в идеальных условиях, однако их эффективность существенно падала при поступлении дополнительных переменных, таких как закрытые улицы или объезды. Ведущий автор исследования Кейон Вафа отметил, что при закрытии всего 1% возможных улиц точность моделирования падает с почти 100% до 67%.
Исследование показывает, что LLM лишь предсказывают, какое слово поставить следующим, основываясь на огромных объемах обработанного текста. Логика и понимание не являются частью этого процесса. Точность их работы может резко снижаться в реальных условиях, где появляется множество переменных.