OpenAI представила новый бенчмарк SWE-Lancer.
Испытания показали, что современные модели пока не способны выполнять большинство заданий. Лучшая из протестированных моделей, Claude 3.5 Sonnet, смогла заработать $208 тыс. на подмножестве задач стоимостью $500,8 тыс., но ее возможности остаются ограниченными.
Исследователи OpenAI считают, что SWE-Lancer позволит глубже изучить экономическое влияние ИИ в сфере программирования и определить его потенциал в качестве инструмента для выполнения задач для фрилансеров.