Испанские ученые из Университета Ровиры и Вирхилия и Барселонского университета выяснили, что самые совершенные системы искусственного интеллекта (ИИ) на основе больших языков моделей значительно уступают людям в распознавании грамматических ошибок.
Исследование опубликовано в научном журнале Proceedings of the National Academy of Sciences (PNAS). Специалисты протестировали три лучших на сегодня языковых модели, включая ChatGPT. Им дали простую задачу: определить, какие предложения построены грамматически правильно, а какие содержат ошибки грамматики. Такое же задание выполнила группа людей.
Живые участники легко обнаружили грамматические несоответствия, тогда как ИИ дали много неправильных ответов. Фактически, искусственный интеллект определил все приведенные примеры как правильные. По словам авторов исследования, эксперимент показал, что ИИ пока не способны оценивать тексты на соответствие грамматическим нормам даже при условии, что в них загружены эти правила. Тогда как человек распознает тривиальные ошибки в грамматике мгновенно и без усилий. Это говорит о том, что нейросети понимают язык иначе, чем люди.
