Университет Ровиры и Вирхилия: ИИ не замечает тривиальных грамматических ошибок

Лучшие модели ИИ не смогли распознать тривиальные грамматические ошибки. Они назвали верными неправильные предложения в ходе простого эксперимента

Международная команда ученых под руководством экспертов из испанского Университета Ровиры и Вирхилия (Universitat Rovira i Virgili) выявила, что искусственный интеллект (ИИ) не справляется с грамматикой. Выводы совместного исследования опубликованы на сайте университета.

Эксперимент показал, что люди легко распознают грамматические ошибки в предложении, а ИИ — нет. Это установили после опыта, в котором были задействованы три ведущие системы искусственного интеллекта на основе больших языковых моделей. Протестировали, в частности, и популярный ChatGPT. Искусственному интеллекту поставили задачу определить, какие предложения построены грамматически верно, а в каких присутствуют ошибки. Аналогичную задачу получила группа людей.

«Результат удивителен, поскольку эти системы обучаются на основе правил грамматики в языке. Этим моделям даются примеры предложений, которые не составлены правильно с грамматической точки зрения, а затем дается правильная версия. Этот тип обучения является фундаментальной частью их подготовки. При этом у людей все иначе, ведь родители при воспитании ребенка могут время от времени поправлять его речь, но они не делают этого постоянно», — сказала руководитель исследования Виттория Дентелла.

Результаты показали, что люди ответили правильно, в то время как версии ИИ дали много неверных ответов. Алгоритмы оказались неспособны распознать тривиальные грамматические ошибки, тогда как люди сделали это мгновенно и без усилий. Ученые пришли к выводу, что системы в настоящее время не могут оценивать тексты на соответствие грамматическим нормам, даже с учетом того, что в них эти правила загружены.

«Разработка нужных и безопасных инструментов искусственного интеллекта может быть очень полезной, но нам необходимо осознавать их недостатки. Эти результаты говорят о том, что нмы должны критически отнестись к тому, действительно ли ИИ обладают языковыми навыками, подобными человеческим», — говорится в заявлении ученых.

Универсальный чат-бот ChatGPT компания OpenAI, одним из основателей которой был Илон Маск, представила осенью 2022 года. Он способен выполнять самые разные задачи и доступен любому желающему.

Чат-бот способен вести диалог, искать ошибки в коде, сочинять стихи, писать сценарии. ChatGPT стал очень популярен, только за первые два месяца с момента запуска демоверсии им воспользовались 100 млн человек, и бот назвали «самым быстрорастущим потребительским приложением в истории». Искусственный интеллект даже смог пройти собеседование в Google на должность инженера с зарплатой $15 тыс.