Исследователи из Стэндфорда изучили эволюцию чат-бота ChatGPT. Выводы неутешительны. ИИ стал глупее последних нескольких месяцев. Об этом свидетельствуют результаты тестов, сообщает arxiv.org.
Ученые решили провести эту работу после жалоб пользователей на форуме OpenAI. Им не нравились ответы модели ChatGPT-4 и чат-бота Bing от Microsoft, работающей на ней же. Для оценки качества ChatGPT заставили решать математические задачи, отвечать на щекотливые и опасные вопросы, просили генерировать код и показать визуальное мышление.
В мартовской версии ИИ с точностью до 97,6% определял простые числа. В июньском обновлении показатель составил 2,4%. GPT-3.5 за июнь был лучше GPT-3.5 за март. Выходит, что разработчики производят обновление своего продукта на худшем уровне.
В качестве причины ситуации ученые подозревают, что разработчики пустились в режим экономии для функционирования ChatGPT. Его обслуживание по некоторым данным в сутки затягивает до 700 тыс. дол. Поэтому нейросеть настраивается так, чтобы ответы были того же качества, но с меньшими израсходованными ресурсами. Качество скатилось, а экономия вылезла боком. Поэтому ChatGPT стал “дешевле”.
Источник: https://itechua.com/