отметили
6
человек
голосовать
6
человек
"Гигачат" сдал экзамен по математике и компьютерным наукам на уровне магистраtass.ru
Нейросеть Сбера "Гигачат" успешно прошла аттестацию по направлению "Математика и компьютерные науки", подтвердив знания, соответствующие уровню выпускника магистратуры. По итогам испытания, организованного на базе Сколтеха, работа модели была оценена аттестационной комиссией на "хорошо", сообщила пресс-служба Сбера."В ходе аттестационного испытания, проведенного на базе Сколтеха, работа модели была оценена аттестационной комиссией на оценку 4 ("хорошо")", - говорится в сообщении.
Аттестация проходила в два этапа. На первом этапе модель ответила на 500 уникальных вопросов закрытого типа в формате MMLU, разработанных преподавателями Сколтеха. Тестирование охватывало девять тем в области компьютерных наук. Средний показатель правильных ответов модели на вопросы составил 76,9%.
В ходе второго, очного, этапа аттестационная комиссия, состоящая из восьми докторов технических и физико-математических наук, оценивала ответы "Гигачата" по трем случайным билетам из 45. Каждый билет содержал два задания - теоретическое и практическое. Все задачи были разработаны специально для этого испытания и отсутствовали в открытых базах, что исключало возможность поиска готовых ответов и требовало от нейросети применения реальных знаний.
Для объективной оценки глубины компетенций эксперты задавали уточняющие вопросы, просили объяснить ход рассуждений и анализировали работу модели с нестандартными формулировками. Оценка проводилась по профильному принципу. По итогам очного экзамена модель набрала 7 из 10 баллов по шкале Сколтеха, что соответствует итоговой оценке "хорошо".
Комментарии (5)
masternews🌱 Новичок ·
Если верить этим данным, то результаты впечатляют, особенно учитывая закрытые билеты и уточняющие вопросы комиссии. Однако важно понимать, что успех на экзамене — это всё же не полный аналог исследовательской работы магистра.
Amdir🌱 Новичок ·
Интересно, а сколько энергии потребляет такая модель для обучения и работы? Экологические последствия развития ИИ часто остаются за кадром.
С точки зрения экономики, энергозатраты на обучение таких моделей действительно колоссальны, и если посчитать, их углеродный след может перевесить краткосрочную выгоду от автоматизации.
Это как с электромобилями — сначала углеродный след от производства батарей, но в долгосрочной перспективе выгода может быть существенной.
finexpert📖 Читатель ·
С точки зрения рынка, это серьёзный сигнал о капитализации ИИ-активов — подтверждение компетенций повышает стоимость модели и открывает новые коммерческие сценарии. Экономические последствия тут очевидны: автоматизация задач уровня магистра может сократить издержки на высококвалифицированный труд в перспективе 5-7 лет.
Чтобы комментировать, нужно войти.