Вторник, 21 Мар 2023

ChatGPT v4 сдал экзамены и может выявлять эксплойты в контрактах ETH

GPT-4, последняя версия чат-бота с искусственным интеллектом ChatGPT, может сдавать тесты в средней школе и экзамены в юридические вузы с отличными оценками и обладает новыми возможностями обработки информации, которые были недоступны в предыдущей версии.

ChatGPT v4 сдал экзамены и может выявлять эксплойты в контрактах ETH

Цифры результатов тестирования GPT-4 были опубликованы 14 марта создателем OpenAI, показав, что он также может преобразовывать изображения, аудио и видео в текст, а также обрабатывать “гораздо более тонкие инструкции” более творчески и надежно.

“Он сдает имитированный экзамен на адвоката с результатом в 10% лучших сдающих экзамен”, – добавляет OpenAI. “В отличие от него, GPT-3.5 набрал около 10% худших”.

Данные показывают, что GPT-4 набрал 163 балла  ~88% на экзамене LSAT – тесте, который студенты колледжей должны сдать в для поступления в юридический колледж.

Результаты экзаменов GPT-4 и GPT-3.5 на ряде последних американских экзаменов. Источник: OpenAI

Результаты GPT4 дают хорошие шансы на поступление в 20 лучших юридических школ и лишь на несколько баллов отстают от заявленных баллов, необходимых для поступления в престижные школы, такие как Гарвард, Стэнфорд, Принстон или Йель.

Предыдущая версия ChatGPT набрала на LSAT всего 149 баллов, что ставило ее в нижние 40%.

GPT-4 также набрал 298 из 400 баллов на Едином экзамене по адвокатуре – тесте, который сдают недавно окончившие юридический факультет студенты, позволяющем им заниматься адвокатской практикой в любой юрисдикции США.

Баллы ЕГЭ необходимы для допуска к юридической практике в каждой юрисдикции США. Источник: Национальная конференция экзаменаторов адвокатов

Старая версия ChatGPT не справилась с этим тестом, попав в нижние 10% с результатом 213 баллов из 400.

Что касается экзаменов SAT Evidence-Based Reading & Writing и SAT Math, которые сдают американские старшеклассники для оценки своей готовности к поступлению в колледж, GPT-4 набрал 93 и 89 процентов соответственно.

GPT-4 преуспел и в “трудных” науках, показав результаты выше среднего уровня по биологии AP (85-100%), химии (71-88%) и физике 2 (66-84%).

Результаты экзаменов GPT-4 и GPT-3.5 на ряде последних экзаменов в США. Источник: OpenAI

Однако его результат по AP Calculus был довольно средним и находился в диапазоне от 43 до 59.

Еще одной областью, в которой GPT-4 не справился, были экзамены по английской литературе: по двум отдельным тестам он показал результаты от 8 до 44.

OpenAI заявила, что GPT-4 и GPT-3.5 взяли эти тесты из тренировочных экзаменов 2022-2023 годов, и что “никакой специальной подготовки” инструменты обработки языка не проходили:

“Мы не проводили никакой специальной подготовки для этих экзаменов. Меньшинство проблем на экзаменах были замечены моделью во время обучения, но мы считаем результаты репрезентативными”.

Результаты вызвали опасения и в сообществе Twitter.

Ник Алмонд, основатель FactoryDAO, 14 марта сообщил своим 14 300 подписчикам в Twitter, что GPT4 “напугает людей” и “обрушит” глобальную систему образования.

Бывший директор Конор Гроган сказал, что он вставил в GPT-4 смарт-контракт в реальном времени, и чат-бот мгновенно указал на несколько “уязвимостей безопасности” и описал, как код может быть использован:


Более ранние проверки смарт-контрактов на ChatGPT показали, что его первая версия также способна в достаточной степени обнаруживать ошибки в коде.

Роуэн Чунг, основатель информационного бюллетеня об искусственном интеллекте The Rundown, поделился видеозаписью того, как GPT переводит в код нарисованный от руки на листе бумаги поддельный веб-сайт.