Бенчмарк ARC-AGI-3 и главный вопрос: решённый тест означает AGI?
ARC-AGI-3 создан для проверки того, умеют ли ИИ-агенты исследовать незнакомую среду, понимать правила на лету, планировать действия и адаптироваться к новым условиям.
В отличие от обычного теста с фиксированными вопросами, ARC-AGI-3 предлагает сложные интерактивные задачи в формате игр. Их цель — проверить не только правильность ответа, но и способность системы обучаться в процессе.
Ряд проектов уже заявляет о результате 100% в этом бенчмарке. Однако вопрос о том, достаточно ли решения одного теста для вывода об AGI, остаётся открытым: у каждого бенчмарка своя цель и область проверки.
Для сравнения ИИ-агентов ARC-AGI-3 важен как отдельный сигнал о способности системы работать с незнакомыми правилами и менять стратегию по ходу задачи.
Для вайбкодера это повод смотреть не только на заявления о сильной модели или результат в одном тесте. При выборе ИИ-агента полезно отдельно проверять, как он осваивает новые правила, планирует несколько шагов и адаптируется, если первый подход не сработал.
Черновик этой заметки подготовила нейросеть по ленте первоисточника. Мы помечаем такие материалы честно — факты и цифры сверяйте по ссылке на источник выше. Как мы работаем с данными.