Да, прямо и без экивоков: языковая модель оценивает каждую из 2023 задач Савченко по 22 осям — от того, насколько задача требует «озарения», до того, насколько красиво устроено решение. Оценки помогают читателю выбрать, за что браться дальше, — они не заменяют и не проверяют сами решения.
Модель сначала выставляет каждой задаче число 0–100 по оси overall_difficulty. Это ещё не то число, которое видно на странице задачи, — сначала оно превращается в процентиль относительно всех 2023 задач книги: «эта задача труднее, чем N% остальных». Так шкала использует весь диапазон 0–100, а не собирается там, где модель просто была щедрее на баллы.
Показанное же число — рейтинг от 800 до 3500: ничего никогда не читается как «0» (что звучало бы как «вообще не сложно», а не «самая простая в книге»). Само распределение этого рейтинга не растянуто линейно — иначе получилась бы неестественно ровная гистограмма, ведь процентиль по построению равномерен, — а намеренно смещено так, чтобы выглядеть как настоящая шкала сложности: большое скопление лёгких задач внизу, широкое плато в середине, длинный редеющий хвост наверху.
На странице задачи показаны 9 из них — панель шириной около 280 пикселей не выдержит больше и остаться читаемой. Вот все 22, с пояснением, что каждая на самом деле измеряет.
| Сложность | Итоговое число: общая сложность для эталонного решающего, описанного ниже. |
| Идеяна странице | Размер «озарения». Низкое значение — решается стандартными приёмами. Высокое — ничего не выйдет, пока не увидишь единственную нужную идею. |
| Математикана странице | Насколько сложный математический аппарат нужен — интегрирование, дифференциальные уравнения, ряды, векторный анализ. |
| Глубина физики | Сколько физики сверх школьной программы нужно знать заранее, ещё до решения. |
| Вычисленияна странице | Объём вычислений после того, как идея уже найдена. Не зависит от того, насколько сложно было её найти. |
| Подводные камнина странице | Насколько легко сделать шаг, который выглядит правдоподобно, но на самом деле неверен. |
| Спец. знанияна странице | Приёмы, выходящие за рамки любой школьной программы — ощутимая, но отдельная от общей глубины физики трудность. |
| Выбор модели | Умение выбрать физическую модель и решить, чем можно пренебречь. |
| Оценка порядка | Насколько задача требует оценки по порядку величины, а не точного ответа. |
| Разбор случаев | Сколько отдельных случаев или режимов нужно перебрать и разобрать по отдельности. |
| Разрыв простоты | Насколько реальная сложность превышает ту, что кажется по условию — безобидная на вид фраза может скрывать трудную задачу. |
| Самодостаточность | Можно ли решить только из условия и общих рассуждений, ничего не ища дополнительно? Высокое значение — да. |
| Скрытые данные | Требует ли решение числа или факта, которого нет в условии? Высокое значение — это недостаток задачи. |
| Непрозрачность ответа | Помог бы готовый ответ найти путь к решению? Высокое значение — нет, сам по себе ответ ничего не подсказывает. |
| Корректность постановки | Корректно ли поставлена задача — непротиворечивая идеализация, достаточно данных, однозначный ответ? Низкое значение указывает на изъян в самой задаче, а не в решающем. |
| Красота решенияна странице | Красота пути, которым идёт решение — короткая дорога в обход громоздкого интеграла, а не сам ответ. |
| Изобретательность | Насколько изобретательным нужно быть решающему, в отличие от простой натренированности. |
| Любопытствона странице | Вызывает ли сама постановка задачи желание узнать ответ? |
| Удовольствиена странице | Удовлетворение от того, что задача наконец поддалась. |
| Новизнана странице | Противоположность шаблонности. Высокое значение — такого рода задача ещё не встречалась. |
| Общность результата | Выходит ли результат за рамки того, что было прямо спрошено? |
| Обучающая ценность | Учит ли решение переносимой идее, которая пригодится снова? |
Пять осей «формы задачи» и ещё несколько из «Чего стоит» / «Что даёт» на странице решения не показаны — они здесь и в панели фильтров для тех, кому интересно глубже.
Да. Прямо сейчас ровно 50 задач набирают максимум — 3500 — потому что несколько эффектов складываются на самом верху шкалы: сырые оценки модели совпадают у нескольких задач сразу, а деление на рейтинговые «сотни» ещё и объединяет соседние процентили в одну ступень. Вот они:
У Савченко в книге отмечены звёздочкой 565 из 2023 задач — «труднее своих соседей по разделу». Это единственная независимая точка отсчёта, которая есть у проекта, и модели она никогда не показывается: иначе оценка просто повторяла бы звёздочку. Проверка — сравнить, ставит ли модель отмеченные задачи выше неотмеченных внутри того же раздела, где это верно чаще случайного.
0,714 — не идеально, но заметно выше 0,584, того уровня, который даёт одна лишь длина опубликованного решения. Модель угадывает не потому, что решения подлиннее у отмеченных задач.
Это суждение модели, а не человека — см. панель на странице каждой задачи. Она пока не сверена с тем, сколько реального времени решение занимает у живых читателей; с этого и начинается оценка читателей прямо под панелью ИИ. Звёздочка Савченко — относительная метка внутри раздела, «труднее своих соседей», а не абсолютная шкала: раздел 14 по природе своей труднее раздела 1, и это никогда не сравнивается напрямую.