Да, прямо и без экивоков. Языковая модель оценивает каждую из 2023 задач Савченко по 22 осям, от того, насколько задача требует «озарения», до того, насколько красиво устроено решение. Оценки помогают читателю выбрать, за что браться дальше. Они не заменяют и не проверяют сами решения.
Модель сначала выставляет каждой задаче число от 0 до 100 по оси overall_difficulty. Это ещё не то число, которое видно на странице задачи. Сначала оно превращается в процентиль относительно всех 2023 задач книги, то есть «эта задача труднее, чем N% остальных». Так шкала использует весь диапазон от 0 до 100, а не собирается там, где модель просто была щедрее на баллы.
Показанное же число, рейтинг от 800 до 3500, никогда не читается как «0» (что звучало бы как «вообще не сложно», а не «самая простая в книге»). Само распределение этого рейтинга не растянуто линейно, иначе получилась бы неестественно ровная гистограмма, ведь процентиль по построению равномерен. Оно намеренно смещено так, чтобы выглядеть как настоящая шкала сложности, с большим скоплением лёгких задач внизу, широким плато в середине и длинным редеющим хвостом наверху.
На странице задачи показаны 9 из них. Панель шириной около 280 пикселей не выдержит больше и остаться читаемой. Вот все 22, с пояснением, что каждая на самом деле измеряет.
| Сложность | Итоговое число. Общая сложность для эталонного решающего, описанного ниже. |
| Идеяна странице | Размер «озарения». Низкое значение означает, что задача решается стандартными приёмами. Высокое означает, что ничего не выйдет, пока не увидишь единственную нужную идею. |
| Математикана странице | Насколько сложный математический аппарат нужен, например интегрирование, дифференциальные уравнения, ряды или векторный анализ. |
| Глубина физики | Сколько физики сверх школьной программы нужно знать заранее, ещё до решения. |
| Вычисленияна странице | Объём вычислений после того, как идея уже найдена. Не зависит от того, насколько сложно было её найти. |
| Подводные камнина странице | Насколько легко сделать шаг, который выглядит правдоподобно, но на самом деле неверен. |
| Спец. знанияна странице | Приёмы, выходящие за рамки любой школьной программы, ощутимая, но отдельная от общей глубины физики трудность. |
| Выбор модели | Умение выбрать физическую модель и решить, чем можно пренебречь. |
| Оценка порядка | Насколько задача требует оценки по порядку величины, а не точного ответа. |
| Разбор случаев | Сколько отдельных случаев или режимов нужно перебрать и разобрать по отдельности. |
| Разрыв простоты | Насколько реальная сложность превышает ту, что кажется по условию. Безобидная на вид фраза может скрывать трудную задачу. |
| Самодостаточность | Можно ли решить только из условия и общих рассуждений, ничего не ища дополнительно? Высокое значение означает да. |
| Скрытые данные | Требует ли решение числа или факта, которого нет в условии? Высокое значение указывает на недостаток задачи. |
| Непрозрачность ответа | Помог бы готовый ответ найти путь к решению? Высокое значение означает нет, сам по себе ответ ничего не подсказывает. |
| Корректность постановки | Корректно ли поставлена задача, с непротиворечивой идеализацией, достаточными данными и однозначным ответом? Низкое значение указывает на изъян в самой задаче, а не в решающем. |
| Красота решенияна странице | Красота пути, которым идёт решение, короткая дорога в обход громоздкого интеграла, а не сам ответ. |
| Изобретательность | Насколько изобретательным нужно быть решающему, в отличие от простой натренированности. |
| Любопытствона странице | Вызывает ли сама постановка задачи желание узнать ответ? |
| Удовольствиена странице | Удовлетворение от того, что задача наконец поддалась. |
| Новизнана странице | Противоположность шаблонности. Высокое значение означает, что такого рода задача ещё не встречалась. |
| Общность результата | Выходит ли результат за рамки того, что было прямо спрошено? |
| Обучающая ценность | Учит ли решение переносимой идее, которая пригодится снова? |
Пять осей «формы задачи» и ещё несколько из «Чего стоит» и «Что даёт» на странице решения не показаны. Они здесь и в панели фильтров для тех, кому интересно глубже.
Да. Прямо сейчас ровно 50 задач набирают максимум, 3500, потому что несколько эффектов складываются на самом верху шкалы. Сырые оценки модели совпадают у нескольких задач сразу, а деление на рейтинговые «сотни» ещё и объединяет соседние процентили в одну ступень. Вот они.
У Савченко в книге отмечены звёздочкой 565 из 2023 задач, «труднее своих соседей по разделу». Это единственная независимая точка отсчёта, которая есть у проекта, и модели она никогда не показывается, иначе оценка просто повторяла бы звёздочку. Проверка в том, ставит ли модель отмеченные задачи выше неотмеченных внутри того же раздела чаще случайного.
0,714 не идеально, но заметно выше 0,584, того уровня, который даёт одна лишь длина опубликованного решения. Модель угадывает не потому, что решения подлиннее у отмеченных задач.
Это суждение модели, а не человека. Значок «i» рядом со сложностью на странице каждой задачи ведёт сюда. Она пока не сверена с тем, сколько реального времени решение занимает у живых читателей. С этого и начинается оценка читателей прямо под панелью ИИ. Звёздочка Савченко относительная метка внутри раздела, «труднее своих соседей», а не абсолютная шкала. Раздел 14 по природе своей труднее раздела 1, и это никогда не сравнивается напрямую.