Проиграли 0:5, а рейтинг вырос на балл

Разбор одного пересчёта: почему счёт не входит в силу команды и что на самом деле сдвинуло СУ-111 после 1-го тура

Виталий МихейкинOVR 73Нападающий · ХК Акулы · Титан · №88

В 1-м туре СУ-111 проиграли «Урфинам» 0:5. После пересчёта рейтинг команды вырос с 78,5 до 79,5, а место среди 136 команд лиги сменилось с 18-го на 17-е. Первая мысль понятна: модель сломалась. Я разобрал этот пересчёт по частям, и поломки там нет. Есть правило, по которому модель решает, кто из заявки входит в силу команды.

СУ-111 играют в «Титане», в одном дивизионе с «Акулами», за которых играю я. Так что повода подкручивать им рейтинг у меня нет, интерес скорее обратный.

Счёт в рейтинг не входит

В прежней версии модели рейтинг команды складывался из Elo и силы состава, и поражение 0:5 его бы опустило. В методике 2.1 Elo убран. Сила команды считается только по составу: по оценкам полевых и вратарей, которых модель берёт в силу. На странице команды это подписано прямо: прошлые результаты в силу не входят.

До рейтинга матч может добраться только окольным путём, через статистику игроков: голы, передачи, броски. После 0:5 двигать вверх у СУ-111 было нечего, и оценки самих игроков после округления не изменились. А рейтинг команды вырос.

Кого модель берёт в силу

Модель собирает силу из 12 нападающих, 8 защитников и 3 вратарей с лучшими оценками. Всю заявку брать нельзя: в любительских командах в ней бывает 30–40 человек, и сила мерила бы длину списка. Поэтому есть второе условие. Игрок должен сыграть не меньше 35 % матчей команды, а кто ниже порога, в силу не попадает при любой оценке. Дальше модель берёт средний рейтинг прошедших отбор.

У СУ-111 защитников выше порога пока пятеро, поэтому в силе сейчас 17 полевых: 12 нападающих и 5 защитников.

Что произошло после 1-го тура

Фатхутдинов (оценка 76) и Сергей Чехутский (74) до тура стояли чуть ниже порога: матчей в отборе у них было мало. Оба сыграли с «Урфинами», их доля поднялась до 37 %, и оба вошли в силу. Мест для нападающих в силе по-прежнему 12, поэтому двое с самыми низкими оценками из неё вышли: Краснов (67) и Крылов (66). Из команды они никуда не делись, просто по оценке оказались 13-м и 14-м.

Дальше арифметика. Полевых в силе 17, их суммарная оценка выросла на 17, значит, средняя выросла примерно на балл. По шкале модели 9 баллов составляют одно стандартное отклонение силы команд, около 2,04 шайбы, то есть 1 балл весит примерно 0,23 шайбы за матч. Фактически сила СУ-111 выросла на 0,21 шайбы. Расчёт на салфетке и пересчёт модели расходятся на две сотых.

Больше всего сдвинулось спорт прошлое: у вошедших оно 82 и 75, у вышедших 61. В силе команды у этой части вес 17 %, один из самых больших, поэтому смена двух человек сильнее всего видна именно здесь.

Много ли это, один балл? Чтобы шанс на победу в отдельном матче дорос до 65 %, нужна разница в 4,4 балла. Один балл составляет примерно четверть такого перевеса: заметно в таблице, почти незаметно на льду.

Это не только у СУ-111

По всей лиге после 1-го тура связь между счётом матча и изменением рейтинга слабая: корреляция 0,14. Из 59 проигравших команд у 31 рейтинг вырос.

Механика у всех одна. В начале сезона матчей в отборе у многих игроков мало, и один тур заметно сдвигает доли. Кто-то переходит порог в 35 %, кто-то опускается под него, и состав силы меняется сразу у многих команд. Но почему у стольких команд он меняется именно в плюс, у меня есть своё объяснение, и оно уже не про модель, а про сам отбор.

Перед сезоном команды заявляют состав на предсезонный турнир, и по нему лига судит о силе команд и игроков. По моим наблюдениям, выиграть этот турнир стараются далеко не все: чем скромнее результат в отборе, тем ниже оценка, с которой команда входит в сезон. Делается это нарочно или так просто складывается, со стороны не определить. Итог один: в отборе многие команды играют в более слабый хоккей, чем умеют.

Это путает и лигу, и мою модель. Лиге по отбору сложнее судить о силе команд и отдельных игроков. Модель берёт из отбора доли матчей, по которым решает, кто входит в силу, и статистику игроков на старте сезона. Если сильные игроки отбор пропускали, сила команды до 1-го тура получается заниженной.

Случай СУ-111 в эту картину ложится. Фатхутдинов и Чехутский, у которых спорт прошлое 82 и 75, сыграли в отборе мало, а в первом же матче регулярки вышли на лёд. Почему так вышло, я не знаю и гадать не буду. Для модели это неважно.

Я читаю это так. Рост рейтинга после поражения не награда за проигрыш. Команда по ходу сезона показывает, что её стартовый уровень был немного занижен, а модель эту оценку поправляет. В начале сезона это нормальная история. К середине доли устоятся, и таких скачков станет меньше. Это пока интерпретация, сверка ниже.

Где модель может ошибаться

Первое место, которое меня беспокоит: этот пересчёт нельзя проверить по записи. Модель хранит оценки игроков на каждый тур, но не хранит, кто был в силе. Пару «Фатхутдинов и Чехутский вошли, Краснов и Крылов вышли» я восстановил по долям матчей и оценкам. Она объясняет весь сдвиг, но остаётся реконструкцией. Чтобы это исправить, модель должна сохранять список силы в слепке каждого тура. Тогда на странице команды можно будет прямо показать, кто вошёл в силу и кто выпал.

Второе место: порог жёсткий. Игрок с 34 % матчей в силе не весит ничего, с 37 % весит полностью. Отсюда ступенька в целый балл после одного вечера. Плавный вес по доле сыгранных матчей убрал бы такие ступеньки, но тогда в силу частично попадали бы те, кто выходит на лёд раз в месяц. Какой вариант точнее, пока не решил.

Поправку на форму, то есть на результаты последних матчей, я в модель сознательно не вкладывал. Рейтинг описывает состав, а не серию. Если бы СУ-111 после 0:5 упали, это говорило бы о счёте. Рост на балл говорит о том, кто теперь регулярно выходит на лёд. Болельщик из модели в этом смысле плохой: счёт её не трогает совсем.