Как рассчитывается оценка драфта
Оценка и показанный после драфта шанс на победу получены из небольшой статистической модели. На этой странице перечислено, что в неё входит, как она проверялась на реальных ранговых матчах и где имеет ограничения.
Что означает оценка
После завершения драфта DotaPicks оценивает вероятность победы каждой стороны и показывает результат как шанс на победу, например 54.2%. Буква показывает, как этот результат соотносится с реальными рейтинговыми драфтами.
Число, например +4.2%, рядом с предложением героя — это изменение шанса на победу при добавлении этого героя. Для бана это изменение шанса соперника на победу, если бы у него не было этого героя.
Это статистическая оценка, а не прогноз. Она описывает, как в среднем ведут себя похожие драфты, и не учитывает умения отдельных игроков.
Что входит в число
Шанс на победу объединяет три входных значения, каждое измеряется в процентных пунктах с точки зрения вашей стороны и взвешивается, как показано ниже. Взвешенная сумма преобразуется в вероятность логистической кривой и уменьшается, пока выбрано меньше десяти героев.
| Вход | Вес |
|---|---|
| Контрпреимущество Среднее преимущество в матчапах героев своей команды против их героев | 0,060 |
| Разница синергии Синергия вашей команды минус синергия противника | 0,050 |
| Разница в винрейте героя Средний винрейт ваших героев минус их | 0,080 |
Как проводилась калибровка
Модель проверялась на 341 947 рейтинговых матчах All Draft, сыгранных после снимка данных героев 2 окт. 2026 г.. Точность измерена на 102 585 самых новых матчах, на которых модель не обучалась.
| Показатель | Значение |
|---|---|
| Матчи (обучение и отложенная выборка) | 239 362 + 102 585 |
| Окно матчей | 2 окт. 2026 г. – 3 окт. 2026 г. |
| Снимок данных по героям | 2 окт. 2026 г. |
| AUC | 0,589 |
| Log-loss | 0,6809 (если всегда предполагать 50%: 0,6931) |
| Ошибка калибровки (ECE) | 0,031 |
Матчи разделены по времени, а все показатели выше измерены на 102 585 более новых. Учтены только матчи, начавшиеся как минимум через 12 часов после снимка, чтобы снимок не мог уже содержать их результаты. Используемые веса заданы вручную, а не подобраны на этих матчах. Переобучение на 239 362 более старых матчах сравнили с ними и не приняли.
Переобучение весов на более старых матчах даёт AUC 0,595 против 0,589 у текущих весов и log-loss 0,6793 против 0,6809. Бутстрэп оценивает прирост AUC в интервале от 0,0051 до 0,0065.
При переобучении весь вес приходится на контрпреимущество, а два других входа веса не получают.
Переобучение принимается, только если его log-loss не хуже, AUC не ниже более чем на 0.001, а ошибка калибровки не хуже. Переобучение не прошло все три проверки, поэтому остаются веса, указанные выше.
Калибровочная кривая
Каждая точка объединяет матчи из отложенной выборки по предсказанному шансу Radiant на победу. Высота показывает, как часто Radiant действительно выигрывал. Идеально откалиброванная модель лежит на диагонали. Группы с очень малым числом матчей шумные.
Показать числа
| Предсказанный диапазон | Среднее предсказанное | Наблюдаемое | Матчи |
|---|---|---|---|
| 10–20% | 19,8% | 0,0% | 1 |
| 20–30% | 28,0% | 34,3% | 423 |
| 30–40% | 36,8% | 39,8% | 10 419 |
| 40–50% | 45,6% | 48,6% | 40 768 |
| 50–60% | 54,4% | 57,4% | 40 414 |
| 60–70% | 63,2% | 66,2% | 10 087 |
| 70–80% | 72,0% | 80,9% | 471 |
| 80–90% | 80,1% | 100,0% | 2 |
Буквенная шкала
Оценка сравнивает предсказанное преимущество, то есть шанс на победу минус 50 пунктов, с преимуществами реальных рейтинговых драфтов из отложенной выборки.
| Оценка | Превосходит такую долю реальных рейтинговых драфтов | Минимальный отрыв в очках |
|---|---|---|
| A+ | 97% | +14,7 |
| A | 92% | +11,1 |
| A− | 85% | +8,2 |
| B+ | 75% | +5,4 |
| B | 62% | +2,4 |
| B− | 50% | −0,0 |
| C+ | 38% | −2,5 |
| C | 25% | −5,4 |
| C− | 15% | −8,3 |
| D | 5% | −13,0 |
| F | Остальное | |
Оценка A означает прогнозируемое преимущество большее, чем у 92% реальных рейтинговых драфтов.
Как измеряются ошибки
Стоимость хода — насколько вырос бы шанс на победу в финальном 5v5, если бы на этом ходу был сделан лучший выбор, а всё остальное осталось прежним.
Лучший вариант — первый герой из предложений на этом ходу, который мог занять открытую позицию и при этом либо является выбранным героем, либо отсутствует в обоих итоговых составах. Поэтому следование первому предложению никогда ничего не стоит.
- Стоимость пика: шанс на победу итогового состава с заменой выбранного героя на лучший вариант минус шанс на победу при фактическом драфте, не ниже нуля.
- Стоимость бана: для забаненного героя и для лучшего варианта находится наибольший прирост шанса на победу, который финальный состав соперника мог бы получить, заменив одного из своих героев на этого героя. Стоимость — насколько прирост у лучшего варианта больше, не ниже нуля. Это измеряет то, что соперник мог бы получить, а не то, что он бы выбрал.
В список ошибок попадают только ходы стоимостью не менее 0.5 процентного пункта. Стоимость измеряется на итоговых составах, чтобы каждое сравнение было полноценным 5v5 в пределах диапазона, на котором калибровалась модель; герои, уже присутствующие в любом из итоговых составов, никогда не считаются лучшим вариантом.
Ограничения
- Модель калибровалась на рейтинговых матчах All Draft, а не на Captains Mode, поэтому оценка драфта в стиле Captains Mode является экстраполяцией.
- AUC 0,589 — это небольшое преимущество над 0.500 у подбрасывания монетки. Драфт — лишь одна часть матча, и модель ничего не говорит о том, как этот матч будет сыгран.
- Шансы на победу показываются в диапазоне от 32,1% до 67,8%, на котором откалибрована модель. Значение вне диапазона ограничивается и помечается.
- Окно калибровки короткое, поэтому веса стоит перенастраивать по мере изменения игры и патчей.
- Ссылка на общий драфт содержит пики прямо в себе и не является защищённой от правок. Любой может её изменить, поэтому полученная оценка не доказывает, как был сыгран драфт.
- Победа над Easy-ботом, который случайно выбирает из 15 лучших своих предложений, завышает оценку. Оценка не учитывает уровень бота.