Система отслеживания точности модели
См. также: Профессиональные игроки, Карты, Звания, Инструменты, Руководства, Оружие, Скины, Кейсы, Наклейки.
Прозрачный мониторинг эффективности нашей модели прогнозирования. Мы задним числом оцениваем результаты недавних матчей и проверяем, выиграла ли команда-фаворит. Никакого «выбора лучших примеров» — учитываются все матчи, по которым есть достаточно данных.
Как CSDB отслеживает точность моделей прогнозирования
В большинстве моделей прогнозирования их эффективность остаётся неясной. CSDB использует противоположный подход: каждый матч, по которому у модели есть достаточно данных, фиксируется в журнале, а фактический результат записывается после завершения матча. Приведённые ниже основные показатели рассчитаны на основе полного журнала матчей, а не на основе тщательно отобранной выборки.
Что означают эти показатели
- Общая точность — процент матчей, в которых победил фаворит по версии модели. Точность 60% и выше в сериях из трёх матчей (BO3) в КС2 — это значительный показатель, учитывая, насколько непредсказуемая эта игра.
- Текущая серия — последовательность правильных (положительных) или неправильных (отрицательных) прогнозов, что помогает выявить «горячие» или «холодные» периоды.
- Калибровка — когда модель говорит «уровень достоверности 70%», значит ли это, что фаворит действительно выигрывает примерно в 70% случаев? Калибровка позволяет определить, насколько достоверны оценки уверенности модели.
- Очки по шкале Брайера — вероятностный показатель точности (чем ниже, тем лучше), который поощряет модель за уверенность, когда она права, и за скромность, когда она ошибается.
Что мы включаем, а что нет
- ✅ Все матчи в формате BO1, BO3 и BO5, сыгранные командами, участвующими в рейтинге HLTV
- ✅ И сенсационные победы, и ожидаемые результаты
- ❌ Матчи, в которых у модели не было достаточно данных ни по одной из команд (как правило, новички из третьего дивизиона)
- ❌ Сдача и техническая победа (без фактического проведения матча)
Почему прозрачность так важна
Любая модель может выглядеть хорошо на тщательно подобранных матчах. Публикуя полную историю результатов, CSDB позволяет тебе самому решить, реально ли преимущество этой модели. Если ты используешь страница «Лучшие предложения» или инструмент прогнозирования для конкретных решений, на этой странице ты проверяешь, стоит ли им доверять.