diff --git a/backend/app/services/scoring.py b/backend/app/services/scoring.py index f6c23f5..f347f5b 100644 --- a/backend/app/services/scoring.py +++ b/backend/app/services/scoring.py @@ -7,9 +7,10 @@ E_ab = 1 / (1 + 10^((R_b − R_a) / D)) ожидание по рейтингам ДО партии S_ab = 1 / 0.5 / 0 выше / поровну / ниже ΔR_i = K_i · G(N) / (N − 1) · Σ_j M_ij · (S_ij − E_ij) -K_i спускается от K_MAX у новичка до K_MIN за K_GAMES партий, G(N) — вес размера стола, -M — множитель отрыва (темп, цели, миры; близость по типу победы — только у пар -с победителем). Недостающий признак партии подставляется типичным и не влияет на M. +Пары двух выбывших в сумму не входят (#91), остальные — все. K_i спускается от K_MAX +у новичка до K_MIN за K_GAMES партий, G(N) — вес размера стола, M — множитель отрыва +(темп, цели, миры; близость по типу победы — только у пар с победителем). Недостающий +признак партии подставляется типичным и не влияет на M. Модуль — только константы и чистые функции без БД: калибровка на реальных данных — правка констант, пересчёт выполняется сам (рейтинг — функция упорядоченной истории). @@ -168,6 +169,10 @@ def rate_match( r = {s.user_id: ratings.get(s.user_id, R0) for s in m.seats} k = {s.user_id: k_factor(games.get(s.user_id, 0)) for s in m.seats} for a, b in combinations(m.seats, 2): + if a.eliminated and b.eliminated: + # Выбывшие между собой не сравниваются: в этой партии все они проиграли, а миров + # у них нет (решение владельца, #91). Нормировка на N − 1 остаётся прежней. + continue if a.place > b.place: a, b = b, a s_ab = 0.5 if a.place == b.place else 1.0 diff --git a/backend/tests/test_rating_examples.py b/backend/tests/test_rating_examples.py index 38e286f..3885dd3 100644 --- a/backend/tests/test_rating_examples.py +++ b/backend/tests/test_rating_examples.py @@ -68,7 +68,7 @@ EXAMPLES = [ _seat(C, 3, 1, 0, eliminated=True), _seat(D, 3, 0, 0, eliminated=True)), "objectives", end_round=7, ), - {A: 9.27, B: 5.85, C: -7.78, D: -7.35}), + {A: 9.27, B: 5.85, C: -7.6, D: -7.53}), ("6a", dict.fromkeys(range(A, F + 1), 1500), _vets(*range(A, F + 1)), RatedMatch(SIX, "objectives", end_round=8, nine_rounds_rule=True), {A: 12.0, B: 7.2, C: 2.4, D: -2.4, E: -7.2, F: -12.0}), @@ -101,6 +101,23 @@ def test_last_standing_counts_full_objective_gap(): assert standing - ordinary == pytest.approx(16 * 0.5 * 0.5) +def test_eliminated_are_not_compared_with_each_other(): + """Выбывшие между собой не сравниваются (#91): слабый выбывший среди сильных не + получает рейтинг, а рейтинги прочих выбывших на его изменение не влияют.""" + six = range(A, F + 1) + seats = (_seat(A, 1),) + tuple(_seat(u, 2, eliminated=True) for u in six if u != A) + match = RatedMatch(seats, "last_standing") + strong = {**dict.fromkeys(six, 1800), F: 1200} + delta = rate_match(strong, _vets(*six), match)[0] + assert delta[F] < 0 + # Сильные выбывшие → слабые: у F и у победителя ничего не меняется от этого. + weak = {**dict.fromkeys(six, 1200), A: 1800} + again = rate_match(weak, _vets(*six), match)[0] + assert again[F] == pytest.approx(delta[F]) + # Победителю сила соперников по-прежнему важна: против слабых он получает меньше. + assert again[A] < delta[A] + + # ─── Сверка с эталоном ─────────────────────────────────────────────────────── SIMULATE = Path(__file__).resolve().parents[2] / "docs" / "rating" / "simulate.py" @@ -147,6 +164,7 @@ def test_constants_match_reference(sim): assert dict(p.closeness) == scoring.CLOSENESS assert sim.BOARD_TILES == scoring.BOARD_TILES assert not p.autocorr + assert p.skip_eliminated_pairs # выбывшие между собой не сравниваются (#91) @pytest.mark.parametrize("scenario", ["сигнал", "клубы", "рост"]) @@ -174,8 +192,8 @@ def test_replay_matches_reference_season(sim, scenario, stripped): def test_monotone_and_zero_sum(sim): - """Победитель без ничьей не теряет, последний без ничьей не получает; при равных K - сумма изменений за партию — ноль.""" + """Победитель без ничьей не теряет, последний без ничьей и любой выбывший не получают; + при равных K сумма изменений за партию — ноль.""" cfg = sim.SCENARIOS["сигнал"] _skill, matches = sim.generate_season(cfg["seed"] + 7, 200, True) ids: dict[str, int] = {} @@ -188,6 +206,8 @@ def test_monotone_and_zero_sum(sim): delta, _ = rate_match({}, veterans, rm) places = [s.place for s in rm.seats] for s in rm.seats: + if s.eliminated: + assert delta[s.user_id] < 0 if places.count(s.place) > 1: continue if s.place == 1: diff --git a/docs/rating/rating-system.md b/docs/rating/rating-system.md index 518607a..c1a738c 100644 --- a/docs/rating/rating-system.md +++ b/docs/rating/rating-system.md @@ -26,9 +26,11 @@ влияет, но слабее темпа. - **Шкала — классический Elo.** Старт 1500, разница 400 пунктов — шансы 10:1. Пример из задачи «60 против 40» в ней — 1600 против 1400. -- **Монотонность.** Единоличный победитель никогда не теряет рейтинг, единоличное - последнее место никогда его не приносит. При общем месте — ничьей за 1-е или нескольких - выбывших — пара внутри ничьей может сдвинуть рейтинг в любую сторону (4.9). +- **Выбывшие между собой не сравниваются.** Все они проиграли, а миров у них нет: пара двух + выбывших в расчёт не входит. Сила соперников при этом важна, как и прежде (4.4). +- **Монотонность.** Единоличный победитель и выбывшие всегда движутся в свою сторону: первый + не теряет рейтинг, вторые его не получают. Внутри ничьей невыбывших — за 1-е или + последнее место — пара может сдвинуть рейтинг в любую сторону (4.9). - **Старая история.** Пересчитывается по тем же формулам: у партий без новых полей признаки берутся нейтральными. @@ -160,7 +162,8 @@ E_{ab} = \frac{1}{1 + 10^{(R_b - R_a)/D}} ### 4.3. Фактический результат пары `S_ab = 1`, если `a` занял место выше `b`; `0.5`, если места равны; `0` — если ниже. -Выбывшие делят последнее место, как и сейчас (`match_service._resolve_finish_places`). +Выбывшие делят последнее место, как и сейчас (`match_service._resolve_finish_places`), +но между собой не сравниваются (4.4). ### 4.4. Изменение рейтинга @@ -171,6 +174,14 @@ E_{ab} = \frac{1}{1 + 10^{(R_b - R_a)/D}} Все рейтинги в формуле — **до** партии. Деление на `N − 1` приводит сумму по соперникам к «средней дуэли», размер стола затем добавляется явно через `G(N)`. +**Выбывшие между собой не сравниваются** (решение владельца, #91): если `i` и `j` оба +выбыли, их пара в сумму не входит — ни `S − E`, ни множитель отрыва. В этой партии они +все проиграли, то есть оказались одинаково слабы, а миров у выбывших нет. Пары выбывшего +с невыбывшими, в том числе с победителем, считаются как обычно: сила соперников важна. +Нормировка на `N − 1` не меняется, поэтому при равных рейтингах результат прежний — такая +пара и раньше давала `S − E = 0`. Уходит только перекос, при котором слабый выбывший +получал рейтинг за счёт сильных выбывших. + ### 4.5. Коэффициент K — скорость изменения ```math @@ -237,7 +248,10 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} ### 4.9. Свойства - **Монотонность.** 1-е место без ничьей даёт `S − E > 0` во всех парах, а `M > 0` — значит, - рейтинг растёт. Последнее место без ничьей всегда уменьшает рейтинг. + рейтинг растёт. Последнее место без ничьей всегда уменьшает рейтинг. Выбывший — тоже: + его пары с выбывшими не считаются, а каждому невыбывшему он проиграл. Внутри ничьей + невыбывших `S = 0.5`, и знак `S − E` зависит от рейтингов: сильный игрок, поделивший + 1-е место со слабым, может потерять. - **Сумма-ноль.** `M_ab = M_ba`, поэтому при равных K сумма изменений за партию равна нулю и рейтинг не раздувается. Когда K разные (новичок и ветеран), сумма не нулевая — это сделано намеренно (пример 7). В симуляции среднее по лиге за 300 партий сдвигается @@ -353,16 +367,16 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} | A–D | 1 | 0.640 | 1 | 1 | 1 + 0.25 + 0.25 = **1.500** | 0.540 | | B–C | 1 | 0.529 | 2/4 | 1 | 1 + 0 + 0.25 = **1.250** | 0.589 | | B–D | 1 | 0.571 | 3/4 | 1 | **1.375** | 0.589 | -| C–D | 0.5 | 0.543 | 1/4 (по модулю) | 0 | 1 − 0.125 − 0.25 = **0.625** | −0.027 | +| C–D | — | — | — | — | оба выбыли — пара не считается (4.4) | 0 | - `ΔR_A = 6.67 · (0.300 + 0.551 + 0.540)` = **+9.27** - `ΔR_B = 6.67 · (−0.300 + 0.589 + 0.589)` = **+5.85** -- `ΔR_C = 6.67 · (−0.551 − 0.589 − 0.027)` = **−7.78** -- `ΔR_D = 6.67 · (−0.540 − 0.589 + 0.027)` = **−7.35** +- `ΔR_C = 6.67 · (−0.551 − 0.589)` = **−7.60** +- `ΔR_D = 6.67 · (−0.540 − 0.589)` = **−7.53** Итого: A и B близки друг к другу по целям и мирам, поэтому эта пара весит 0.7. Отрыв обоих -от выбывших огромный — эти пары весят 1.25–1.5. C и D поделили место, но C сильнее по -рейтингу, поэтому немного уступает D. +от выбывших огромный — эти пары весят 1.25–1.5. C и D между собой не сравниваются: оба +проиграли всем невыбывшим. C теряет чуть больше, потому что от более сильного ждали большего. ### Пример 6. Стол на 6 и хоумрул 9 раундов @@ -436,7 +450,9 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} ### 7.3. Результаты: 200 сезонов на сценарий «Без новых полей» — предложенная система на той же истории, но без раунда, целей и миров: -так будет считаться история, накопленная до #23. +так будет считаться история, накопленная до #23. Строки предложенной системы пересчитаны +с правилом «выбывшие между собой не сравниваются» (#91). Оно сдвинуло метрики лишь +в третьем знаке, у остальных систем цифры прежние. **Сигнал** (потолок точности 0.6843) @@ -444,8 +460,8 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} |---|---|---|---|---|---|---|---|---|---| | League Points (сейчас) | 0.6683 | — | 0.913 | 0.660 | 0.769 | 0.854 | — | — | 6.91 | | Elo, чистый | 0.6691 | 0.2089 | 0.911 | 0.656 | 0.770 | 0.852 | 47.4 | 0.81 | 5.24 | -| **Предложенная** | **0.6721** | **0.2077** | **0.929** | **0.711** | **0.807** | **0.881** | **41.9** | **0.95** | 5.95 | -| Предложенная, без новых полей | 0.6701 | 0.2085 | 0.916 | 0.677 | 0.782 | 0.864 | 47.4 | 0.79 | 5.90 | +| **Предложенная** | **0.6721** | **0.2077** | **0.929** | **0.712** | **0.807** | **0.881** | **41.9** | **0.95** | 5.95 | +| Предложенная, без новых полей | 0.6701 | 0.2085 | 0.916 | 0.677 | 0.783 | 0.864 | 47.2 | 0.79 | 5.90 | **Клубы** (потолок 0.6308) @@ -453,8 +469,8 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} |---|---|---|---|---|---|---|---|---|---| | League Points (сейчас) | 0.6045 | — | 0.525 | 0.303 | 0.391 | 0.463 | — | — | 8.06 | | Elo, чистый | 0.6063 | 0.2341 | 0.632 | 0.326 | 0.440 | 0.535 | 102.6 | 0.40 | 5.71 | -| **Предложенная** | **0.6102** | 0.2336 | **0.644** | **0.356** | **0.463** | **0.555** | **100.3** | **0.47** | 6.53 | -| Предложенная, без новых полей | 0.6074 | **0.2332** | 0.633 | 0.336 | 0.440 | 0.534 | 103.3 | 0.38 | 6.41 | +| **Предложенная** | **0.6101** | 0.2336 | **0.645** | **0.356** | **0.463** | **0.555** | **100.3** | **0.47** | 6.53 | +| Предложенная, без новых полей | 0.6073 | **0.2332** | 0.633 | 0.336 | 0.440 | 0.535 | 103.3 | 0.38 | 6.41 | **Рост** (потолок 0.6864) @@ -462,8 +478,8 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} |---|---|---|---|---|---|---|---|---|---| | League Points (сейчас) | 0.6688 | — | 0.915 | 0.631 | 0.732 | 0.824 | — | — | 6.91 | | Elo, чистый | 0.6687 | 0.2086 | 0.916 | 0.632 | 0.733 | 0.825 | 48.0 | 0.81 | 5.25 | -| **Предложенная** | **0.6726** | **0.2076** | **0.929** | **0.685** | **0.774** | **0.851** | **42.7** | **0.95** | 5.96 | -| Предложенная, без новых полей | 0.6697 | 0.2081 | 0.922 | 0.651 | 0.750 | 0.835 | 47.6 | 0.79 | 5.91 | +| **Предложенная** | **0.6726** | **0.2076** | **0.929** | **0.685** | **0.775** | **0.850** | **42.7** | **0.95** | 5.96 | +| Предложенная, без новых полей | 0.6697 | 0.2081 | 0.922 | 0.651 | 0.750 | 0.835 | 47.5 | 0.79 | 5.91 | **Шум** (потолок 0.6894) @@ -471,16 +487,16 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} |---|---|---|---|---|---|---|---|---|---| | League Points (сейчас) | 0.6737 | — | 0.916 | 0.656 | 0.761 | 0.848 | — | — | 6.89 | | Elo, чистый | 0.6739 | **0.2070** | 0.917 | 0.659 | 0.765 | 0.851 | **46.1** | **0.82** | 5.23 | -| Предложенная | 0.6727 | 0.2076 | 0.908 | 0.643 | 0.750 | 0.844 | 48.6 | 0.81 | 5.91 | -| Предложенная, без новых полей | **0.6743** | **0.2070** | **0.919** | **0.667** | **0.775** | **0.856** | 47.4 | 0.78 | 5.88 | +| Предложенная | 0.6728 | 0.2076 | 0.908 | 0.643 | 0.750 | 0.844 | 48.5 | 0.81 | 5.91 | +| Предложенная, без новых полей | **0.6744** | **0.2070** | **0.919** | **0.667** | **0.776** | **0.856** | 47.3 | 0.78 | 5.88 | Парные разности (среднее ± стандартная ошибка по 200 сезонам): | Сценарий | Brier: предложенная − чистый Elo | Точность: предложенная − чистый Elo | Точность: предложенная − сейчас | |---|---|---|---| -| сигнал | −0.0011 ± 0.0001 | +0.30 ± 0.06 п.п. | +0.37 ± 0.07 п.п. | -| клубы | −0.0005 ± 0.0002 | +0.38 ± 0.08 п.п. | +0.57 ± 0.10 п.п. | -| рост | −0.0010 ± 0.0001 | +0.39 ± 0.07 п.п. | +0.37 ± 0.06 п.п. | +| сигнал | −0.0011 ± 0.0001 | +0.30 ± 0.06 п.п. | +0.38 ± 0.07 п.п. | +| клубы | −0.0005 ± 0.0002 | +0.38 ± 0.08 п.п. | +0.56 ± 0.10 п.п. | +| рост | −0.0010 ± 0.0001 | +0.39 ± 0.06 п.п. | +0.38 ± 0.06 п.п. | | шум | +0.0006 ± 0.0001 | −0.12 ± 0.06 п.п. | −0.10 ± 0.07 п.п. | Выводы: @@ -491,7 +507,7 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} Рейтинг меньше сжат к середине (наклон 0.95 против 0.81): сильные игроки быстрее отрываются от середняков. 2. **Сила соперников — главное преимущество Elo над текущей системой.** В «клубах» текущая - система упорядочивает игроков заметно хуже (ρ 0.525 против 0.644): чемпион слабой группы + система упорядочивает игроков заметно хуже (ρ 0.525 против 0.645): чемпион слабой группы у неё стоит рядом с чемпионом сильной. 3. **Если отрыв — шум**, предложенная система теряет 0.1 п.п. точности и 0.0006 Brier — цена лишней волатильности. Это худший из рассмотренных случаев: в остальных сценариях @@ -507,6 +523,8 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} `simulate.py --grid` перебирает коэффициенты на **других** 40 сезонах каждого сценария. Критерий — средний Brier, меньше — лучше. Разница в 0.0001 — примерно граница шума. +Перебор выполнен до правила «выбывшие между собой не сравниваются» (#91) и не +переигрывался: правило сдвигает метрики лишь в третьем знаке (7.3). **Этап 1. K чистого Elo** (все четыре сценария). Спуск K за 20 партий лучше, чем за 10. Выгоден высокий K новичка и низкий K ветерана. @@ -733,6 +751,7 @@ M_{ab} = \operatorname{clamp}(A_{ab},\; 0.5,\; 2.0) \cdot c_{ab} | 5 | Затухание за неактивность | **Не добавлять** | без изменений | | 6 | Минимум партий для топа | **Оставить 10** | без изменений: `MIN_GAMES = 10` | | 7 | Групповой рейтинг отдельной цепочкой (после внедрения, #80, 2026-09-15) | **Убрать.** Рейтинг единый; на странице группы — показатели по партиям группы, на главной и в профиле — общие | раздел 8, «Расчёт» | +| 8 | Сравнивать ли выбывших между собой (после ревью, #87 → #91, 2026-09-18) | **Нет.** Все они проиграли и одинаково слабы в этой партии, миров у них нет; при расчёте победителя сила соперников по-прежнему важна | 4.3, 4.4, 4.9, пример 5, итоги 7.3 (подбор 7.4 не переигрывался) | Открытых вопросов по предложению не осталось. Калибровка коэффициентов на реальных данных — после внедрения #23 (раздел 8, «Калибровка»). diff --git a/docs/rating/simulate.py b/docs/rating/simulate.py index 7711926..8fa0546 100644 --- a/docs/rating/simulate.py +++ b/docs/rating/simulate.py @@ -93,6 +93,9 @@ class Params: m_min: float = 0.5 m_max: float = 2.0 autocorr: bool = False # поправка на автокорреляцию (см. документ) + # Выбывшие между собой не сравниваются: пара двух выбывших не входит в сумму + # (решение владельца, #91). У систем для сравнения — как было. + skip_eliminated_pairs: bool = False def closeness_for(self, reason: str | None) -> float: return dict(self.closeness).get(reason, 1.0) if reason else 1.0 @@ -181,6 +184,8 @@ def rate_match( k = {s.player: k_factor(games.get(s.player, 0), p) for s in m.seats} delta = {s.player: 0.0 for s in m.seats} for a, b in combinations(m.seats, 2): + if p.skip_eliminated_pairs and a.eliminated and b.eliminated: + continue if a.place > b.place: a, b = b, a s_ab = 0.5 if a.place == b.place else 1.0 @@ -550,6 +555,7 @@ PROPOSED = Params( w_obj=0.5, w_worlds=0.5, closeness=CLOSENESS, + skip_eliminated_pairs=True, ) @@ -594,7 +600,7 @@ def examples() -> list[tuple[str, str, dict, dict, Match]]: ("4e", "Разгром: 3-й раунд, 2:0 цели, 8:2 миров", {"A": 1500, "B": 1500}, _vets("A", "B"), Match([Seat("A", 1, 2, 8), Seat("B", 2, 0, 2)], "objectives", round=3)), - ("5", "Стол на 4: ничья выбывших, раунд 7", + ("5", "Стол на 4: двое выбывших, раунд 7", {"A": 1550, "B": 1500, "C": 1480, "D": 1450}, _vets(*"ABCD"), Match( [Seat("A", 1, 4, 8), Seat("B", 2, 3, 7), @@ -625,7 +631,7 @@ EXPECTED: dict[str, dict[str, float]] = { "4c": {"A": 4.8, "B": -4.8}, "4d": {"A": 3.4, "B": -3.4}, "4e": {"A": 16.0, "B": -16.0}, - "5": {"A": 9.27, "B": 5.85, "C": -7.78, "D": -7.35}, + "5": {"A": 9.27, "B": 5.85, "C": -7.6, "D": -7.53}, "6a": {"A": 12.0, "B": 7.2, "C": 2.4, "D": -2.4, "E": -7.2, "F": -12.0}, "6b": {"A": 10.29, "B": 7.54, "C": 2.74, "D": -2.06, "E": -6.86, "F": -11.66}, "7": {"A": 32.0, "B": -8.0}, diff --git a/frontend/src/pages/HelpPage.tsx b/frontend/src/pages/HelpPage.tsx index eb4cd92..e93ce49 100644 --- a/frontend/src/pages/HelpPage.tsx +++ b/frontend/src/pages/HelpPage.tsx @@ -54,7 +54,8 @@ export function HelpPage() {
где N — число игроков, сумма — по всем соперникам. Поэтому победа над сильным приносит больше, чем над слабым, а поражение от слабого отнимает больше. Выбывшие - делят последнее место. + делят последнее место, но между собой не сравниваются: в этой партии все они + проиграли, так что пара двух выбывших рейтинг не двигает.
@@ -94,9 +95,8 @@ export function HelpPage() {Единоличный победитель никогда не теряет рейтинг, а единоличное последнее место - никогда его не приносит. При общем месте (ничья за 1-е, несколько выбывших) - игроки внутри ничьей сравниваются между собой как в ничьей: слабый может - получить рейтинг, сильный — потерять. + и выбывание никогда его не приносят. Невыбывшие, поделившие место, сравниваются + между собой как в ничьей: слабый может получить рейтинг, сильный — потерять.