НаправлениеEVAL

Оценка, причинность и достоверность вывода

Метрика отвечает на вопрос только вместе с протоколом. Если изменить пул кандидатов, наблюдаемость или случайность обучения, изменится сам объект сравнения.

86 материалов с этим тегом · 43 с этой темой в качестве главной · в каталоге →

1. 01

   Победитель зависит от того, кого и на чём оценивают

   Fixed-Candidate Evaluation отделяет качество ранкера от качества собственного retrieval, core-filtering меняет состав train и test в зависимости от порядка операций, а tie-breaking аудит показывает эффект сортировки равных скоров. Convergent Validity дополнительно сравнивает разреженную оценку с плотным референсом. Эти работы не предлагают единую лучшую метрику: они требуют назвать оцениваемую популяцию, пул и правило принятия решения до выбора победителя. Аудит эфемерных групп обнаруживает более раннюю проблему: целевая групповая метка уже находится в историях участников, поэтому непересечение групп не закрывает утечку. FINALLY помогает выбирать различающиеся датасеты по результатам портфеля моделей, а StreamlitRecommenders — сравнивать конкретные выдачи при одном входе. Ни разнообразный комплект, ни удобная инспекция не исправляют доступность ответа во входных данных; это разные уровни проверки.

   • When Fixed-Candidate Offline Evaluation Changes Model Selection in Two-Stage Recommenders
   • Your 5-Core Train Split May Not Be 5-Core: Core Filtering and Temporal Splitting Do Not Commute
   • Are We Really Making Progress in Group Recommendation? Unmasking the Tie-Breaking Illusion
   • On the Convergent Validity of Offline Evaluation Designs for Recommender Systems
   • We’ve Already Been There: A Study of Data Leakage in Ephemeral Group Recommender Systems
   • FINALLY: A Dataset Recommender for RecSys Experiments
   • StreamlitRecommenders: Towards Recommendation Inspectability as a New Reproducibility Standard
2. 02

   Разные источники неопределённости требуют разных повторов

   Seed Variance различает сравнение checkpoint и процедур обучения, RecSeed отделяет статистическую различимость запусков от устойчивости модельного выбора. Monte Carlo для рассылок сохраняет зависимость повторных действий пользователя, а социальный A/B-анализ учитывает кластерное назначение. Увеличение числа наблюдений не исправляет пропущенный уровень случайности: сид, пользователь и социальный кластер нельзя безусловно заменять независимыми строками лога.

   • More Test Users, More Overconfidence: Seed Variance in Sequential Recommender Tests
   • Training seeds and model-selection stability in recommender-system evaluation
   • Monte Carlo Power Analysis for Small-System A/B Trials: Detecting Differences in Newsletter Engagement
   • Towards Reliable Social A/B Testing: Spillover-Contained Clustering with Robust Post-Experiment Analysis
3. 03

   Коррекция логов и проверка судьи не создают универсальной истины

   CFC исправляет позиционно обусловленную эндогенность через модель прошлой политики, GPBM меняет объединение позиций в importance weighting, а ConAlign переносит знания из смещённого потока избирательно. Их гарантии зависят от разных предпосылок. Языковой оценщик добавляет ещё один измерительный контур: аудит intent-description показывает сдвиг оценки неизменного списка от нерелевантного описания алгоритма. Поэтому корректность каждой ступени нужно проверять отдельно.

   • A Control Function Framework for Mitigating Position Bias in Learning to Rank Systems
   • Generalized Position-Based Model: Rethinking Position Weights in Ranking Off-Policy Evaluation
   • ConAlign: Conditional Alignment Framework for Balancing Biased and Unbiased Recommendation
   • Intent-Description Anchoring Bias in LLM-as-a-Judge Evaluation of Recommender Systems

Работы по теме

1. 001

   A Control Function Framework for Mitigating Position Bias in Learning to Rank Systems

   #Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
2. 003

   Adaptive Retraining of Recommender Systems via Reinforcement Learning

   #Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
3. 022

   Residual Dominance as a Structural Account of Last-Item Reliance in Causal Self-Attention Recommenders

   #История, время и последовательности#Оценка, причинность и достоверность вывода
4. 023

   FASC: A Feature Aspect-Level Sentiment Consistency Framework for Explainable Recommendation Evaluation

   #Оценка, причинность и достоверность вывода#Контроль, объяснения и интересы участников#Языковые модели, диалог и агенты
5. 025

   From Constraint to Control: Modeling Expected Fairness in Ranking Systems

   #Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода
6. 029

   Generalized Position-Based Model: Rethinking Position Weights in Ranking Off-Policy Evaluation

   #Оценка, причинность и достоверность вывода
7. 043

   On the Convergent Validity of Offline Evaluation Designs for Recommender Systems

   #Оценка, причинность и достоверность вывода
8. 044

   Probabilistic Residual Learning for Online Recommendations

   #Промышленное ранжирование и стоимость#Коллаборативность и геометрия представлений#Оценка, причинность и достоверность вывода
9. 051

   Simulating Diverse User Behavioral Stereotypes for Evaluating Agentic Conversational Recommenders

   #Оценка, причинность и достоверность вывода#Языковые модели, диалог и агенты
10. 055

    TSMOO: Solving Multi-Objective Experimentation with Constrained Thompson Sampling

    #Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
11. 056

    The Cost of Continuous Time: Diagnosing Solver Sensitivity in Recommenders and Mitigating It via Training-Free Routing

    #История, время и последовательности#Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
12. 057

    The Utility of LLMs in Recommender Systems Explanation Evaluation

    #Оценка, причинность и достоверность вывода#Контроль, объяснения и интересы участников#Языковые модели, диалог и агенты
13. 058

    There’s Something About You: Epistemic Recommendation for Latent Interest Discovery

    #Контроль, объяснения и интересы участников#История, время и последовательности#Оценка, причинность и достоверность вывода
14. 062

    When Do Contrastive Explanations Really Matter in Recommender Systems?

    #Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода
15. 065

    A Causal Transformer Multi-Touch Attribution with Dual Debiasing and Explainable Visualization for Advertising Recommendation

    #Реклама и рекомендации#Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
16. 071

    Comparability for Recommendation Model Evaluation and Selection from a Multi-stakeholder Perspective

    #Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода
17. 078

    Impression Share Prediction: An Offline Evaluation Task for Ads Ranking Systems

    #Реклама и рекомендации#Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
18. 080

    LLM-as-a-Judge for Evaluating System Responses in Conversational Music Recommendation

    #Оценка, причинность и достоверность вывода#Языковые модели, диалог и агенты#Домены, группы и мультимодальные задачи
19. 082

    Position Bias Undermines Preference Consistency in Listwise LLM-Based Reranking

    #Оценка, причинность и достоверность вывода#Языковые модели, диалог и агенты
20. 087

    Support Gap: Selecting Fixed-K Candidate Sets for Retained Personalized Headroom

    #Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
21. 088

    Surface Matching in Skill Recommenders: Incomplete Evaluation Hides Simplicity Bias

    #Оценка, причинность и достоверность вывода#Домены, группы и мультимодальные задачи
22. 092

    When Fixed-Candidate Offline Evaluation Changes Model Selection in Two-Stage Recommenders

    #Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
23. 096

    Codebook-Based Semantic IDs in Generative Recommendation: Enabling Interface, Emerging Bottleneck

    #Генерация и семантические коды#Оценка, причинность и достоверность вывода
24. 100

    From User–Item Edges to Exposure Allocation: Matching Evidence to Platform-Level Recommender Claims

    #Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость#Контроль, объяснения и интересы участников
25. 107

    Are We Really Making Progress in Group Recommendation? Unmasking the Tie-Breaking Illusion

    #Оценка, причинность и достоверность вывода#Домены, группы и мультимодальные задачи
26. 108

    Personalised Drug Recommender Systems based on Electronic Health Records: Reproducibility and External Validity

    #Оценка, причинность и достоверность вывода#Домены, группы и мультимодальные задачи
27. 109

    We’ve Already Been There: A Study of Data Leakage in Ephemeral Group Recommender Systems

    #Оценка, причинность и достоверность вывода#Домены, группы и мультимодальные задачи
28. 110

    Binge Watch: Reproducible Multimodal Benchmark Datasets for Large-Scale Movie Recommendation on MovieLens-10M and 20M

    #Домены, группы и мультимодальные задачи#Оценка, причинность и достоверность вывода
29. 112

    JTH: A Dataset for Evaluating Cold-Start and Temporal Dynamics in Job Recommendation

    #Домены, группы и мультимодальные задачи#Оценка, причинность и достоверность вывода
30. 113

    scikit-rec: A Unified, Extensible Recommendation Library with scikit-rec-agent, a Conversational Interface

    #Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода#Языковые модели, диалог и агенты
31. 114

    τ-Rec: A Verifiable Benchmark for Agentic Recommender Systems (τ-Rec)

    #Оценка, причинность и достоверность вывода#Языковые модели, диалог и агенты
32. 115

    WatchLens: A Configurable Platform for Online Video Recommendation Experiments

    #Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость#Домены, группы и мультимодальные задачи
33. 116

    WorkRB: A Community-Driven Evaluation Framework for AI in the Work Domain

    #Оценка, причинность и достоверность вывода#Домены, группы и мультимодальные задачи
34. 117

    A Framework for Value-Aligned Modeling and Robust Experimentation

    #Реклама и рекомендации#Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
35. 120

    Advancing Relevance Measurement with Vision–Language Models for Web-Scale Search

    #Оценка, причинность и достоверность вывода#Домены, группы и мультимодальные задачи#Языковые модели, диалог и агенты
36. 121

    Alignment + Accuracy: The Cascade Reward Representation for Preranking

    #Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
37. 123

    Bootstrapping Conversational Recommendation Agents At Spotify: Synthetic Data Generation and Self-Improvement Loops

    #Языковые модели, диалог и агенты#Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
38. 127

    ConAlign: Conditional Alignment Framework for Balancing Biased and Unbiased Recommendation

    #Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
39. 135

    From M Passes to One: A MapReduce-Style Bootstrap for Pointwise Off-Policy Evaluation in Production Recommenders

    #Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
40. 147

    LLM Reasoning for Subjective Tasks: Failure Modes, Mitigation, and Dynamic Reasoning Routing

    #Языковые модели, диалог и агенты#Оценка, причинность и достоверность вывода
41. 152

    Long-term User Engagement Optimization through Model-agnostic Downstream Rewards Learning

    #Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
42. 157

    Mend the Measurement Gap: Latent User Preference Modeling for Short-Form Video Recommendation

    #Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
43. 188

    Towards Reliable Social A/B Testing: Spillover-Contained Clustering with Robust Post-Experiment Analysis

    #Оценка, причинность и достоверность вывода#Коллаборативность и геометрия представлений#Промышленное ранжирование и стоимость
44. 192

    Uncertainty-Aware Reward Modeling: A Large-Scale Case Study in Video Recommendation

    #Промышленное ранжирование и стоимость#Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода
45. 198

    Which LLM to Fine-Tune? Agent-Driven Model Selection at Scale

    #Языковые модели, диалог и агенты#Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
46. 200

    Calibrating Recommendations on Ordinal Attributes

    #Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода
47. 202

    Cross-Spectrum Candidate Set Analysis for Popularity-Aware Recommendation

    #Оценка, причинность и достоверность вывода#Контроль, объяснения и интересы участников
48. 203

    Deadweight Loss in Recommendation Systems

    #Реклама и рекомендации#Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода
49. 204

    Do SID Alignments Help Generative Recommendation? A Research and Practice Note on OpenOneRec Diagnostics

    #Генерация и семантические коды#Языковые модели, диалог и агенты#Оценка, причинность и достоверность вывода
50. 205

    Do Sequential Recommendation Benchmarks Really Require Higher-Order Sequence Modelling?

    #Оценка, причинность и достоверность вывода#История, время и последовательности
51. 208

    How Faithful Is the Reasoning of LLM Recommenders? A Counterfactual Audit

    #Оценка, причинность и достоверность вывода#Контроль, объяснения и интересы участников#Языковые модели, диалог и агенты
52. 209

    In-Batch Negatives Can Silently Cripple LLM-Encoded Sequential Recommenders

    #История, время и последовательности#Языковые модели, диалог и агенты#Оценка, причинность и достоверность вывода
53. 210

    Intent-Description Anchoring Bias in LLM-as-a-Judge Evaluation of Recommender Systems

    #Оценка, причинность и достоверность вывода#Языковые модели, диалог и агенты
54. 211

    Monte Carlo Power Analysis for Small-System A/B Trials: Detecting Differences in Newsletter Engagement

    #Оценка, причинность и достоверность вывода
55. 212

    More Test Users, More Overconfidence: Seed Variance in Sequential Recommender Tests

    #Оценка, причинность и достоверность вывода#История, время и последовательности
56. 213

    Music Discovery Quality and the Value of Familiarity

    #Домены, группы и мультимодальные задачи#Оценка, причинность и достоверность вывода
57. 215

    Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

    #Контроль, объяснения и интересы участников#Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
58. 217

    Predicting Custom-Feed Returns for New Bluesky Posts: A Prospective Study

    #Домены, группы и мультимодальные задачи#Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
59. 218

    Repetition Is Not Enough: Evaluating Repeat Recommendations Through Utility and Timing

    #Оценка, причинность и достоверность вывода
60. 219

    Revisiting the Assumptions of Shared-Account Sequential Recommendation

    #Оценка, причинность и достоверность вывода#История, время и последовательности#Домены, группы и мультимодальные задачи
61. 220

    SERA: A Multi-Dimensional Evaluation Framework for Retail Agentic Shopping Assistants

    #Оценка, причинность и достоверность вывода#Языковые модели, диалог и агенты#Контроль, объяснения и интересы участников
62. 222

    Should I Be Polite to My LLM Relevance Judge? Tone as a Severity Operating-Point Shift

    #Оценка, причинность и достоверность вывода#Языковые модели, диалог и агенты
63. 224

    The Illusion of Control: Commensurability, Concentration, and Correlation in Multi-Objective Recommendation

    #Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода
64. 225

    Towards Dynamic Relationship Schema Discovery for Complementary News Recommendation

    #Языковые модели, диалог и агенты#Домены, группы и мультимодальные задачи#Оценка, причинность и достоверность вывода
65. 226

    Training seeds and model-selection stability in recommender-system evaluation

    #Оценка, причинность и достоверность вывода
66. 227

    What price fairness? Evaluating Energy – Fairness – Accuracy Trade-off in Recommender Systems

    #Контроль, объяснения и интересы участников#Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
67. 229

    Whose Posts Get Ranked: Identical-Text Exposure Gaps in Bluesky Custom Feeds

    #Оценка, причинность и достоверность вывода#Контроль, объяснения и интересы участников
68. 230

    Why Do CF and Review Models Disagree? User-Specific Rating–Review Scale Gaps

    #Оценка, причинность и достоверность вывода#Коллаборативность и геометрия представлений
69. 231

    Your 5-Core Train Split May Not Be 5-Core: Core Filtering and Temporal Splitting Do Not Commute

    #Оценка, причинность и достоверность вывода
70. 232

    AutoRecLab: An Autonomous Recommender Systems Lab

    #Языковые модели, диалог и агенты#Оценка, причинность и достоверность вывода
71. 236

    FINALLY: A Dataset Recommender for RecSys Experiments

    #Оценка, причинность и достоверность вывода#Домены, группы и мультимодальные задачи
72. 238

    GroupRec: A Unified Toolkit for Reproducible and Inspectable Group Recommendation Research

    #Домены, группы и мультимодальные задачи#Оценка, причинность и достоверность вывода
73. 244

    Scikit-Rank: Scikit-learn-Compatible Neural Ranking Models for Tabular Recommender Systems

    #Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода
74. 246

    StreamlitRecommenders: Towards Recommendation Inspectability as a New Reproducibility Standard

    #Оценка, причинность и достоверность вывода#Контроль, объяснения и интересы участников
75. 248

    ValueVet: Auditing Recommender Systems for Fairness and Value Alignment Using Constitutional AI Principles

    #Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода#Языковые модели, диалог и агенты
76. 250

    A Design-Space Approach to Robust Agentic Conversational Recommendation

    #Языковые модели, диалог и агенты#Оценка, причинность и достоверность вывода
77. 252

    Discover Weakly No More: User-Centric Design Criteria for Discovery in Music Recommendation

    #Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода#Домены, группы и мультимодальные задачи
78. 253

    From Click Modeling to Offline and Off-Policy Evaluation in Carousel Recommendation

    #Оценка, причинность и достоверность вывода#Домены, группы и мультимодальные задачи
79. 254

    Human Value in Recommendations: Towards Improved Evaluation Measures

    #Оценка, причинность и достоверность вывода#Контроль, объяснения и интересы участников
80. 258

    Unbiased Recommender Systems with Implicit Feedback

    #Оценка, причинность и достоверность вывода#Коллаборативность и геометрия представлений
81. 260

    Keeping the Index Open: The Recommendation-Side Cost of Shared Search and Recommendation

    #Промышленное ранжирование и стоимость#Коллаборативность и геометрия представлений#Оценка, причинность и достоверность вывода
82. 263

    Cognitive Biases in Recommender Systems — материалы COBIS RecSys 2026

    #Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода
83. 265

    Reward Optimizing Recommender Systems

    #Оценка, причинность и достоверность вывода#Промышленное ранжирование и стоимость
84. 266

    Cognitive Biases in Recommender Systems

    #Контроль, объяснения и интересы участников#Оценка, причинность и достоверность вывода
85. 267

    Calibrating Reproduced Claims in Recommender Systems

    #Оценка, причинность и достоверность вывода
86. 269

    Timing-Aware Repurchase Prediction for Web-Scale E-Commerce: Survival Models for Multi-Surface Grocery Recommendation

    #Домены, группы и мультимодальные задачи#Промышленное ранжирование и стоимость#Оценка, причинность и достоверность вывода