№ 001Публикация конференцииРазбор

Covariance-Aware Newton-Schulz Orthogonalization for Noise-Robust Sequential Recommendation

CovNS накапливает второй момент градиентов и периодически фильтрует направления обновления. Отфильтрованный градиент проходит ортогонализацию внутри оптимизатора.