Разбираю рекомендательную ленту свитера (анализ алгоритма ранжирования)
X опубликовали репозиторий с исходным кодом своих рекомендательных алгоритмов в 2023 году. Там нет конкретных весов и многих переменных, но есть общие принципы. По репе можно понять общую механику того, как именно контент попадает в ленту. Похожие рекомендательные системы используются и в других соцсетях. Главная проблема — из сотен миллионов ежедневных твитов невозможно прогнать через тяжелую Ranker-нейросеть каждый. Поэтому используются быстрые алгоритмы, чтобы отобрать топ кандидатов (конкретное число скрыто в params.rs). Для out-of-network контента X использует SimClusters — алгоритм, который находит сообщества пользователей с похожими интересами. Если вы попали в кластер "Любители Rust", а пост популярен в этом кластере, он попадёт в кандидаты, даже если вы не подписаны на автора. Потом идёт второй этап — Grok-трансформер, который для отобранных кандидатов предсказывает вероятность 19 различных действий (лайк, ретвит, ответ, шер в личку и другие).
https://habr.com/ru/articles/988702/
#xcom #рекомендательные_системы #twitter