Twitter 推荐算法:开源 X 平台核心推荐系统

你是否曾经好奇,像 X(前 Twitter)这样的社交平台是如何为你精准推荐内容,让你刷到停不下来的?X 推荐算法的开源,旨在揭开这一神秘面纱。它是一个用 Scala 编写的分布式服务与任务集合,负责为 X 的各个产品界面(如“推荐时间线”、“搜索”、“探索”和“通知”)生成内容流。本文将带你深入探索这一业界领先的推荐系统架构。

截至收录:
Twitter 推荐算法项目 stars 数:65860
Twitter 推荐算法项目 forks 数:12427

Twitter 推荐算法项目目录截图

Twitter 推荐算法项目核心亮点

🌟 多源候选生成:整合搜索索引、用户推文实体图(UTEG)和关注推荐服务(FRS)等多种候选源,确保内容多样性和覆盖率。
🎯 双层排序机制:采用轻量级排序器(Light Ranker)进行初步筛选,再通过重型排序器(Heavy Ranker)神经网络进行精细排序,平衡效率与精度。
🔒 合规与安全过滤:内置可见性过滤器,支持法律合规、内容质量提升和用户信任保护,通过硬过滤和降权机制保障平台安全。
🧩 模块化架构:基于统一的软件框架(如 product-mixer、navi),支持灵活扩展和定制,适应不同产品表面的需求。

Twitter 推荐算法项目快速开始

由于该项目是 X 平台的核心系统,本地运行需要复杂的依赖和环境配置。以下是初步探索步骤:
1. 克隆仓库

git clone https://github.com/twitter/the-algorithm.git
cd the-algorithm

2. 查看组件:浏览 src 目录下的各个服务模块,如 tweetypie(推文数据服务)、simclusters(社区检测模型)。
3. 构建测试:使用 Bazel 构建部分组件(注:目前未提供顶层构建文件,需参考各模块的 BUILD 文件)。

bazel build //path/to/component

Twitter 推荐算法项目应用场景

场景一:个性化内容推荐:为用户的“推荐时间线”生成高度相关的推文流,提升用户参与度和留存率。
场景二:实时通知优化:通过多任务学习模型预测用户对通知的打开和互动概率,提高通知的有效性和用户体验。
场景三:社区与话题发现:利用 SimClusters 和 TwHIN 嵌入模型检测社区结构和知识图谱,辅助内容探索和话题推荐。
用户案例:目前,X 平台的“推荐时间线”和“推荐通知”功能均基于该算法构建,服务全球数亿用户。

Twitter 推荐算法项目链接

Twitter 推荐算法 GitHub 仓库

twitter / the-algorithm项目地址:https://github.com/twitter/the-algorithm

本文地址:https://www.tgoos.com/9694

声明:本站资源均整理自互联网,版权归原作者所有,仅供学习交流使用,请勿直接商用,若需商用请购买正版授权。因违规使用产生的版权及法律责任由使用者自负。部分资源可能包含水印或引流信息,请自行甄别。若链接失效可联系站长尝试补链。若侵犯您的权益,请邮件(将 # 替换为 @)至 feedback#tgoos.com,我们将及时处理删除。转载请保留原文链接,感谢支持原创。