Twitter从支撑千万到万亿级索引的搜索引擎架构演化

📁 软文 #搜索引擎

2016 年,直播的火热给基础流媒体协议、系统架构、CDN、交互等技术产生巨大贡献。2017 年,我们看到 Snapchat 上市,Facebook 市值突破 4000 亿,社交网络技术还有很多亟待突破的想象空间。ArchSummit 深圳 2017 设有“社交网络与视频直播”专题,已邀请到快手软件工程师罗喆和 Hulu 研发中心首席软件开发主管李彬分享大厂社交网络案例经验。

内容提要

Twitter 的搜索引擎起初只能检索最近 7 天的推文,只能满足基本的实时搜索需求。现在的完整推文集索引 (Complete Tweet Index) 可以检索有史以来 10 多年的所有推文。本演讲将介绍 Twitter 的搜索引擎构架如何从千万条推文的规模进化到万亿条推文的规模。本演讲还将介绍 Twitter 搜索引擎的新颖应用:如何利用搜索引擎实现时间轴重排序 (Ranked Timelines)。

演讲视频

本视频来自 Staff Software Engineer @Twitter 庄易在 ArchSummit 的分享 。公众号后台回复关键词「TW」下载演讲 PPT。

幻灯片

公众号后台回复关键词「TW」下载完整幻灯片。

作者介绍

庄易,Staff Software Engineer @Twitter,毕业于 Bowdoin College 和 Carnegie Mellon University。2011 年加入 Twitter,带领团队设计和搭建了 Twitter 的能检索千亿条推文的搜索引擎,有幸见证了 Twitter 从 300 员工到 3000 员工的历程。2005 年到 2007 年参加了机器人世界杯 RoboCup(Aibo 机器狗组),编写机器狗视觉处理,有幸见证了其所在团队从美国最后一名到世界冠军的历程。

ArchSummit 深圳 2017“社交网络与视频直播”专题已邀请到 Hulu 研发中心首席软件开发主管李彬来分享《Hulu 高清互联网电视产品中的直播系统架构及实践》,议题介绍如下:

Hulu 高清互联网电视产品中的直播系统架构及实践

——by 李彬 Hulu 研发中心首席软件开发主管

Hulu 作为美国三大在线专业视频服务提供商之一,不满足于提供单纯的点播视频服务,于 2017 年五月推出了自己的电视直播服务。Hulu 依靠自己运营高清点播服务的经验和基础架构,重新搭建了整个直播系统,并对现有的点播系统进行了全面的升级。该架构适应了 Hulu 互联网电视产品的需求,可以为从移动端到客厅大屏各种设备提供高清、快速响应的直播/点播视频体验。相比国内直播应用,Hulu 的直播系统有以

下的一些特殊需求:

1. 高稳定,高可扩展:需支持 24x7 无停机直播,随时应对数千路直播上直播节目带来用户的“惊群”问题;

2. 高质量:视频质量最高可达 1080p,60fps。需要达到与有线电视近似的延迟(5 至 10 秒)。并可随时监控观看质量变化;

3. 复杂的商业逻辑:需要考虑用户的各种状态(地理位置,并发观看数等等)以及视频节目信息,随时控制用户播放。

与传统 IPTV 相比,Hulu 的直播系统又是一个基于互联网的直播系统,需要适应互联网本身的一些特性,如网络波动,终端类型繁杂等。

本次分享将介绍 Hulu 直播系统的一些创新之处,并介绍我们在提高直播系统稳定性及可扩展性,降低直播延迟,提高直播视频质量,方面的一些实践经验。

发稿网(QQ:599515669)是全国领先的在线新闻稿发布平台,团队由资深互联网专家组成,服务内容类涵盖软文发布、软文代写、微信营销、微博营销、报纸广告、视频置顶、百度问答等多种互联网广告行业。发稿网平台有上千媒介编辑、专业写手、段子手、营销专家,为企业、公共机构和个人提供定制化的解决方案,将创意、智慧、技能转化为商业价值和社会价值。发稿网平台凭借多年的网络资源和客户资源积累,发展遥遥领先同行业其他软文平台。