雷锋网 - 208亿背后的“秘密”

上一篇(左方向键) 下一篇(右方向键) 回目录(回车键) 粗体(B键)  正常(N键) 随机浏览(S键)   浏览次数:27    发布时间:2019/4/5 22:25:50   出处:雷锋网   

  2019年的春节期间,想必很多人都参加了几十个亿的“大项目”,成为几百亿次互动的一分子。

  2014年起,移动手机版红包就成为每年除夕春节联欢晚会“全家桶”的重要“小食”之一。近几年,随着移动互联网的极速发展,除夕夜的“互联网味道”愈加浓烈。除了央视的春节联欢晚会,就是“红包大战”响应最为热烈。

  2019年“春晚红包”的旋风依旧如故,不同的是,春晚红包战场进来进来一位新的搅局者——百度。2019年1月17日下午,百度宣布与中央电视台达成深度合作。由此,百度成为了2019年央视春节联欢晚会的独家互动合作伙伴。

  百度的集好运卡和团圆红包两个主题从1月28日小年开始,一直持续到2月4日除夕。除百度APP以外,包括好看视频、全民小视频、百度贴吧、百度极速版、百度网盘、百度地图、宝宝知道等多个百度产品矩阵,均可在其APP首页上找到活动入口。

  从雷锋网的实际体验中了解到,百度红包贯穿了整个春晚、以及整个春节假期,甚至在元宵节又补发了一轮数额达两亿的红包,弥补未抢上红包的用户的遗憾。近日,在主题为“揭秘春晚红包背后的技术”的第七届百度技术开放日上,百度高级副总裁、AI技术平台体系(AIG)和基础技术体系(TG)总负责人王海峰、百度副总裁侯震宇、百度多位架构师为在校学生、码农揭秘了百度首次参与央视春晚红包的背后故事。

208亿背后的“秘密” - 后花园网文 - 科技新闻

  208亿互动:技术“看点”

  雷锋网了解到,每年春晚的红包环节,涉及数亿用户参与互动。多场景互动,每秒钟千万级并发请求,相应地在极短的时间内带来高需求量、大流量、数据风暴、高并发等巨大挑战。每年双十一都带给服务器巨大的流量冲击,侯震宇在开放日上称,在春晚面前双十一的流量可能还是小了很多。

  摇红包摇不出来、摇红包摇出来一个空白页,或者摇出来一个503出来是不行的,这是我们应对的几个比较大的挑战。对于广大网民、广大的老百姓而言,春节是一个非常祥和欢乐的场景,百度没有给他们添堵。侯震宇笑称。

208亿背后的“秘密” - 后花园网文 - 科技新闻

  根据百度官方披露的数据显示,春节期间全球观众参与百度红包互动次数达到208亿次,1000多名工程师在百度的工作园区加班。百度春晚红包项目涉及数十个产品和平台,110+种场景,280+个预案,百余团队参与,上千人协同,平均每天新增需求和任务千余个,自动化测试上万次。

  那么百度在春晚期间究竟用到了哪些技术,这些技术细节如何?

208亿背后的“秘密” - 后花园网文 - 科技新闻

  全系统全链路的优化设计:整体架构设计与优化、统一前端接入优化、极端并发的数据库优化

  百度架构师介绍,春晚红包项目架构设计中采用的是以大化小、隔离、弹性、智能、动态、自愈,同时高效控制总成本的设计理念。在架构设计方面,将整体系统拆解成四大业务系统和大量基础设施与服务。提出了多项具有针对性的优化方案。用户可以通过摇一摇、信息流、视频、语音、搜索等多样化形式参与。

208亿背后的“秘密” - 后花园网文 - 科技新闻

  有统一前端接入优化、安全防攻击、资源协调和动态调度能力,全链路压测与攻防,以及内测、预案与剧本等关键技术和方案。雷锋网了解到,BFE(百度统一前端)是百度统一的七层流量转发平台。在春晚红包项目中,BFE是IDC流量的统一入口,提供流量调度、接入转发、限流、应用层防火墙等能力。每日转发请求数接近1万亿。基于BFE的快速开发能力,可以通过将部分业务逻辑前置到BFE,降低了整体的系统开销。同时基于自研专用流式计算系统,提供实时报表能力,在亿级别流量下可以实时反馈系统状况。

208亿背后的“秘密” - 后花园网文 - 科技新闻

  此外,由于数据库服务处于业务链路的最底层,具有相当重要的作业,对其稳定性、可靠性及并发能力提出了更高的要求和需求。 百度通过set化等关键技术方案,达到对业务透明且灵活扩展、故障最小化隔离能力;在流量管控上,基于流量画像能力,结合安全检测及拦截能力、多维度多层级流控能力,达到对整体服务的过载保护和安全防护能力,能有效保障整体服务的可用性、数据的安全性,达到数据库千万级QPS处理能力;最后结合近百项的剧本及自动监控预案措施,进一步加固了春晚数据库服务保障能力。

  技术积累:服务的混部调度、弹性的资源供给、稳定的CDN服务

  百度春晚红包业务覆盖了搜索、推荐、语音、视频等多个业务,不仅仅是简单的“摇一摇”。当亿级用户同时启动,并与百度云建连时,对服务器部署的要求较高。

208亿背后的“秘密” - 后花园网文 - 科技新闻

  技术方案上,重点通过百度云集群内部全混部,利用集群流转支持,满足活动的资源需求。百度服务混部调度则采用了BestEffort(BE)模式,弹性使用全百度云的集群资源。BE模式对原正常业务实现了无侵入使用,满足了春晚服务提前进场与快速便捷退场的需求。围绕潜在问题场景,设计了秒级弹性伸缩的方案,以防备意想不到的“状况”出现。

208亿背后的“秘密” - 后花园网文 - 科技新闻

  百度官方称,百度云的媒体云平台涵盖视频/图片类数据的采集、生产、上传、存储、处理、分发、播放的一体基础设施云平台。具备万亿文件千P数据的存储、每天千万级媒资处理、数百节点50T+带宽的分发网络和一站式智能视频解决方案。

  大规模工程能力保障:工程能力、自动化、自助化压测平台、全要素链路压测与攻防

  百度春晚蓝军负责为春晚系统制造各种麻烦,进行“战场”的真实规模演练。首先是,全要素全链路压测,用来模拟真实用户行为,构造大于春晚极限并发的压力洪峰,验证从供电、网络等基础设施,到上层软件架构的服务能力。

208亿背后的“秘密” - 后花园网文 - 科技新闻

  此前,雷锋网报道中,百度安全对雷锋网介绍称,在此次活动中压力颇大的风控环节,使用了业务安全风控平台“昊天镜”,基于5层复合机器学习和威胁情报大脑,发挥了对规模化深层黑产感知、人机识别、群控加代理集群拦截及黑产溯源的功能。

  此外,百度此前和与运营商形成联合预案,预防DNS攻击,并通过猎鹰监控与运营商刷新DNS,防止DNS 劫持,针对四层攻击(SYN Flood、ACK Flood、UDP Flood)等,实行GTC 流量调度、智云盾发现、运营商黑洞、清洗(UDP)策略等,过滤恶意用户,拦截DDos攻击、打击隐私窃取等。

  开放日上,侯震宇分享了一个关于百度贴吧的“题外话”。2005年,侯震宇负责百度贴吧。当年是湖南卫视的《超级女生》选秀节目最为火爆的一年。所有关于超女的各种粉丝、各种热情在互联网上,都体现在了百度贴吧上。百度贴吧也正是从05年打的那场仗之后,才正式成为中国当时乃至现在最火爆、最大的一个论坛。

  侯震宇认为,百度处理高并发能力也是从那时积累起来的经验。而谈及百度服务的稳定性,“我们从成立的第一天开始,百度后端服务器的数量,就要超过了前台的服务器,从第一天开始就这样。所以,百度从一开始就是一家基于数据分析、基于云计算作为底层基础的一家公司。很长一段时间里面,包括现在。大家在检查自己的网络是否正常的时候,都是打开百度的首页。”侯震宇说。

208亿背后的“秘密” - 后花园网文 - 科技新闻

  背后主角:百度智能云

  2018年,百度公布第四季度财报时,也首次披露了百度云的具体营收数字。2018Q4财报显示,百度云第四季度营收达11亿元人民币,比2017年第四季度营收的两倍还要多,同比增长超过100%。跻身中国云计算市场前三名,至此,BAT云计算占据了国内公有云业务的前三名。

  2018年12月18日,百度架构调整,同时也为加快AI与产业结合,承载AI to B和云业务的发展。百度将智能云事业部(ACU)升级为智能云事业群组(ACG)。百度高级副总裁、AI技术平台体系(AIG)和基础技术体系(TG)总负责人王海峰在开放日致辞中也提到了这次重要的技术架构调整。

  “百度技术的平台,不是从去年12月才开始。我们技术积累,从百度公司成立起就开始做。而从2010年初,我们就开始就打造AI技术平台和AI方方面面的一个完整的学习。从2013年开始的百度就开始强调平台化。”王海峰说,同时,我们也逐渐把这些技术开放出来,供社会各界来使用。12月份的调整以后,意味着我们更强化了平台化以及技术平台的能力。

  2018年、2019年无论是互联网厂商,还是ICT厂商,都将AI融入云计算,智能+云成为趋势。2018年,全联接大会上,华为轮值董事长徐直军正式公布了华为的AI发展战略:投资基础研究、打造全栈方案、投资开放生态和人才培养、解决方案增强、内部效率提升。

  其中,全栈方案囊括了,打造面向云、边缘和端等全场景的、独立的以及协同的、全栈解决方案。此次,大会也标志着“+智能”深度融入了华为云计算的业务发展中。国庆期间,腾讯时隔六年的架构再调整。新成立了“云与智慧产业事业群”CSIG。腾讯也落实了2017年“AI in All”的口号。2018年11月26日,阿里巴巴组织架构调整宣布,阿里云事业群升级为阿里云智能事业群。

  在前不久,阿里云主题为“十年再出发”大会上,阿里云数十款重磅产品,也围绕着“智能”展开。应用的数据化、智能化是阿里云的核心之一。由此可见,“智能”+云已成为行业共识。百度作为云计算市场的“后进者”,在短短几年内,迅速“上位”。

  一方面,来自于百度内部对云计算市场的重视。另一方面,云计算作为企业战略“必争之地”,在百度整体AI战略的大框架下,百度对智能云的重视势必将与日俱增。春晚红包也是百度展示其云计算实力最佳的时机。全球信息技术研究和顾问公司Gartner预测,2019年全球公有云服务市场将从2018年的1758亿美元,增长17.3%,达2062亿美元。

  Gartner预计,到2022年,90%购买公有云IaaS的企业机构将从集成IaaS和平台即服务PaaS供应商购买,使用其提供的IaaS和PaaS功能。集成IaaS和PaaS产品的需求正在推动下一波云基础设施的采用。而国内云计算市场,未来在5G、产业互联网、物联网、AI多种技术的驱动下,也将走向综合能力的竞争。

  无论是百度智能云、抑或阿里、华为、腾讯,挑战与机遇并存。

  

雷锋网』的更多其他内容(随机显示)

01、埃森哲研究:仅两成工业企业数字创新回报达预期

2019/4/5 13:25:29

02、AI管理个人视频,分享快乐是否更简单?

2019/4/4 21:55:48

03、Jitendra Malik 荣获 2019 年 IEEE 计算机先驱奖

2019/4/4 20:55:46

04、平安云亮相英特尔新品发布会,用科技驱动未来

2019/4/4 19:55:30

05、FDA新动作!针对AI医疗器械拟议监管框架

2019/4/4 18:26:11

06、UCloud想吃科创板的“第一个螃蟹”

2019/4/4 12:56:26

07、波士顿动力的第一个工业级解决方案:搬运机器人Pick

2019/4/4 12:25:40

08、以航天标准研制,饮冰携三款激光雷达上演价格战?

2019/4/4 11:55:35

09、为什么康佳80%的云服务都使用微软Azure?

2019/4/4 11:28:05

10、试驾广汽丰田雷凌双擎E+:经典的混合动力技术正被传承

2019/4/4 11:27:02

11、为导航系统而生的惯量传感器,博世推出 MEMS 传感器技术集大成者 SMI230

2019/4/4 11:27:01

12、AI新动态:AI自造AI的速度将提升240倍

2019/4/3 15:26:08

13、74项芯片级能力清单曝光,润和软件HiHope平台重装入场IOT

2019/4/3 13:26:12

14、何恺明组基础理论再突破:媲美双阶段方法的单阶段实例分割算法

2019/4/3 12:27:16

15、大众进军纯电动背后:三电技术究竟处于什么水平?

2019/4/3 0:25:37

16、内存融合基础架构发明者MemVerge宣布完成2450万美元A轮融资

2019/4/2 22:55:35

17、5G时代将至,零售商该如何应对?

2019/4/2 19:57:05

18、被锤子耽误的钱晨,去百度搞智能音箱了

2019/4/2 19:55:36

19、“快陪练”获1000万美元Pre-A轮融资,单月营收破千万,俞敏洪跟投

2019/4/2 18:56:16

20、中科院AI医学影像新成果:人工智能可为肝癌患者无创分级

2019/4/2 16:55:54

21、李彦宏谈“智能网联汽车发展三大境界”,最后一公里自动驾驶更早到来

2019/4/2 16:25:38

22、追一科技完成C轮4100万美元融资,用于AI技术、产品研发投入

2019/4/2 15:56:37

23、我国AI医学影像新成果:人工智能可为肝癌患者无创分级

2019/4/2 15:55:39

24、亿智科技完成英特尔投资领投的Pre-A轮融资,二季度量产AI芯片

2019/4/2 10:47:46

25、英特尔“无缝”双GPU X2暂定2020年6月31日发布,性能令人惊叹

2019/4/1 21:47:35

26、今日,英伟达发布惊天 AI 神器

2019/4/1 21:47:35

27、百度、长沙加码自动驾驶,湖南阿波罗智行科技公司成立

2019/4/1 19:47:35

28、志翔科技用大数据技术为行业云构建“安全之翼”

2019/4/1 16:48:18

29、北京自动驾驶路测报告公布:测试排名只是表面,解读百度领跑背后

2019/4/1 16:18:22

30、先科蓝后恒生,蚂蚁金服持续加码传统金融toB服务

2019/4/1 15:17:41

31、这张图里的玄机 可能99%的人猜不到

2019/4/1 12:48:45

32、西湖论剑成长史丨从萌芽破土到枝繁叶茂

2019/4/1 12:48:11

33、缓解电动车的里程焦虑,蔚来NIO Power是怎么做的?

2019/3/31 20:47:53

34、首批区块链信息服务备案清单出炉,共197个服务在列

2019/3/31 20:25:50

35、轻度体验威马Living Pilot智行辅助系统:前期刺激,后期依赖

2019/3/31 13:17:59

36、物流×科技,易流如何用IoT技术加速物流业数字化升级?

2019/3/31 10:17:38

37、对话依图医疗方骢:全栈式AI技术是医疗产业升级的核心要素

2019/3/31 0:49:29

38、关于 AI 的应用与实践,腾讯 AI 研究员做了以下思考

2019/3/29 20:49:14

39、首批吃螃蟹!35 所高校获批开设「人工智能」本科专业

2019/3/29 20:48:20

40、借力 AI 转型的猎豹:身在 To C,心在 To B

2019/3/29 20:47:42

41、腾讯科恩首次发布量产特斯拉安全研究结果:可第三方操控特斯拉行驶方向

2019/3/29 14:19:53

42、大华股份殷俊:AI安防进入成熟期后,“产品应用体验”的价值显然大于技术

2019/3/29 12:49:54

43、解读中兴通讯2018年度财报六个重点:退无可退,唯有一搏

2019/3/29 12:17:57

44、比亚迪发布九款新车 首次展示L4技术和BNA升级架构

2019/3/29 12:17:56

45、晓羊教育获1.5亿元B轮融资,已覆盖1600所学校,新东方领投

2019/3/29 0:47:57

46、飞利浦医疗收购Direct Radiology,加强远程放射学服务能力

2019/3/29 0:19:15

47、年报解读 建设银行能继续在普惠金融的路上一骑绝尘吗?

2019/3/28 21:19:06

48、领投 BLUE Mobile C 轮融资,蚂蚁金服整合东南亚生态布局

2019/3/28 21:17:53

49、触景LEAN AI新品激活平安中国:盾悟II/结构化服务器/双目读头/电警

2019/3/28 20:17:45

50、智能家居:以ZigBee技术实现控制器设计

2019/3/28 15:20:20