收藏页面     下单流程
分站加盟
首页>空包>正文

单号网浅析:阿里巴巴副总裁李飞飞: 数据库正迎来智能化及自动化挑战

2019/7/30    来源:空包90    作者:admin    分享到:

  单号网认为,现代生活之中,很多朋友都是有着进行网络购物的习惯,因为进行网络购物非常的方便,这也使得我们国家的电商行业发展非常的迅速,在我们国家的电商行业之中,阿里巴巴一直都是其中的巨头企业,甚至可以说是龙头老大,而阿里巴巴不仅仅是在电商行业之中取得了巨大的成功,在马云的带领下,阿里巴巴在很多领域都是取得了不错的发展,现代社会是一个数据的社会,只有掌握更多的数据,更全面的数据,才能够真正的掌握企业的发展方向,才能够让企业获得更多的利益,而阿里巴巴在数据库方面的发展,也是一直走在了很多企业的前列。
 
  在POLARDB我们通过分布式共享存储,上面是我们一写多读的计算节点,所有的节点看到的是一份物理数据,避免了传统MySQL主备架构里面这种对计算以及存储资源的浪费,有读写分离,同时我的存储和计算分离以后,我的计算节点我所有的状态信息都在一份数据里面,我可以按照客户的需求弹出或者缩进计算资源,按需按量使用分配。
 
  为了在我的多个节点之间做负载均衡,我们前面做了一个智能的PolarProxy,这个PolarProxy会把客户的应用发放到Proxy这边做一个动态的负载均衡,智能化地把请求分发到不同的节点上去,当然所有的写更新的节点都会发到主节点,所有的查询读就会通过我的PolarProxy去下发。下面这一层我的分布式共享存储这一层,做了PolarStore,上面有一个文件系统无缝对接类似像MySQL或者PG这样的内核。
 
  这个展开再讲一下在Polarstore这一层发生了什么事情,我们有把数据分块这样的概念,每个数据进来会打成很多个小的块,然后每个小块我会分三份,这三份之间保证数据一致性。这个在分布式共享存储这个层面上实现了数据的高可用,永远不用担心数据丢失这个问题。
 
  另外我们在主节点和物理节点之间,通过我们的Redo日志进行持续的数据回放,不仅仅依赖物理数据,也尽可能利用日志的数据,因为我的主节点更新下来以后,只读节点如何保证他能读到最新版本,我通过Redo日志的回放,来保证他们的数据一致性。
 
  这一页主要再深入解释一下刚才Proxy所做的事情,主要就是安全防护,最重要的是他有一个统一的访问节点来做动态的负载均衡,这样的话我的会话一致性、负载均衡、安全保护等等都通过一个节点完成。
 
  利用这些架构以后就做到了极致的弹性,可以通过这一层实时监控下面Polarstore用户所分配的存储空间以及实际使用的空间。当他实际使用的空间已经逼近我跟他分配的空间的时候,我会自动地帮他进行弹性的扩容。反过来讲如果他使用的空间远远好于我分配给他的空间,我可以智能化动态帮他进行弹性的缩融。
 
  在计算这一层可以根据计算需求弹出新的只读节点,当你完成任务时也可以缩回去。这样的话带来下面这个图,我可以相对于传统的POLARDB架构完美地满足客户对弹性计算、弹性资源的需求,按需按量使用。怎么理解?黑色的部分表示你必须要使用的资源,比如你的存储,你有10T的数据,不管你怎么做架构,这部分的资源必须付出成本。这一块的资源,可能是你在高峰期产生的资源消耗,在POLARDB这个架构下我可以按需按量使用,等你在业务峰值的时候弹上来需要的资源,然后快速释放。就有点像家里使用自来水的感觉,对客户业务有非常大的帮助和好处。
 
  第三种架构分布式架构,结合DRDS,我们在上面挂一层DRDS以后,上面可以跑多个POLARDB,这个也是支持我们集团双十一的核心架构和技术方案。
 
  TP这块讲完,下面讲讲闭环里面很重要的一环实时数仓,当我有海量数据的时候,一种你使用传统的解决方案,另一种是使用传统的数仓,传统的数仓都需要建一个DataQ,DataQ带来的问题在于你需要跑非常昂贵的ETL,如果你那个没有在DataQ里面,你实际上没有办法做实时的BI分析。说白了传统的数仓用DataQ的技术,就是把答案提前算出来,如果那个答案没有算出来,你没有办法做实时交互性的分析。
 
  如果你用大数据的技术,从技术来讲他用的是一个BSP的模型,这里面就有很重要的问题,大家可能也听说过一个很重要的技术,所有人要等最后一个任务完成才能跑下一轮。我们ADB怎么解决问题?用数据库的技术解决大数据分析问题,我们不需要建DataQ,我们做了一个智能化的资源调度管理器,动态分配计算资源和存储资源,同时我做了CBO以及全量的代码生成,这些技术以后我做了将大数据的生态演进到现在我们推出的新概念叫做快数据,从大数据到快数据的演变。
 
  大数据生态里面这些传统的大数据明星公司纷纷在走下坡路,我们认为将来的下一代大数据分析,一定是全量数据+实时分析。
 
  单号网认为,从上面的描述之中,我们可以看出,现在的阿里巴巴在数据库的发展方面,也是遇到了一些挑战,那就是智能化与自动化,随着科学技术的发展,尤其是网络技术的发展,智能化一定是未来发展的一个趋势,再加上自动化之后,数据库的发展将会迎来一个高峰期,而阿里巴巴也是在努力的适应这一个高峰期,虽然现在的社会还没有进入到智能化社会,但是随着技术的发展,智能化一定会实现,而现在阿里巴巴也是不断的在做着准备,希望自己的智能化能够得到更好的发展,从而帮助自己的数据库继续领先,这也使得阿里巴巴的营收不断的提高,超过了很多的传统企业。
 
  空包网 http://www.kongbao90.com/
上一篇:一元空包网浅析:凭什么软银为它投了2.4亿美元?还有比拼多...    下一篇:空包网黑产浅析:借呗功能突然被关闭,支付宝还有欠款怎么办?...
空包网(www.kongbao90.com)单号网提供空包90 今天起充值50送VIP价格,充值100送代理商价格 !最便宜最专业的空包单号网空包代发平台!