织梦CMS - 轻松建站从此开始!

辽阳在线配资

当前位置: 辽阳在线配资 > 互联网 > 写速度提升20%,Elasticsearch给腾讯云发感谢东方财富是正规证券吗信

写速度提升20%,Elasticsearch给腾讯云发感谢东方财富是正规证券吗信

时间:2019-09-16 01:02来源: 作者:admin 点击: 38 次
近日,Elasticsearch的创始人兼首席执行官ShayBanon向腾讯云发出了一封“特別”的邮件,专程对腾讯团队为Elasticsearch开源社区做出的贡献表示了感谢。据了解,腾讯工程师通过提交代码,成功优化了Elasticsearch高并发写入性能,实现将1000万数据量的写

近日,东方财富是正规证券吗Elasticsearch 的首创人兼首席执行官Shay Banon 向腾讯云发出了一封“特別”的邮件,专程对腾讯团队为Elasticsearch开源社区做出的孝敬暗示了感激。

据了解,腾讯工程师通过提交代码,乐成优化了Elasticsearch高并发写入机能,实现将1000万数据量的写入时长从本来的18分钟缩减至15分钟,速率提升20%,并在Elasticsearch开源社区分享了项目方案。

Shay Banon 在发给腾讯副总裁、腾讯云总裁邱跃鹏的感激信中暗示:

“我们最近对Elasticsearch进行了重大而巧妙的改造,这是由腾讯的一位开发者提出的。这种改造使Elasticsearch的某些类型的写速度提高了约20%,我们很是等级后续与腾讯云继承保持这种良好的相助干系。”

事实上,在今年5月的腾讯全球数字生态大会上,腾讯云与Elastic签署了计谋相助协议。双方同意在产物、技能、生态三个维度展开相助,依托Elastic在搜索软件规模的产物和技能优势,以及腾讯云在云计较大数据规模的技能能力和市场资源,双方联合推出具备高级商业特性的腾讯云Elasticsearch Service ,该版本上线了集群权限打点、SQL、呆板学习、图查询等高级成果。并结合腾讯云全球领先的公有云架构,实现Elasticsearch集群应用的低本钱、易开发、易打点、高可用、高安详性。

其实,东方财富股票这次源码优化的契机,源自腾讯内部一站式智能化的大数据处事平台全民BI的真实业务场景,个中,全民BI的统计成果,在底层使用了Elasticsearch的开源代码。在实际使用中,因为存在历史数据比对的需求,需要每天全量导入新的数据。数十亿级的数据量,凌驾500个标签,需要尽可能的快速的导入到ES系统中,但这一块经过多次的参数优化,依然需要几个小时才能完成导入,是整个系统的一大瓶颈。

在此配景下,腾讯全民BI团队开始着手优化Elasticsearch高并发场景下的写入机能。项目团队通过阐明ES的写入机制,在多次仓库阐明取样中,发行较多线程因writeLock被rollGeneration占用,在获取锁的爬山上耗时偏长。因而将优化的出力点,从参数的调优转移至线程的优化。项目团队最终在尝试理论值的基本上,通过优化rollGeneration,实现将1000万数据量的写入时长从本来的18分钟缩减至15分钟,速率提升20%。

“很是感激Elastic公司首创人之一和技能卖力人Simon Willnauer的支持和建议,本次优化大幅度提升全民BI系统的数据阐明效率,接下来,这些领先的特性都能够在腾讯云Elasticsearch Service上获取。” 主要卖力人暗示。

越发值得等级的是,这次优化只是一个初步,未来仍存在较多优化空间,腾讯云目前正在积极与开源社区相同中。

值得注意的是,这次社区代码孝敬并不是腾讯的个体案例。从2010年开始,腾讯就开始通过“三步走”的开源打算,积极瞄准代码开放和社区祈祷,从关闭伶仃向协同开放和社区开放管理的纵深偏向成长。

“我们将通过内外部开放源代码的方法,积极祈祷全球科技配合体的构建。”腾讯公司董事会主席兼首席执行官马化腾在八月底重庆召开的2019智博会岑岭论坛上暗示。

如今,腾讯正以发妻者、孝敬者等差异方法积极祈祷开源。在社区孝敬方面,腾讯已经获得 OpenStack 社区、Linux 基金会、LFAI 基金会、MariaDB 基金会、Apache 基金会等多个白金会员或白金赞助商身份。

去年,腾讯云向 KVM 内核孝敬了 40 个 patch,持续第二年登上 KVM 全球开源孝敬榜,也成为中国独有入选云厂商。今年初,腾讯云正式兴兵基本设施层面四大焦点技能项目,别离涵盖数据中心、网络、处事器以及自动化平台规模,并公布将这四大技能项目全部孝敬给开源 OCP 社区。

而在自主开源方面,截至2019年8月,腾讯已在Github上兴兵82个开源项目,包括微信、腾讯云、腾讯游戏、腾讯AI、腾讯安详等相关规模。腾讯发妻的开源项目累计在 Github 获得了24W+ Star数,在海内和国际收获了遍及的存眷和承认。

未来,腾讯还将进一步拓宽开源的范畴,在开放、共享、协力开发的研发模式中,不绝夯实已有的技能能力,不绝深化与开源伙伴间彼此促进的良性干系。

(责任编辑:)
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:
发布者资料
查看详细资料 发送留言 加为好友 用户等级: 注册时间:2019-12-14 13:12 最后登录:2019-12-14 13:12