了解最新公司动态及行业资讯
数据库性能优化、云时代▓的数据库、NoSQL技术进步、大数据云服务、数据分析与挖掘》、机器学习……不同于“昙花一现”的技术分享会,盛拓组织的2017年会议媒体与←IT168 2018中国数据库技术大会▅()大会第二天依旧干货满满。
12日上午的数据分析与挖掘专场迎来了技术╱嘉宾——联想大数据研发经ζ 理张成松。他从零开始体验了联想大数据平台的发展。一路上,他踩过很多坑,过很多河。明天,张成松』将为我们带来题为《 Spark to MPP - Large-scale -Class Rooms》的演讲。
▲联想大数据研发经理张成松
随着︽业务急剧下滑,数据越来越多,很多企业经常会面临这样的∏困扰:数据查询和数据分析越来越慢,运行半小时往往出不来;没有了,维护成本和费㊣ 用越来越高; T+1数据处理太◣慢,很难知道下一秒的业务是否有问题;不仅是传统的商业数据,智能、可穿戴设╲备数据、非结构化数据也越来越多。
在〓这种情况下,传统的№企业级数据库机房势必会向大数据平台转变。张成松觉得,在这卐个转型过程中,需要解决三个问题。一是传统数据应用问题,涉及历史数据◇迁移、与传统数据库机房和应用工↑具的无缝集成、对原有业务处理逻辑的适配、数据支持卐等。 CRUD,支持存储过程;二是大数据预估,涉及PB级数Ψ 据预估、结构化与非◤结构化数据存储、应用、大数据场景数据分析、大数据环境下的数据修复;第⊙三个是实时数据处理问题,涉及实时数据采集、流技术、实时估计、交互、多维数据分析探索∞。
张成松表示☆,企①业级大数据实施平台分为三类,一类是两套框架MPP+,数据独立♀存储,集群间数据同步,缺点是资源浪费;系统,数据独立○存储,具体接入服务,可按需选择估算引擎;三是一套/框架it技术支持,既支持〖大数据估计,也支持传统的数据库机房。导出历史数据后it技术支持,同意保存数据¤。
张成松现场分享了他们在上的相关操作:
张成松表示,实现数据CRUD操作,支持存储过程、游标、函数、变量等ω逻辑,只是Spark架构中实现MPP功能的第一步。为了提高执行效率和性能,还需要从不同层面♂对引擎进行优化。
联想的大数据企业级分析平台最初是为了支持其手机业务而设计的。经过6年的※持续投入和300余名研发人员,联想在上海、成都、香港拥有3个研发中心,拥有200余名】大数据开发人员。工程师,60多位大数据平台运维工程师。目前联想总数据」容量12PB,总数据10PB,日新增数据30TB,日处理数据4.3PB。
此外,联想大数据企业级分析平台由数据采集与□转换套件、大数据估算平台、数据能力开放平台、业务分析套件、数据□ 资产管理平台和系统运营平台六大部分组成维度监控中心。
,