云原生数据湖分析(Data Lake Analytics,简称数据湖分析) 采用弹性架构,提供一站式的数据湖分析与计算服务,支持 ETL、机器学习、流、交互式分析;可以分析与集成对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源;功能包括数据入湖,元数据管理与自动发现,支持双引擎:Presto、Spark。
兼容开源Presto、Spark的语法和多个版本,快速上手。
Serverless形态,无需购买任何资源,互联网直接访问,降低运维成本,免去大数据库系统构建烦扰。
OSS数据直接分析,构建大规模分析数据集,延迟大约为10分钟。
集群按需快速扩展,1分钟最快弹出300个节点,灵活应对业务变化。
Serverless形态
数据湖分析采用Serverless形态,无基础设施和管理成本,互联网直接访问,开箱即用,按需付费,不需要长期持有分析成本,升级期间对业务影响小,产品迭代敏捷快速。
Presto引擎
Presto引擎是数据湖分析基于Presto打造的交互式分析引擎,接入MySQL协议,可使用任何兼容MySQL协议的工具来进行数据分析,适合Adhoc查询、BI分析、轻量级ETL等数据分析场景。
Spark引擎
Spark引擎是基于开源Spark打造的服务化的大数据分析与计算服务,兼容开源Spark语法、所有的API和多个版本,支持SQL语言和DataFrame代码。适合大量数据清洗,Streaming,编写Java、Scala、Python等SQL难表达的场景。
CU时资源包
采用按量付费+资源包的付费模式,适用于业务量波动较大且频繁场景。用资源包抵扣数据湖分析所有按量付费实例(Presto和Spark引擎实例)消费,使用期间按量付费实例灵活升降配,不用考虑升配后剩余预付费时长的差价,资源包不使用不抵扣,相比包年包月和按量付费更灵活易用,性价比高。
CU版本
支持数据湖分析Presto和Spark引擎实例,适用于查询频率高、查询数据量较大的场景。按CPU和内存规格进行收费,如1核4GB为1CU,单价为0.35元/小时。支持包年包月和按量付费两种计费模式。
扫描量版本
仅支持数据湖分析Presto引擎实例,适用于查询频率低、查询数据量较小的场景。按扫描的字节(Byte)进行收费,如扫描每TB数据的费用为28元。支持流量包(包年包月)和按扫描量付费(按量付费)两种计费模式。
优越弹性
数据湖分析Spark引擎支持Job级别的弹性,可设置长期保有资源(MIN)、弹性资源上限(MAX),MIN最小为0,实例可自动根据业务波峰波谷在MIN 与 MAX 之间弹性扩缩容,无需提前预留资源,降低成本的同时保持业务稳定运行;同时支持秒级拉起,目前每分钟可以拉起500~1000个计算节点,可以快速响应业务资源需求。
元信息发现
可以自动为OSS上面的数据文件创建及更新数据湖元数据,方便分析和计算。具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。
多源数据实时入湖分析
支持构建实时数据湖,延迟大约为10分钟;无需ETL,可使用SQL跨OSS、关系数据库(PostgreSQL、MySQL等)、NoSQL(TableStore等)多种数据源分析,屏蔽各种数据源访问的差异性;分析环境与生产库隔离,分析过程不会对数据源端的业务系统产生造成影响。
GUI工具丰富
支持Microstrategy、MySQL Workbench、DBeaver等多种MySQL GUI管理工具。
多种可视化工具支持
与QuickBI、Tableau、DataV等BI工具集成度高、兼容性好。
兼容标准SQL
兼容SQL:2003标准,支持标准JDBC/ODBC协议,丰富的内置函数支持,数据库般的使用体验。
加和科技通过数据湖分析+OSS的超强分析能力来应对业务波峰波谷。同时,数据湖分析提供的Serverless的弹性服务为按需收费,不需要购买固定的资源,无需专门运维人员,代码通用,无额外学习成本,相对性价比提升30%;临时业务承接率提升200%-300%,平均任务耗时降低67%。
云原生数据湖分析帮助易点天下在数据采集、存储和分析的全链路中,实现了时间、成本、安全、计算效率等方面的改善,使得综合运行成本降低大约 50%。支持直接通过SQL语句分析OSS等数十种源数据,大幅提升数据查询分析能力,助力业务发展。
采用云原生架构,大幅降低运维工作量
Serverless Spark版本解决如下场景业务挑战:需要自定义Code,SQL很难表达的,例如编写Java、Scala、Python或者SQL带条件的,大规模的清洗,例如1天清洗OSS 1TB~1PB的数据;需要算法支持,需要支持Streaming。
Serverless Presto版本解决如下场景业务挑战:快速搭建报表,例如QuickBI加速,友盟返还数据分析;支持轻量级的ETL,简单利用SQL就可以实现快速的清洗。
异构数据实时分析,为数据驱动提速
该场景需要对多种类型的数据源进行联合查询和实时分析,传统方案过程繁琐费时。云原生数据湖提供提供多种数据源之间联邦分析能力,屏蔽各种数据源访问的差异性,快速挖掘数据价值。
海量数据分析慢,自建数仓成本高
直接使用生产库对海量数据分析,不仅会对线上业务产生影响,还可能出现超时,查询失败的现象;但自建数据仓库又需投入大量的软硬件资源、研发成本及运维成本。
应用访问全站加速,行为日志分析能力轻松拥有
云原生数据湖分析提供数据采集、快速查询分析及存储的全链路支持,全站加速、日志存档分析一步到位,实现数据驱动业务增长。
微信公众号
手机站
COPYRIGHT 2007-2020 TUIDC ALL RIGHTS RESERVED 腾佑科技-百度AI人工智能_百度人脸识别_图像识别_语音识别提供商
地址:河南省郑州市姚砦路133号金成时代广场6号楼13层 备案号: ICP备案号:豫B2-20110005-1
声明:本站发布的内容版权归郑州腾佑科技有限公司所有,本站部分素材来源于网络及网友投稿,若无意中侵犯了您的版权,请致电在线客服我们将在核实后予以删除!