2024-07-27

江南体育官网下载·大数据分析那些事儿:云上解决方案强在哪华为云BigData Pro告诉你

返回

发布时间:2024-09-08 06:41:15 来源:江南官方网站下载 作者:江南app官方网站


  根据《IDC Market Perspective:中国大数据市场生态体系研究,2019》显示,2018-2023年全球数据空间五年复合增长率(CAGR)达25.8%。而华为也曾在GIV 2025报告中指出:预计到2025年,全球每年新增数据存储量为180ZB,企业的数据利用率将会达到86%。

  不难看出,企业的数据量依然保持着持续快速的增长,数据将成为企业智能生产力,为企业在数字世界与现实世界的深度融合中提供全面的竞争力。那么,如何从规模庞大、多样性的数据中高速准确地提取最有价值的数据呢?拥有一个灵活高效的大数据分析平台就变得尤为重要。

  数据孤岛:如今,企业拥有PB级数据已经成为常态,EB级数据时代也将很快到来。企业需要面向结构化数据、非结构化数据、实时数据等多种类型的数据提供高扩展且统一的数据管理和数据存储能力。

  刚性扩容:在数据空间持续增长的背景下,大数据应用场景不断增加,对企业算力的需求也在加剧提升。而同时,新品发布、热点事件等带来的业务浪涌,也需要企业大数据系统拥有极致的弹性能力。

  利用率低:大数据行业技术栈迭代迅速,企业自行构建IDC中心和自行部署软件,一次性投资大,且折旧成本高,运营运维负担沉重。

  作业拥塞:随着业务的发展,在数据量巨大的背景下,单次分析作业常需要读取TB-PB级的数据,多任务并发下,极易出现作业拥塞。

  面对以上挑战,传统的以私有数据中心为基础的存算一体大数据架构,已无法满足企业海量数据分析的需求。业界知名分析机构IDC在最新的报告中明确指出:企业上云已成必然趋势。因此,在公有云上部署更灵活高效的大数据分析平台,将成为企业的必然选择。

  为应对以上挑战,华为云已正式推出业界首个鲲鹏大数据解决方案-BigData Pro,实现五大升级,为企业提供存算分离、极致高效、极致弹性的大数据服务。同时兼容开源和商业大数据生态,企业大数据应用可0改造平滑移植上云。

  我们知道,当前标准的Hadoop大数据架构,存储与计算是融合的。直观的描述就是,计算服务器和存储硬盘是配置在一起采购和部署的。这种方式带来的问题是,由于计算和存储是固定比例,当计算出现不足,而存储还有很多空间的时候,企业就会遇到无法单独扩容计算节点的问题,反之亦然。

  据华为云云存储服务总经理林超介绍,华为云BigData Pro最核心的优势就是“存算分离”。在方案中,华为云基于云服务的天然优势,对原有的架构进行了优化,推出了存算分离的架构,实现存储和计算的灵活配置,单独扩容,让大数据集群的资源利用率提升75%,而综合成本最高可降低50%。

  林超表示:“华为云BigData Pro鲲鹏大数据解决方案以弹性云容器CCI、弹性云服务器和DLI数据湖探索服务作为计算资源、以高性能的分布式云存储OBS作为存储资源,提供低成本、高可靠、无感扩容的大数据方案。”

  在华为云BigData Pro鲲鹏大数据解决方案中,通过OBS对象存储来管理企业海量数据。OBS具有业界领先的性能,支持千万TPS超高并发,单流2.4Gb/s单流带宽,超业界3倍;小对象上传时延小于10ms,稳定低时延,业界领先。另外OBS海纳数据体现在支持单桶千亿对象,EB级海量存储和PB级的数据处理能力。

  传统多副本的数据存储方式,导致存储系统的空间利用率仅有33%~50%,存储空间浪费较大。而华为云OBS采用的是独创的FlexEC算法,不只提供了高性能的数据访问性能,更是把存储空间利用率提升到了80%,企业存储成本大幅降低。

  不仅如此,OBS还拥有12个9数据可靠性,无限的弹性扩容能力,智能数据分级管理能力,多方式访问能力,并且通过国家可信云认证,安全可靠。

  据了解,华为云对开源K8s进行了深度优化,达到了1000个容器秒级弹性能力,特别有利于实时大数据分析对业务浪涌的弹性响应,并且引入Volcano队列批量调度技术,支持容器的智能拉起等,让企业大数据分析业务编排更加灵活;

  基于上述技术,华为云容器服务在大数据应用场景下,容器间请求转发效率提升50%,数据面访问性能提升10%,让企业真正地做到从容应对数据智能时代。

  华为云BigData Pro解决方案支持当前最主流的大数据生态,不管您的企业当前使用的是开源大数据平台版本,还是商用的大数据软件软件,都能以近乎0改造的成本,把业务平滑移植上到BigData Pro上。

  华为云BigData Pro大数据解决方案通过云服务的方式,让企业大数据应用加速。目前,华为云BigData Pro鲲鹏大数据解决方案可满足多场景的大数据分析处理:

  在互联网行业实现智能推荐,例如斗鱼网络基于华为云BigData Pro鲲鹏大数据解决方案,构建公有云上的存算分离大数据分析平台,分析时长缩短35%;

  在金融行业,可实现信用和风控管理;在电信行业,可提供客户画像与运营决策的大数据分析服务,以及在卫星气象领域包括大数据量实时分析等多种应用场景。

  写在最后。随着5G、IoT、VR/AR、自动驾驶等技术的发展,会涌现更多大数据应用的创新,而面对海量数据带来的算力需求不均、数据结构的多样化、高并发作业等诸多挑战,华为云BigData Pro鲲鹏大数据解决方案通过存算架构进化、多核算力加持、极致弹性的鲲鹏云容器和原生多协议的云存储,为企业打造出全新的数据智能底座,正重新定义企业的大数据未来。

  9月18日-9月20日,2019华为全联接大会(HUAWEI CONNECT 2019)将在上海世博中心举办,各种最新黑科技、产品与解决方案将重磅亮相,敬请期待。

  【ITBEAR科技资讯】4月12日消息,据彭博社的马克・古尔曼最新报告指出,苹果公司正在积极推进M4系列Apple Silicon芯片的研发工作,并有望在2024年年底前将其应用于新一代Mac设备中。这款新型芯片的重点将是提升处理人工智能任务的能力。去年10月,苹果公司发布了M3、M3

  【ITBEAR科技资讯】4月12日消息,近日,知名记者马克·古尔曼披露,苹果公司正在积极推进M4系列芯片的研发工作,该芯片的主要亮点在于其强化的AI功能。据透露,苹果已制定了在今年底至明年初推出多款配备M4芯片的Mac产品的计划,涵盖全新设计的iMac、经济实惠的14英寸Ma

  【ITBEAR科技资讯】4月12日消息,高德地图最近推出了全新的Vision Pro版本,现已在App Store上架,供用户下载体验。此次更新的Vision Pro版,依托于尖端的空间计算技术,旨在带给用户一种科技感更强、沉浸感更深的地图浏览体验。高德地图通过与Vision Pro独特的空间计算

  【ITBEAR科技资讯】4月11日消息,微软官方近日公布了Build 2024开发者大会的详细日程,其中透露了令人期待的消息:微软打算为其官方系统优化和扩展工具PowerToys进行一次重要的功能升级。据悉,微软计划在该工具中引入一个全新的功能——“基于本地AI模型的高级粘贴”。

  【ITBEAR科技资讯】4月10日消息,据最新报道,即将推出的下一代 iPad Pro将首次配备OLED显示屏,此消息在iPadOS 17.5的首个测试版代码中得到了进一步证实。9to5Mac网站深入挖掘了该测试版代码,并发现了四款尚未公开发布的iPad机型,其中明确提及了新的显示技术。这些新

  【ITBEAR科技资讯】4月10日消息,在今日的Intel Vision 2024产业创新大会上,Intel宣布了其下一代面向数据中心、云和边缘的至强处理器系列的全新品牌命名——“至强6”(Xeon 6)。该系列处理器先前以Sierra Forest和Granite Rapids为代号。自2017年Intel发布了第一代至强

  【ITBEAR科技资讯】4月9日消息,小米旗下新品Redmi Pad Pro平板即将在4月10日晚间与大家见面。在此之前,官方已经为这款新品进行了一系列的预热活动。Redmi Pad Pro平板以其独特的外观设计吸引了众多目光,提供浅湾蓝、烟青绿和深灰色三款时尚配色,且从海报中可以看到

  【ITBEAR科技资讯】4月8日消息,近日,知名消息源@Olrak29_在推特上披露了有关AMD Zen 5 Ryzen APU阵容的一些详细信息。据悉,AMD计划推出三个系列的APU,分别是Strix、Kraken和Sonoma。据ITBEAR科技资讯了解,这三个APU系列将结合使用Zen 5和Zen 5C两种核心,但在配置

  【ITBEAR科技资讯】4月8日消息,Mozilla最近为Firefox浏览器的Nightly频道进行了一次更新,其中引入了一项名为Text Fragments的新功能(之前被称为Scroll to Text Fragment)。这一创新特性极大地方便了用户,使他们能够轻松地分享网页中的特定文本或段落。想象一下,当你

  【ITBEAR科技资讯】4月3日消息,微软已正式确认了备受期待的Windows 11升级版本,命名为“Windows 11 2024更新”,预计将于今年秋季,即9月至10月期间向全球用户推出。据ITBEAR科技资讯了解,Windows 11 24H2版本即将在本月迈入重要的RTM(Release to Manufacturing)阶段

  【ITBEAR科技资讯】4月2日消息,近期,知名统计机构Statcounter公布了关于Windows操作系统市场份额的最新报告,其数据涵盖了截至2024年3月的情况。报告指出,自2024年年初达到高峰后,Windows 11的市场份额在随后月份出现了下滑趋势。具体而言,今年2月份,Windows 11的

  【ITBEAR科技资讯】4月1日消息,近日,据权威外媒Semiconductor Engineering报道,在备受瞩目的行业盛会Memcon 2024上,三星电子透露了其雄心勃勃的计划:预计在2025年后,引领业界率先迈入3D DRAM内存新。随着DRAM内存行业不断将线纳米以下的极限,当前的

  【ITBEAR科技资讯】4月1日消息,据外媒Phoronix报道,英特尔正酝酿一场重大的命名变革。这家科技巨头计划调整其沿用了近30年的CPU ID命名规范,此举预计将对其未来处理器和微架构的命名产生深远影响。自1995年英特尔推出第六代x86微架构奔腾Pro以来,“Family 6”便一直

  【ITBEAR科技资讯】4月1日消息,台电今日正式宣布,其全新旗舰平板电脑T65MAX即将登陆市场。这款新品以13英寸的超大屏幕和4扬声器配置为亮点,致力于为用户带来卓越的影音视频享受。台电T65MAX平板电脑的13英寸屏幕,相比传统的10.1英寸平板,提供了高达65%的额外可视面

  【ITBEAR科技资讯】4月1日消息,锤子便签,这款备受瞩目的应用,近日迎来了重大更新。作为(前)锤子科技旗下的明星产品,它在锤子手机T1亮相之前就已经吸引了大量关注。Android版本在2014年5月9日的初次发布,更是被官方誉为“可能是史上最漂亮的便签应用”。经过多年的

  全球首款!华硕8K Mini LED显示器ProArt Display PA32KCX即将发布

  谷歌发布Windows on Arm原生版Chrome浏览器,搭载高通骁龙PC可享更流畅体验

  微软新品发布会推出Surface Pro 10与Laptop 6商用版:性能翻倍,触控操作再升级

  本网站LOGO小熊标志受版权保护,版权登记号:鲁作登字-2015-F-025467,未经ITBEAR官方许可,严禁使用。


江南体育官网下载


TAG标签耗时:0.0024280548095703 秒