2021-06-26

江南体育官网下载·亚马逊云科技推出“智能湖仓”架构 旨在重塑大数据

返回

发布时间:2024-09-08 06:39:46 来源:江南官方网站下载 作者:江南app官方网站


  云科技针对数据及数据剖析等服务继续发力,推出引领大数据未来的“智能湖仓”架构,并2021年头至今在由云科技全面而深化的数据服务无缝集成,打通了数据湖和数据仓库之间数据移动和拜访,而且进一步完结了数据在数据湖、数据仓库,以及在数据查询、数据剖析、机器学习等各类专门构建的服务之间按需移动,然后构成一致且接连的全体,满意客户各种实践事务场景下的不同需求。亚马逊云科技“智能湖仓”架构具有灵敏扩展、专门构建、数据交融、深度智能和开源敞开五大特色,包含数据源、数据吸取层、存储层、目录层、数据处理层和消费层六层架构,可协助客户轻松应对海量事务数据,充沛发掘数据价值。

  亚马逊云科技大中华区云服务产品部总经理顾凡表明:“大数据关于现代商业的影响显而易见。用户期盼从数据中取得洞悉,但一起也面临数据存储、处理和剖析等方面的许多应战,例如数据指数级增加、数据来历纷歧、数据类型多元化等等。面临细分的运用场景,现在市面上单一、通用的数据处理计划在功用上会有所退让,很难满意客户的实在需求,用户亟需交融了易用、易扩展、高功用、专门构建、安全及智能等特性于一体的新一代数据办理架构。亚马逊云科技‘智能湖仓’架构在打通数据湖和数据仓库的根底上,进一步将各种数据服务无缝集成,保证数据在不同服务之间顺利活动,致力于协助客户尽可能最大程度地进步其数据价值,加快立异,并成为数据驱动型安排。”

  据悉,亚马逊云科技“智能湖仓”架构有七次演进:1。支撑买卖型事务系统的需求催生了联系型数据库MB-GB级;2。数据库拿手事务性,不拿手剖析型的作业,所以数据仓库专门做事务剖析, TB级;3。处理互联网半结构化/非结构化数据爆破,数据技能转向分布式核算方向Hadoop,PB级;4。打破数据孤岛,以低本钱/高扩展/高可用的存储先存再淘金,催生了数据湖,EB级,咱们是第一个变概念为商用的;5。跟着剖析洞悉力的民主化,催生了专门构建的剖析引擎;6。有了湖,仓,杂乱的查询打通湖和仓的催生出来了2017 spectrum;7.Reinvent 2020,Lake House architecture, 不只湖仓,在数据湖和各种专门构建的数据服务之间移动数据,催生了Glue Elastic view, Redshift ML。

  亚马逊云科技“智能湖仓”架构以Amazon Simple Storage Service(Amazon S3)为根底构建数据湖,作为中心存储库,环绕数据湖集成专门的“数据服务环”,包含数据仓库、机器学习、大数据处理、日志剖析等数据服务,然后再运用Amazon Lake Formation、Amazon Glue、Amazon Athena、Amazon Redshift Spectrum等东西,完结数据湖的构建、数据的移动和办理等。亚马逊云科技“智能湖仓”架构具有以下五个特色。

  一是灵敏扩展,安全牢靠。亚马逊云科技“智能湖仓”架构用Amazon S3作为数据湖的存储根底,客户可根据不断改动的需求,灵敏扩展或减缩存储资源。Amazon S3可到达 99.999999999%(11 个 9)的数据持久性,且具有强壮的安全性、合规性和审计功用。

  二是专门构建,极致功用。为了满意客户不同的数据剖析需求,亚马逊云科技供给全面而深化的、专门构建的数据剖析服务,包含交互式查询服务Amazon Athena、云上大数据途径Amazon EMR、日志剖析服务Amazon Elasticsearch Service、Amazon Kinesis、云数据仓库Amazon Redshift等。这些专门构建的数据剖析服务为客户供给了极致功用,客户在运用过程中不用在功用、规划或本钱之间做出任何退让。其间Amazon Redshift的性价比是其他企业云数据仓库的三倍,AQUA(分布式硬件加快缓存)使 Redshift 查询的运转速度比其他其他云数据仓库最高快 10 倍;Amazon EMR运转大数据处理及剖析服务的本钱不到传统本地处理计划的一半,但其速度比规范 Apache Spark 快 3 倍以上。

  三是数据交融,一致管理。亚马逊云科技“智能湖仓”架构不止是打通了数据湖、数据仓库,还进一步将数据湖、数据仓库以及一切其它数据服务组成一致且接连的全体。在实践运用场景中,数据需求在这些服务与数据存储计划之间,以及服务与服务之间按需来回移动,跨服务拜访。亚马逊云科技“智能湖仓”架构降低了数据交融与数据同享时一致安全管控和数据管理的难度。其间,Amazon Glue供给数据无缝活动才干,Amazon Lake Formation供给了快速构建湖仓、简化安全与管控的全面数据办理才干。

  四是灵敏剖析,深度智能。亚马逊云科技将数据、数据剖析服务与机器学习服务无缝集成,为客户供给更智能的服务。例如Amazon Aurora ML、Amazon Redshift ML、Neptune ML等,数据库开发者只需运用了解的 SQL 句子,就能进行机器学习操作;Amazon Glue、Amazon Athena ML、Amazon QuickSight Q等,可以协助用户运用了解的技能,乃至自然语言来运用机器学习,协助企业运用数据做出更好的决议计划。用户还可以经过机器学习服务Amazon SageMaker、个性化引荐服务Amazon Personalize等发掘数据智能。

  五是拥抱开源,敞开共赢。亚马逊云科技“智能湖仓”架构中的要害组件如Amazon EMR、Amazon Elasticserach Service、Amazon MSK的中心都根据开源代码,接口与开源彻底兼容,无需改动任何代码就可以完结搬迁,也兼容干流的办理东西。OpenSearch 根据敞开的Apache2.0 授权,其代码彻底敞开,用户可以免费下载运用并取得企业级的功用。这些服务答应用户在转型过程中,以十分低的改造本钱向云端搬迁。

  现在,全球数以十万计的客户挑选亚马逊云科技进行数据办理及剖析。在我国,TCL、丰田互联、欣和、德比软件、安克立异、启元国际等各职业客户,正在选用亚马逊云科技数据相关服务,展开数据管理及数据价值发掘。其间,TCL根据亚马逊云科技“智能湖仓”架构建立的处理计划,将传统的数据库、数据仓库与数据湖打通,消除了数据孤岛,让全品类IoT设备的数据和事务系统完结了互联互通,海外事务与国内事务完结了数据一致。TCL运用了亚马逊云科技广泛的云服务,包含:运用Amazon S3构建数据湖,经过大数据剖析服务Amazon EMR、Amazon Redshift和机器学习服务取得数据洞悉等。经过运用亚马逊云科技专门构建的数据剖析服务,之前需求一周才干完结的杂乱数据报表,现在仅需求1-2小时;每天运转300个以上的作业发生200多个BI报表,为运营和数字化营销供给有力支撑。

  启元国际(北京)信息技能服务有限公司是一家抢先的人工智能途径公司,公司具有深度学习、强化学习等自主研制的中心技能和产品,以SaaS的方式,为国内多家闻名的游戏公司供给虚拟玩家陪玩、游戏产品引荐、关卡数值规划、游戏内容生成等服务。启元国际运用了亚马逊云科技全栈的数据剖析服务进行高效开发布置,保证事务快速安稳发展。启元国际CTO龙海涛表明,“作为一家抢先的AI公司,咱们期望把更多精力聚集在算法迭代与产品打磨,咱们需求老练、安稳、免运维的大数据保管服务。亚马逊云科技智能湖仓经过数据的交融,专门构建的剖析东西,牢靠高效地支撑了咱们灵敏的事务迭代,其间Amazon Kinesis完结了分钟级布置,并承载百万QPS(每秒查询率)流数据;Amazon EMR、Amazon Managed Workflows for Apache Airflow使批处理运转的时刻减少了80%,运营总本钱下降了50%;Amazon Glue 、Amazon Athena、Amazon QuickSight等服务完结了即席查询秒级呼应。”

  亚马逊云科技构建了强壮的合作伙伴网络,经过合作伙伴网络成员构建职业数据办理处理计划。上海驰骛 (ChiefClouds) 信息科技有限公司,是国内抢先的顾客数据营销途径供货商,为企业建立顾客数据途径(CDP),以此为根底构建掩盖数字媒体和阵地运营、CRM、才智导购等场景的全途径和全链路顾客运营系统。驰骛科技创始人兼CEO 程华奕表明,“作为企业级数据办理途径的实践者,咱们十分认可亚马逊云科技的智能湖仓架构。以Amazon S3为中心的数据根底途径,让咱们在服务客户时,在数据安全性、牢靠性、功用和扩展性等方面都没有后顾之虑。亚马逊强壮的数据剖析办理东西组合,让咱们可以对各种数据处理和剖析挥洒自如,方便、高效地运用机器学习发掘数据智能,服务于客户的事务立异。”

  亚马逊云科技半年内涵我国区域新增的近40项数据及数据剖析相关的服务及特性,进一步强化了亚马逊云科技数据以及数据剖析相关服务组合。其间,Amazon Glue 2.0 版别将作业发动时刻缩短了10 倍,而且可供给1分钟最短计费继续时刻,Amazon Athena 2.0 包含多项功用改善和新功用,Amazon Lake Formation在宁夏区域推出(去年底在北京区域推出),Amazon Redshift、Amazon EMR、Amazon Elasticsearch Service、Amazon SageMaker等均发布了许多新特性。


江南体育官网下载


TAG标签耗时:0.0024280548095703 秒