大数据计算服务_PB级数据仓库_分析处理海量数据-阿里云

云原生大数据计算服务 MaxCompute

提供快速、完全托管的PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据

控制台迁移

概括

云原生大数据计算服务 ( MaxCompute，原名 ODPS ) 是一种快速、完全托管的 TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

{"moduleinfo":{"benefits":"产品优势","outputBuyBtn4Partner":true,"os_count":[{"count_phone":0,"count":0}],"products_count":[{"count_phone":0,"count":0}],"benefits_count":[{"count_phone":4,"count":4}],"news_count":[{"count_phone":0,"count":0}],"floor":"floor1","outputNews4Partner":"false","regions_count":[{"count_phone":0,"count":0}]},"regions":[],"os":[],"products":[],"benefits":[{"icon":"https://img.alicdn.com/tfs/TB1bCuxXrH1gK0jSZFwXXc7aXXa-108-108.png","title":"大规模计算存储","content":"适用于100GB以上规模的存储及计算需求，最大可达EB级别"},{"icon":"https://img.alicdn.com/tfs/TB13TuxXrY1gK0jSZTEXXXDQVXa-108-108.png","title":"多种计算模型","content":"支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法"},{"icon":"https://img.alicdn.com/tfs/TB1Lc9yXAL0gK0jSZFxXXXWHVXa-108-108.png","title":"强数据安全","content":"稳定支撑阿里全部离线分析业务7年以上，提供多层沙箱防护及监控"},{"icon":"https://img.alicdn.com/tfs/TB1P1OwXAT2gK0jSZFkXXcIQFXa-108-108.png","title":"低成本","content":"与企业自建私有云相比，计算存储更高效，降低20%-30%采购成本"}],"news":[],"$root":{"moduleinfo":{"benefits":"产品优势","outputBuyBtn4Partner":true,"os_count":[{"count_phone":0,"count":0}],"products_count":[{"count_phone":0,"count":0}],"benefits_count":[{"count_phone":4,"count":4}],"news_count":[{"count_phone":0,"count":0}],"floor":"floor1","outputNews4Partner":"false","regions_count":[{"count_phone":0,"count":0}]},"regions":[],"os":[],"products":[],"benefits":[{"icon":"https://img.alicdn.com/tfs/TB1bCuxXrH1gK0jSZFwXXc7aXXa-108-108.png","title":"大规模计算存储","content":"适用于100GB以上规模的存储及计算需求，最大可达EB级别"},{"icon":"https://img.alicdn.com/tfs/TB13TuxXrY1gK0jSZTEXXXDQVXa-108-108.png","title":"多种计算模型","content":"支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法"},{"icon":"https://img.alicdn.com/tfs/TB1Lc9yXAL0gK0jSZFxXXXWHVXa-108-108.png","title":"强数据安全","content":"稳定支撑阿里全部离线分析业务7年以上，提供多层沙箱防护及监控"},{"icon":"https://img.alicdn.com/tfs/TB1P1OwXAT2gK0jSZFkXXcIQFXa-108-108.png","title":"低成本","content":"与企业自建私有云相比，计算存储更高效，降低20%-30%采购成本"}],"news":[]},"$moduleId":"3093554200"}

产品优势

: 大规模计算存储
适用于100GB以上规模的存储及计算需求，最大可达EB级别

: 多种计算模型
支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法

: 强数据安全
稳定支撑阿里全部离线分析业务7年以上，提供多层沙箱防护及监控

: 低成本
与企业自建私有云相比，计算存储更高效，降低20%-30%采购成本

{"moduleinfo":{"title":"精心打造的功能","li_count":[{"count_phone":4,"count":4}]},"li":[{"spm":"a","img":"https://img.alicdn.com/tfs/TB1EYCxXEH1gK0jSZSyXXXtlpXa-108-108.png","more":[{"p":"支持批量/历史数据通道和实时/增量数据通道","tce_rule_count":"1","title":""},{"p":"Tunnel是MaxCompute向用户提供的数据传输服务。该服务水平可扩展，支持每天TB/PB级别的数据导入导出。特别适合于全量数据或历史数据的批量导入。Tunnel提供了Java SDK，并且在MaxCompute的客户端工具中，有对应的命令实现本地文件与服务数据的互通。","tce_rule_count":"1","title":"批量、历史数据通道"},{"p":"另一方面，针对实时数据上传的场景，MaxCompute提供了另一套名为DataHub的服务。该服务具有延迟低、使用方便的特点，特别适用于增量数据的导入。Datahub还支持多种数据传输插件，例如：Logstash、Flume、Fluentd、Sqoop等。同时支持日志服务Log Service中的日志数据的一键投递至MaxCompute，进而利用大数据开发套件进行日志分析和挖掘。","tce_rule_count":"1","title":"实时、增量数据通道"}],"h1":"数据通道","imgAction":"https://img.alicdn.com/tfs/TB1nbCJXxn1gK0jSZKPXXXvUXXa-108-108.png"},{"spm":"a","img":"https://img.alicdn.com/tfs/TB11gGxXxD1gK0jSZFKXXcJrVXa-108-108.png","more":[{"p":"所有数据均以表格式存储，不暴露文件系统。并采用列压缩存储格式，极高的数据压缩比极大节省了用户成本。通常情况下，MaxCompute存储具备5倍压缩的能力","tce_rule_count":"1","title":""}],"h1":"以二维表格式存储数据","imgAction":"https://img.alicdn.com/tfs/TB1cAWIXET1gK0jSZFrXXcNCXXa-108-108.png"},{"spm":"A","img":"https://img.alicdn.com/tfs/TB133GxXxD1gK0jSZFKXXcJrVXa-108-108.png","more":[{"p":"支持SQL、MapReduce、Graph多种计算模型与一身","tce_rule_count":"1","title":""},{"p":"MaxCompute SQL采用标准的SQL语法，兼容部分Hive语法。在语法上和HQL非常接近，熟悉SQL或HQL的编程人员都容易上手。另外MaxCompute提供更高效的计算框架支持SQL计算模型，执行效率比普通的MapReduce模型更高。需要注意的是，MaxCompute SQL不支持事务、索引及Update/Delete等操作。","tce_rule_count":"1","title":"SQL"},{"p":"MaxCompute提供的Java MapReduce编程模型。值得注意的是，由于MaxCompute并没有开放文件接口，用户只能通过它所提供的Table读写数据，因此MaxCompute的MapReduce模型与开源社区中通用的MapReduce模型在使用上有一定的区别。我们相信，这样的改动虽然失去一定的灵活性，例如：不能够自定义排序及哈希算法，但却能够简化开发流程，免除很多琐碎的工作。更为重要的是，MaxCompute还提供了基于MapReduce的扩展计算模型， 即MR2。在该模型下，一个Map函数后，可以接入连续多个Reduce函数。","tce_rule_count":"1","title":"MapReduce"},{"p":"对于某些复杂的迭代计算场景，例如：K-Means，PageRank等，如果仍然使用MapReduce来完成这些计算任务将是非常耗时的。MaxCompute提供的Graph模型能够非常好的完成这一类计算任务。","tce_rule_count":"1","title":"Graph"}],"h1":"计算模型","imgAction":"https://img.alicdn.com/tfs/TB1xieFXpY7gK0jSZKzXXaikpXa-108-108.png"},{"spm":"a","img":"https://img.alicdn.com/tfs/TB1aHaxXEz1gK0jSZLeXXb9kVXa-108-108.png","more":[{"p":"MaxCompute是一个多租户的计算平台。默认情况下，各租户间数据不共享，彼此隔离，但用户可以通过MaxCompute提供的授权机制将数据共享给项目组其他人。","tce_rule_count":"1","title":""}],"h1":"安全","imgAction":"https://img.alicdn.com/tfs/TB1FbCIXAY2gK0jSZFgXXc5OFXa-108-108.png"}],"$root":{"moduleinfo":{"title":"精心打造的功能","li_count":[{"count_phone":4,"count":4}]},"li":[{"spm":"a","img":"https://img.alicdn.com/tfs/TB1EYCxXEH1gK0jSZSyXXXtlpXa-108-108.png","more":[{"p":"支持批量/历史数据通道和实时/增量数据通道","tce_rule_count":"1","title":""},{"p":"Tunnel是MaxCompute向用户提供的数据传输服务。该服务水平可扩展，支持每天TB/PB级别的数据导入导出。特别适合于全量数据或历史数据的批量导入。Tunnel提供了Java SDK，并且在MaxCompute的客户端工具中，有对应的命令实现本地文件与服务数据的互通。","tce_rule_count":"1","title":"批量、历史数据通道"},{"p":"另一方面，针对实时数据上传的场景，MaxCompute提供了另一套名为DataHub的服务。该服务具有延迟低、使用方便的特点，特别适用于增量数据的导入。Datahub还支持多种数据传输插件，例如：Logstash、Flume、Fluentd、Sqoop等。同时支持日志服务Log Service中的日志数据的一键投递至MaxCompute，进而利用大数据开发套件进行日志分析和挖掘。","tce_rule_count":"1","title":"实时、增量数据通道"}],"h1":"数据通道","imgAction":"https://img.alicdn.com/tfs/TB1nbCJXxn1gK0jSZKPXXXvUXXa-108-108.png"},{"spm":"a","img":"https://img.alicdn.com/tfs/TB11gGxXxD1gK0jSZFKXXcJrVXa-108-108.png","more":[{"p":"所有数据均以表格式存储，不暴露文件系统。并采用列压缩存储格式，极高的数据压缩比极大节省了用户成本。通常情况下，MaxCompute存储具备5倍压缩的能力","tce_rule_count":"1","title":""}],"h1":"以二维表格式存储数据","imgAction":"https://img.alicdn.com/tfs/TB1cAWIXET1gK0jSZFrXXcNCXXa-108-108.png"},{"spm":"A","img":"https://img.alicdn.com/tfs/TB133GxXxD1gK0jSZFKXXcJrVXa-108-108.png","more":[{"p":"支持SQL、MapReduce、Graph多种计算模型与一身","tce_rule_count":"1","title":""},{"p":"MaxCompute SQL采用标准的SQL语法，兼容部分Hive语法。在语法上和HQL非常接近，熟悉SQL或HQL的编程人员都容易上手。另外MaxCompute提供更高效的计算框架支持SQL计算模型，执行效率比普通的MapReduce模型更高。需要注意的是，MaxCompute SQL不支持事务、索引及Update/Delete等操作。","tce_rule_count":"1","title":"SQL"},{"p":"MaxCompute提供的Java MapReduce编程模型。值得注意的是，由于MaxCompute并没有开放文件接口，用户只能通过它所提供的Table读写数据，因此MaxCompute的MapReduce模型与开源社区中通用的MapReduce模型在使用上有一定的区别。我们相信，这样的改动虽然失去一定的灵活性，例如：不能够自定义排序及哈希算法，但却能够简化开发流程，免除很多琐碎的工作。更为重要的是，MaxCompute还提供了基于MapReduce的扩展计算模型， 即MR2。在该模型下，一个Map函数后，可以接入连续多个Reduce函数。","tce_rule_count":"1","title":"MapReduce"},{"p":"对于某些复杂的迭代计算场景，例如：K-Means，PageRank等，如果仍然使用MapReduce来完成这些计算任务将是非常耗时的。MaxCompute提供的Graph模型能够非常好的完成这一类计算任务。","tce_rule_count":"1","title":"Graph"}],"h1":"计算模型","imgAction":"https://img.alicdn.com/tfs/TB1xieFXpY7gK0jSZKzXXaikpXa-108-108.png"},{"spm":"a","img":"https://img.alicdn.com/tfs/TB1aHaxXEz1gK0jSZLeXXb9kVXa-108-108.png","more":[{"p":"MaxCompute是一个多租户的计算平台。默认情况下，各租户间数据不共享，彼此隔离，但用户可以通过MaxCompute提供的授权机制将数据共享给项目组其他人。","tce_rule_count":"1","title":""}],"h1":"安全","imgAction":"https://img.alicdn.com/tfs/TB1FbCIXAY2gK0jSZFgXXc5OFXa-108-108.png"}]},"$moduleId":"5055897200"}

精心打造的功能

数据通道

支持批量/历史数据通道和实时/增量数据通道

批量、历史数据通道

Tunnel是MaxCompute向用户提供的数据传输服务。该服务水平可扩展，支持每天TB/PB级别的数据导入导出。特别适合于全量数据或历史数据的批量导入。Tunnel提供了Java SDK，并且在MaxCompute的客户端工具中，有对应的命令实现本地文件与服务数据的互通。

实时、增量数据通道

另一方面，针对实时数据上传的场景，MaxCompute提供了另一套名为DataHub的服务。该服务具有延迟低、使用方便的特点，特别适用于增量数据的导入。Datahub还支持多种数据传输插件，例如：Logstash、Flume、Fluentd、Sqoop等。同时支持日志服务Log Service中的日志数据的一键投递至MaxCompute，进而利用大数据开发套件进行日志分析和挖掘。
以二维表格式存储数据

所有数据均以表格式存储，不暴露文件系统。并采用列压缩存储格式，极高的数据压缩比极大节省了用户成本。通常情况下，MaxCompute存储具备5倍压缩的能力
计算模型

支持SQL、MapReduce、Graph多种计算模型与一身

SQL

MaxCompute SQL采用标准的SQL语法，兼容部分Hive语法。在语法上和HQL非常接近，熟悉SQL或HQL的编程人员都容易上手。另外MaxCompute提供更高效的计算框架支持SQL计算模型，执行效率比普通的MapReduce模型更高。需要注意的是，MaxCompute SQL不支持事务、索引及Update/Delete等操作。

MapReduce

MaxCompute提供的Java MapReduce编程模型。值得注意的是，由于MaxCompute并没有开放文件接口，用户只能通过它所提供的Table读写数据，因此MaxCompute的MapReduce模型与开源社区中通用的MapReduce模型在使用上有一定的区别。我们相信，这样的改动虽然失去一定的灵活性，例如：不能够自定义排序及哈希算法，但却能够简化开发流程，免除很多琐碎的工作。更为重要的是，MaxCompute还提供了基于MapReduce的扩展计算模型，即MR2。在该模型下，一个Map函数后，可以接入连续多个Reduce函数。

Graph

对于某些复杂的迭代计算场景，例如：K-Means，PageRank等，如果仍然使用MapReduce来完成这些计算任务将是非常耗时的。MaxCompute提供的Graph模型能够非常好的完成这一类计算任务。
安全

MaxCompute是一个多租户的计算平台。默认情况下，各租户间数据不共享，彼此隔离，但用户可以通过MaxCompute提供的授权机制将数据共享给项目组其他人。