HDInsight HDInsight

设置云 Hadoop、Spark、HBase 和 Storm 群集

Azure HDInsight 是完全托管的云服务,通过它,可以轻松、快捷、经济地处理大量数据。使用 Hadoop、Spark、Hive、LLAP、Kafka、Storm、 HBase 等常见开源框架。Azure HDInsight 允许实现许多方案,例如 ETL、数据仓库存储、及其 IoT 等。

服务特征

针对不同大数据方案优化的预配置群集

对群集提供 99.9 % 服务级别协议

高可用性

云缩放的成本效益

网络安全:保护网关 Azure VNET 支持

数据安全:对存储进行加密和基于角色的访问控制

集成:Azure Cosmos DB 和其他 Azure 数据服务

组件

Hadoop

Spark

交互查询

Kafka

HBase

Storm

扩展 HDInsight 以安装任何开源引擎 1

企业安全性套餐

1 由世纪互联运营的 Microsoft Azure 不对这些开源应用提供服务级别协议支持。仅为以上工作负荷提供支持和服务级别协议。

定价特征

Azure HDInsight 群集

群集运行一组依赖于组件的节点,按分钟计费。节点因组(例如辅助节点、头节点等)、数量和实例类型(例如 D1v2)而异。

请参阅以下常见问题解答,了解有关工作负荷和所需节点的详细信息。在群集的生命周期内,客户为每个节点付费。

定价详细信息

HDInsight 群集由一组节点组成。在群集的生命周期内,用户需要付费使用这些节点。计费从创建群集开始,到删除群集结束,每分钟按比例计费。

定价方式

组件 定价
Hadoop、Spark、Interactive Query、Kafka*、Storm、HBase 基本价格/节点-小时 + ¥0/核心-小时
企业安全性套餐 基本价格/节点-小时 + ¥0.06/核心-小时
1 Kafka 需要托管磁盘,客户可选择标准托管磁盘,托管磁盘价格请查看 Azure 存储价格详情 页面。

HDInsight 内存优化节点

*以下价格均为含税价格。

*每月价格估算基于每个月 744 小时的使用量。
实例 内核数 RAM 磁盘大小 价格
E2 v3 2 16 GB 50 GB ¥1.31 /小时
(约合¥974.64 /月)
E4 v3 4 32 GB 100 GB ¥2.63 /小时
(约合¥1,956.72 /月)
E8 v3 8 64 GB 200 GB ¥5.27 /小时
(约合¥3,920.88 /月)
E16 v3 16 128 GB 400 GB ¥10.54 /小时
(约合¥7,841.76 /月)
E20 v3 20 160 GB 500 GB ¥16.92 /小时
(约合¥12,588.48 /月)
E32 v3 32 256 GB 800 GB ¥21.08 /小时
(约合¥15,683.52 /月)
E64i v3 64 432 GB 1,600 GB ¥42.14 /小时
(约合¥31,352.16 /月)
E64 v3 64 432 GB 1,600 GB ¥42.14 /小时
(约合¥31,352.16 /月)

HDInsight 的计算优化节点

*以下价格均为含税价格。

*每月价格估算基于每个月 744 小时的使用量。
实例 内核数 RAM 临时存储 价格
F1 1 2 GB 16 GiB ¥0.531/小时
(约合¥395.064 /月)
F2 2 4 GB 32 GiB ¥1.102/小时
(约合¥819.888 /月)
F4 4 8 GB 64 GiB ¥2.193/小时
(约合¥1,631.592 /月)
F8 8 16 GB 128 GiB ¥4.387/小时
(约合¥3,263.928 /月)
F16 16 32 GB 256 GiB ¥8.763/小时
(约合¥6,519.672 /月)
实例 内核数 RAM 临时存储 价格
F1 1 2 GB 16 GiB ¥0.531/小时
(约合¥395.064 /月)
F2 2 4 GB 32 GiB ¥1.102/小时
(约合¥819.888 /月)
F4 4 8 GB 64 GiB ¥2.193/小时
(约合¥1,631.592 /月)
F8 8 16 GB 128 GiB ¥4.387/小时
(约合¥3,263.928 /月)
F16 16 32 GB 256 GiB ¥8.763/小时
(约合¥6,519.672 /月)
F16s v2 16 32 GB 256 GiB ¥10.597/小时
(约合¥7,884.168 /月)

HDInsight 常规用途节点

AV2 HDInsight 节点在 Av2 标准 VM 上运行,这是最新一代的 A 系列虚拟机,具有类似的 CPU 性能但磁盘速度更快。

*以下价格均为含税价格。

*每月价格估算基于每个月 744 小时的使用量。
实例 内核数 RAM 磁盘大小 价格
A1 v2 1 2 GB 10 GB ¥0.545 /小时
(约合¥405.48 /月)
A2 v2 2 4 GB 20 GB ¥1.079 /小时
(约合¥802.776 /月)
A2m v2 2 16 GB 20 GB ¥2.079 /小时
(约合¥1,546.776 /月)
A4 v2 4 8 GB 40 GB ¥2.169 /小时
(约合¥1,613.736 /月)
A4m v2 4 32 GB 40 GB ¥4.166 /小时
(约合¥3,099.504 /月)
A8 v2 8 16 GB 80 GB ¥4.326 /小时
(约合¥3,218.544 /月)
A8m v2 8 64 GB 80 GB ¥8.328 /小时
(约合¥6,196.032 /月)

A 系列通用节点

A3 是适合许多通用需求的实惠选择。在 Hadoop 上运行基础查询应用程序和模式的客户将因使用 A 系列而受益。

A1 节点只能用作 Storm 的 Zookeeper 节点。A2 节点只能用作 HBase 和 Storm 的 Zookeeper 节点。

A 系列不能用作 Linux 群集中的数据节点,只能用作头节点和 Zookeepers 节点,并且只有 A1、 A2、 A3 可用。

*以下价格均为含税价格。

*每月价格估算基于每个月 744 小时的使用量。
实例 内核数 RAM 磁盘大小 每节点价格
A1 1 1.75GB 70GB ¥0.3981 /小时
(约合¥296.1864 /月)
A2 2 3.5GB 135GB ¥0.9662 /小时
(约合¥718.8528 /月)
A3 4 7GB 285GB ¥1.9425 /小时
(约合¥1,445.22 /月)

D 系列节点:CPU 提速 60%,更大内存,本地 SSD

D1、D2、D11 节点只能用作 HBase 和 Storm 的 Zookeeper 节点。

*以下价格均为含税价格。

*每月价格估算基于每个月 744 小时的使用量。
实例 内核数 内存数 磁盘大小 价格
D1 1 3.5GB 50GB ¥0.5981 /小时
(约合¥444.9864 /月)
D2 2 7GB 100GB ¥1.2362 /小时
(约合¥919.7328 /月)
D3 4 14GB 200GB ¥2.4725 /小时
(约合¥1,839.54 /月)
D4 8 28GB 400GB ¥4.965 /小时
(约合¥3,693.96 /月)
D5 16 56GB 800GB ¥9.8999 /小时
(约合¥7,365.5256 /月)
D11 2 14GB 100GB ¥1.9717 /小时
(约合¥1,466.9448 /月)
D12 4 28GB 200GB ¥3.9434 /小时
(约合¥2,933.8896 /月)
D13 8 56GB 400GB ¥7.8867 /小时
(约合¥5,867.7048 /月)
D14 16 112GB 800 GB ¥11.2234 /小时
(约合¥8,350.2096 /月)

Dv2 系列优化节点:最新一代的 CPU

Dv2 系列是附带更强大 CPU 的新一代 D 系列实例,内存和磁盘配置与 D 系列相同。Dv2 系列实例基于最新一代的 2.4 GHz Intel Xeon® E5-2673 v3 (Haswell) 处理器,通过 Intel Turbo Boost Technology 2.0 可以达到 3.2 GHz。Dv2 系列可以满足需要低延迟、本地 SSD 访问或较快 CPU 来运行应用程序的用户;D系列和Dv2 系列的较高内存能够为使用 HDInsight HBase 的客户提高性能;使用 HDInsight Storm 和 Spark 的用户可通过它更大的内存加载更大的参考数据,并利用它更快的 CPU 实现更高的吞吐量。

D 系列将继续适用,但建议使用 DV2 系列。

*以下价格均为含税价格。

*每月价格估算基于每个月 744 小时的使用量。
*HDInsight Dv2 系列定价和计费标准与 HDInsight D 系列相同,在账单中,HDInsight Dv2 系列会以 HDInsight D 系列名称进行显示。
实例 内核数 内存数 磁盘大小 价格
D1 v2 1 3.5GB 50GB ¥0.5981 /小时
(约合¥444.9864 /月)
D2 v2 2 7GB 100GB ¥1.2362 /小时
(约合¥919.7328 /月)
D3 v2 4 14GB 200GB ¥2.4725 /小时
(约合¥1,839.54 /月)
D4 v2 8 28GB 400GB ¥4.965 /小时
(约合¥3,693.96 /月)
D5 v2 16 56GB 800GB ¥9.8999 /小时
(约合¥7,365.5256 /月)
D11 v2 2 14GB 100GB ¥1.9717 /小时
(约合¥1,466.9448 /月)
D12 v2 4 28GB 200GB ¥3.9434 /小时
(约合¥2,933.8896 /月)
D13 v2 8 56GB 400GB ¥7.8867 /小时
(约合¥5,867.7048 /月)
D14 v2 16 112GB 800 GB ¥11.2234 /小时
(约合¥8,350.2096 /月)

常见问题

全部展开
  • 不同的 HDInsight 群集类型是如何计费的?

    HDInsight 针对每个群集类型部署不同数量的节点。在给定群集类型中有用于各种节点的不同角色,使客户能够将给定角色中的节点大小调整为适合其工作负载详情。例如,如果执行的分析类型大量占用内存,那么 Hadoop 群集可将其工作节点设置为具有大量内存。

    适用于 HDInsight 的 Hadoop 群集部署有三个角色:

    • 头节点(2 个节点)
    • 数据节点(至少 1 个节点)
    • Zookeeper 节点(3个节点)

    适用于 HDInsight 的 HBase 群集部署有三个角色:

    • 控制服务器(2 个节点)
    • 区域服务器(至少 1 个节点)
    • 主节点/Zookeeper 节点(3 个节点)

    适用于 HDInsight 的 Storm 群集部署有三个角色:

    • Nimbus 节点(2 个节点)
    • 监管服务器(至少 1 个节点)
    • Zookeeper 节点(3 个节点)

    适用于 HDInsight 的 Spark 群集部署有三个角色:

    • 头节点(2 个节点)
    • 工作进程节点(至少 1 个节点)
    • Zookeeper 节点(3 个节点)(A1 Zookeeper 免费)
  • 如果我的群集运行不到一小时,将会向我收费多少?

    收费针对的是群集运行的分钟数(四舍五入到最接近的分钟),而不是小时。

  • 可否提供有关计费如何工作的相关示例?

    如果使用 2 个 D13 v2 头节点、3 个 D12 v2 数据节点和 3 个 D11 v2 Zookeepers 运行群集 100 个小时,将有以下计费方案:

    在标准 HDInsight 群集上—100 小时 x (2 x ¥7.8867/小时 + 3 x ¥3.9434/小时 + 3 x ¥1.9717/小时) = ¥3351.87

  • 如何检查是否已正确停止 HDInsight 群集并且将不对其计费?

    若要停止 HDInsight 群集,则必须删除该群集。默认情况下,HDInsight 群集操作的所有数据均位于 Azure Blob 存储中,因此数据将不受影响。如果希望保留 Hive 元数据(表、架构),则应该借助外部元数据商店设置群集。你可以在 这篇文档 中找到更多详细信息。

  • 如何减少不经常使用的群集的成本?

    有多种方式可降低成本:

    • 提高现有群集利用率。
      1. 删除不使用的群集。要详细了解如何删除群集,请参阅 使用浏览器、PowerShell 或 Azure CLI 删除 HDInsight 群集
      2. 减少。要详细了解如何手动缩放群集,请参阅 缩放 HDInsight 群集
    • 使用更低的成本部署群集。这包括恰当计划要使用的节点数量、要用于头节点和工作器节点的节点类型以及要启动群集的区域(因为 HDInsight 提供了可以部署到的许多不同节点类型),以及一系列定价选项。查看本文的“基本价格/节点小时”部分,了解定价;如需了解详细信息,请参阅 HDInsight 群集的容量规划
  • 包含“x”个数据节点的群集的成本是多少?

    若要估算不同大小的群集的成本,请尝试使用 Azure 计算器

  • 我的 HDInsight 群集需要多少个数据节点?

    数据节点数量视你的需求而变化。凭借 Azure 云服务的良好灵活性,你可以尝试多种不同的群集大小,以确定性能和成本的最佳组合,只需为在特定时间使用的服务付费。也可以按需缩放群集,以满足工作负载的要求。

  • 如果我需要的 HDInsight 数据节点数超过了订阅允许的节点数,该怎么办?

    对于所能创建的 HDInsight 数据节点的数目,每个订阅均有默认限制。如果你需要创建较大的 HDInsight 群集或多个 HDInsight 群集,其节点总数超过了当前订阅的最大值,则可以请求提高订阅的计费限制。请打开“支持类型”进行相关操作。根据你请求的每订阅最大节点数,我们可能要求你提供更多信息,以便我们能够优化你的部署。

支持和服务级别协议

如有任何疑问或需要帮助,请访问 Azure 支持 选择自助服务或者其他任何方式联系我们获得支持。

对于 HDInsight,我们保证您部署的任何 HDInsight 群集在每月计费周期中至少在 99.9% 的时间内建立外部连接。若要了解有关我们的服务器级别协议的详细信息,请访问 服务级别协议 页。