Header Place holder

标签:HDInsight

Azure HDInsight HBase DR解决方案

星期四,2015年4月9日

Sun wei Sat, Feb 28 2015 3:07 AM Apache HBase是目前非常流行的NoSQL数据库,通过HDFS+Zookeep+Master+Region Server的架构避免了单点故障具有很高的可靠性。在Azure HDInsight中的HBase也提供了相应的功能,通过Azure Storage来代替HDFS并提供了3个zookeeper及在多个workernode上的region server,并提供每月99.9%的SLA。但是对于一些更苛刻的场景,用户还需要DR的方案来保证业务的连续性...

Reduce对Pig作业性能的影响

星期二,2015年4月7日

Amber Zhao Wed, Feb 25 2015 3:36 AM 很多用户在使用HDInsight的Pig功能时,发现有时很简单一个Pig Latin的relation会花费很长时间执行,当HDI使用MR框架时,由于Pig会根据具体的relation拆分成相应的Map和Reduce任务。根据Hadoop的MR框架如下特点,针对Reduce并行度的优化,会对Pig的作业有很大的性能影响。 Hadoop的MR框架中有以下特点: Map的并行度个数是由输入文件来决定,而Reduce并行度的个数是由Parallel关键字来决定...

在Azure HDInsight HBase集群中使用Thrift接口

星期二,2015年4月7日

Sun wei Wed, Feb 25 2015 2:17 AM Apache Thrift 是一种可扩展的跨语言服务接口,可以通过内置的代码生成引擎帮助创建跨语言服务类库, Apache HBase 也是通过Thrift sever与Python,Ruby等其他程序开发语言进行交互。但是默认情况下Thrift Server默认不是启动的,需要手工处理一下。在Azure HDInight HBase中这种处理的方式有2种,我们可以根据使用场景来进行配置。 第一种方法相对简单,我们可以通过RDP远程连接到HeadNode0上...

Azure HDInsight与Hadoop周边系统集成

星期五,2015年2月13日

Sunwei 9 Dec 2014 1:54 AM 传统的Hadoop系统提供给用户2个非常优秀的框架,MR计算框架和HDFS存储框架,尽管MR已经显得有些老迈而缓慢,但是HDFS还是很多应用系统的基石,很多应用都可以把HDFS作为系统的基本数据输入和输出方式。HDFS的基本特征就是数据是分布式切块存储,通过多副本冗余的方式来提供数据持久性保障,并且可以通过节点的增加来进行系统的扩容,这也是很多用户和系统所看重的特点。目前在Hadoop社区里面有各种各样的组件和解决方案用于处理海量数据、可靠性消息...

Azure HDInsight 现已在中国正式发布

星期三,2014年11月26日

今年 9 月, 我们宣布 微软成为全球首家在中国公开发布云 Hadoop 产品公共预览版的云提供商。今天,微软非常高兴地宣布 Azure HDInsight 现已在中国正式发布。中国本土组织以及在中国设立了办事处的跨国集团均可在数分钟内启动一个 Hadoop 群集。 中国版 Azure HDInsight 页面 (中文) Azure 试用 (中文) Azure HDInsight 文档 (中文)

Windows Azure HDInsight 支持预览版 Hadoop 2.2 群集

星期日,2014年3月2日

Windows Azure HDInsight 支持预览版 Hadoop 2.2 群集 继去年 10 月 推出 Windows Azure HDInsight 之后,我们宣布 Windows Azure HDInsight 现在支持使用预览版 Hadoop 2.2 群集。 Windows Azure HDInsight 是 Microsoft 在 Windows Azure 部署的完全基于 Apache Hadoop 的解决方案。Hadoop 是一个分布式存储和处理平台,可对大量关系数据和非关系数据进行分析...

Windows Azure HDInsight 现已正式发布!

星期一,2013年11月4日

今天,我们 宣布 正式发布 Windows Azure HDInsight 服务。HDInsight 是 Microsoft 提供的基于 Hadoop 的服务,为云提供 100% 的 Apache Hadoop 解决方案。 HDInsight 具有以下优势: 通过熟悉的工具洞察: 通过与 Microsoft BI 工具(如 PowerPivot、Power View)进行深度集成,HDInsight 使您可以利用 Hadoop 轻松找到洞察数据信息。实现 HDInsight 等多个源的数据与...

Azure HDInsight 和 Azure Storage

星期三,2013年4月17日

我们在上一篇博客文章中对更新的 Windows Azure HDInsight 服务进行了 演练 。今天这篇文章,作为介绍 HDInsight 的 5 篇博客系列中的第 3 篇,将重点介绍 HDInsight 和 Azure Storage。 Windows Azure HDInsight 服务一个值得注意且与众不同的方面在于能够选择用于存储数据的位置。您可以将数据存储在计算节点本地的本机 HDFS 文件系统中,或使用 Azure Blob Store Container作为 HDFS 文件系统来存储数据...

使用 HDInsight进行开发

星期四,2013年3月28日

Windows AzureHDInsight 提供了运行 Apache Hadoop的动态供应群集来处理大数据(Big Data)的能力。您可以在这个系列的 第一篇博客中 找到更多信息 ,您也可以点击 这里 开始在Windows Azure 门户网站中使用它。这篇文章列举了开发人员与HDInsight交互的几种不同方法,首先通过讨论不同的场景,然后深入讨论 HDInsight 中各种不同的功能。因为我们的产品是建立在 Apache Hadoop 之上,所以开发人员可以利用一个有广泛且丰富的工具和功能的生态系统...

使用Windows Azure HDInsight Service在云上压缩大数据

星期日,2013年3月24日

作者信息: 本篇文章是由SQL Server Product Management组的总经理Eron Kelly所著。这是我们介绍HDInsight Service 5 篇博客中的第1篇。 在过去微软一直很努力开发解决方案,使企业能够使用 工具 和他们熟悉的程序做 大数据分析 。今天,我很高兴能分享这些解决方案之一, Windows Azure HDInsight Service — — 基于云的Hadoop分布 — — 现已成为 Windows...