跳转到主要内容

微软在其云中提供了一系列数据分析选项,旨在作为一个完整的分析堆栈一起运行。 以下是核心服务的概述以及每项服务的适用范围。

如果您无法理解您的业务数据,那么您实际上是在盲目地飞行。隐藏在数据中的洞察力对于优化业务运营、微调客户体验以及开发新产品或新业务线(如预测性维护)至关重要。分析是发现这些见解的手段,要做好这件事,需要正确的工具来摄取和准备数据、丰富和标记数据、构建和共享报告,以及管理和保护您的数据和见解。随着企业应对越来越多的数据,云正迅速成为完成分析工作的合乎逻辑的地方。

对于许多企业而言,Microsoft Azure 已成为分析的中心枢纽。对数据分析进行尽可能广泛的解释,Azure 提供了十多种服务——这还没有包括 Power BI,它具有 AI 支持的分析和新的数据集市选项,或 Microsoft Purview 等面向治理的方法。撇开更专业的选项(例如摄取遥测、外部共享数据或构建机器学习模型以提供特定分析)不谈,仍然有足够多的 Azure 分析服务,您可能想知道哪一个最适合任何给定的工作。

微软分析的首席技术官 Amir Netz 说,事实上,微软的目标是在 Azure 上为 CIO 提供一整套旨在协同工作的分析服务,而不是零敲碎打的方法。他建议,它面向希望成为首席数据官而不是首席集成官的 IT 主管。

尽管各种服务之间存在重叠,但 Netz 解释说,Azure 的分析服务大致对应于组织在创建分析架构框架时将构建的层,“从创建数据湖和存储数据,在湖中处理数据并执行数据工程,在此基础上构建数据仓库的能力,运行机器学习算法,进行数据科学,为业务用户提供数据,”他说。

最近发布的 Microsoft 智能数据平台使这一点更加明显,尽管分析只是这个新品牌的一部分。

在这里,我们将了解 Microsoft Azure 的基本分析服务、它们的用途以及它们如何结合在一起为您的云分析策略构建一个全面的堆栈。

Microsoft Azure Analytics

The reason Azure has so many analytics services is so you can build your entire stack there.

1. Azure 分析服务


如果您习惯于使用 SQL Server Analysis Services 进行商业智能,Analysis Services 会将该企业级分析引擎作为云服务提供,您也可以将其连接到 Power BI。但 Power BI Premium 中的功能现在比 Azure 分析服务中的功能更强大,因此虽然该服务不会消失,但微软将在今年下半年为想要迁移他们的客户提供自动迁移工具而是将数据模型导入 Power BI。

2. Azure 数据工厂


数据工厂是一种用于无代码数据移动和数据转换管道的服务,可以更轻松地将来自各种来源的数据集成到数据仓库中:将 ETL(提取、转换、加载)和 ELT(提取、加载、转换)视为服务使用内置连接器,但重点是转换和丰富数据,而不是仅仅将其移动到正确的位置(尽管您也可以使用它将数据移动到云中)。数据工厂包括“示例代码”等功能,可帮助用户构建查询,还可以选择使用 Python、Java 和 .NET 等语言并支持 Git 和 CI/CD,这对于迁移 SQL Server 集成服务特别有用到天青。

3. Azure 数据资源管理器


Data Explorer 是一个大数据分析平台,顾名思义,您可以使用 KQL(也称为 Kusto 查询语言)从项目的代号中探索数据,这可能是也可能不是探索海洋的参考就像你是雅克库斯托一样的数据。 Azure 数据资源管理器用于在 Azure Monitor 中存储和查询 Microsoft Purview、Microsoft Defender for Endpoint、Microsoft Sentinel 和 Log Analytics 等服务中的数据。

4. Azure 数据湖分析


数据仓库专为您已经知道要一次又一次地询问您的数据的问题而设计。另一方面,数据湖使您能够存储结构化和非结构化数据,以探索您以前从未问过的新问题。 Azure Data Lake Analytics 帮助您使用 R、Python、.NET 或 U-SQL(结合了 SQL 和 C#)从 Azure Data Lake 提取、清理和准备数据以编写查询,其中包含来自 Azure 认知服务的关键技术作为函数用于使用机器学习处理文本、语音和图像。这是一项无服务器分析作业服务,可以处理 PB 级数据转换,因此您可以为作业付费,而无需管理基础设施。

5. Azure 突触(Synapse )分析


如果您想摆脱构建自己的分析框架,然后组织中的多个团队将使用该框架从数据湖中提取数据并构建业务用户必须单独访问和使用的数据仓库,Synapse Analytics 为您提供云的功能数据仓库和数据湖服务,但可让您在所有结构化和非结构化数据上运行您喜欢的分析引擎(无论是 SQL 还是 Spark),而无需等待 ETL 流程或担心数据存储在哪里或如何连接到它。 Synapse Analytics 数据流由 Azure 数据工厂提供支持,如果您使用 Cosmos DB,则操作数据库中的事务将在记录后数秒内进行镜像并可用于分析,因此您可以一起探索大数据和关系数据。如果这些问题足够有用,可以一次又一次地提出,您可以使用传统的分析技术将它们正式化。

6. Azure Databricks


如果您想按需启动 Spark 集群以转换、清理和丰富您的数据,Azure Databricks 是一种基于 Apache Spark 的大数据分析服务,针对 Azure 进行了优化,具有适用于各种数据类型的数据适配器和用于构建 Spark 数据流的交互式工作区.您可以使用 Python、Scala、R、Java 或 SQL,但它特别适合构建 AI 系统,并且您可以使用常见的数据科学框架,例如 TensorFlow、PyTorch 和 sci-kit learn,此外还可以与 Azure 机器学习集成.

7. Power BI 中的数据集市


将数据集市视为关系数据库,旨在在业务单元级别而不是企业数据仓库级别进行分析,通常由需要从多个来源收集数据并以轻量级方式将其集成在一起的业务用户驱动。他们没有在 Azure 门户中配置完整关系数据仓库的技能或预算,他们不需要 PB 级甚至 TB 级的数据,并且他们目前正在为此使用 SharePoint 列表或 Excel 等技术,使其成为一个服务不足的市场,其治理程度低于首席信息官可能希望的程度。

Power BI Premium 中的数据集市是一种完全托管的自助式无代码选项,可存储多达 100GB 的数据,工作负载自动针对性能进行了优化,用户界面类似于 Power Query(尽管高级用户可以编写 DAX 或 SQL 查询) . Datamart 发现表之间的关系并生成数据集,将 Power BI 的语义模型与关系数据库模型相结合。

“你不需要知道如何成为一名 DBA。我们不会询问您有关分区方案或如何创建索引的问题,”Netz 解释道。 “你不需要知道如何编写 SQL 和导入数据或查询。一切都是视觉的。一切都很容易使用。一切都是为知道如何创建 Power BI 报表的用户设计的。”

奖励:Azure 流分析和 Azure 时序见解


有一些新的方法可以使用云特别适合的分析。传统分析侧重于数据库中的数据,但使用传感器和 IoT 设备,您可以拥有几乎实时处理和采取行动的瞬态、时间敏感数据。点击流表单 Web 和移动应用程序也是如此。 Azure 流分析使你能够在数据流入时查看数据并立即对其进行处理,以确定是否要采取行动。此处理希望在数据提取位置附近完成,因此您将使用事件中心收集数据并将其传递给流分析。您还可以聚合数据以减少存储量,并在以后查询以分析趋势或预测需求,这样您就可以存储上一秒的移动平均值,而不是每毫秒记录一次温度。

如果您不想为此类分析构建自己的堆栈:Azure 时序见解是一个端到端平台,它从 IoT 设备获取数据,供您监控、分析、可视化和采取行动。您可以使用它来发现趋势、突出异常并挖掘根本原因,并且由于 Azure 提供了完整的分析服务堆栈,您可以将这些数据提供给其他服务,例如 Azure Databricks,或者使用它来使用 Azure 机器学习制作模型.但是市场正在远离单一用途的服务,而时间序列见解正在被弃用,而被 Azure 数据资源管理器所取代。

本文: