本系列文章概述了在 Microsoft Fabric 上运行 Spark 笔记本和 Spark 作业定义(SJD)时优化 Spark 作业的性能、安全性和成本的最佳做法。 你应该熟悉 Fabric 中的基本数据工程概念。 如果你不熟悉 Fabric,请参阅 Fabric 数据工程文档。
本系列文章
小窍门
如果你不熟悉 Spark,请从 Spark 基础知识 文章开始。
首字母缩略词
下面是 Fabric Spark 最佳做法文章中使用的常见首字母缩略词列表:
| Acronym | 含义 |
|---|---|
| AKV | Azure Key Vault |
| AQE | 自适应查询执行 |
| CDC | 更改数据捕获 |
| CU | 容量单位 |
| DAG | 定向无环图 |
| HC | 高并发性 |
| JVM | Java 虚拟机 |
| MLV | 物化湖视图 |
| MPE | 托管专用终结点 |
| NEE | 本机执行引擎 |
| OOM | 内存不足 |
| 波兰 | 专用链接 |
| ORC | 优化的行列式 |
| RDD | 弹性分布式数据集 |
| SJD | Spark 作业定义 |
| SPN | 服务主体名称 |
| SRE | 站点可靠性工程师 |
| UDF | 用户定义的函数 |
| UI | 用户界面 |
| VM | 虚拟机 |
| VNet | 虚拟网络 |
| WS OAP | 工作区出站访问保护 |