本部分包含管道开发人员的参考和说明。
数据加载和转换通过定义流式处理表和具体化视图的查询在管道中实现。 若要实现这些查询，Lakeflow Spark 声明性管道支持 SQL 和Python接口。 由于这些接口为大多数数据处理用例提供等效的功能，管道开发人员可以选择他们最熟悉的接口。
Python开发
使用Python代码创建管道。
| 主题 | Description |
|---|---|
| 使用 Python 开发管道代码 | 概述如何在 Python 中开发管道。 |
| Lakeflow Spark 声明性管道Python语言参考 | Python pipelines 模块的参考文档。 |
| 管理用于管道的Python依赖项 | 有关在管道中管理Python库的说明。 |
| 从 Git 文件夹或工作区文件中导入 Python 模块 |
有关使用存储在Azure Databricks中的Python模块的说明。 |
SQL 开发
使用 SQL 代码创建管道。
| 主题 | Description |
|---|---|
| 使用 SQL 开发 Lakeflow Spark 声明性管道代码 | 概述如何在 SQL 中开发管道。 |
| SQL 管道语言参考 | Lakeflow Spark 声明性管道的 SQL 语法参考文档。 |
| 在 Databricks SQL 中使用管道 | 使用 Databricks SQL 处理管道。 |
其他开发主题
以下主题介绍了开发管道的其他方法。
| 主题 | Description |
|---|---|
| 将管道转换为捆绑项目 | 将现有管道转换为捆绑包，这样就可以在源代码控制的 YAML 文件中管理数据处理配置，以便更轻松地将维护和自动部署部署到目标环境。 |
| 使用 Lakeflow Spark 声明性管道进行元编程 |
使用 dlt-meta 创建管道。 使用 open source dlt-meta 库通过元数据驱动框架自动创建管道。教程：创建具有不同参数的多个流。 在Python循环中创建多个流。 |
| 在本地开发环境中开发管道代码 | 本地开发管道的选项概述。 |