教程:配置镜像的 Dremio 数据目录

Dremio 的目录镜像 使 Microsoft Fabric 客户能够从 Fabric 工作负荷读取 Dremio 管理的数据。

重要

此功能目前为预览版

先决条件

  • 必须拥有有效的 Dremio 帐户,并且可以访问包含要镜像的 Iceberg 表的 Dremio 项目。
  • Dremio 项目必须可通过公共 Internet 访问。 目前不支持防火墙规则或其他网络限制。 请参阅 此功能的限制和注意事项
  • 需要一个与 Fabric 容量(F SKU 或试用版)关联的 Fabric 工作区。
  • 必须在 Dremio 中拥有必要的权限才能读取要镜像的目录、命名空间和表。
  • Fabric 租户管理员必须启用名为 "启用新的镜像目录项目 (预览版)" 的租户管理员设置。

创建镜像的 Dremio 目录

按照以下步骤在 Fabric 中创建新的镜像 Dremio 目录。

  1. 转到 https://powerbi.com

  2. 选择“+ 新建”,然后选择“Dremio 目录镜像”(预览版)。

  3. 如果已配置现有连接,请选择现有连接。

    如果没有现有连接,请创建新的连接并输入所有必需的详细信息:

    • 对于 Warehouse,请输入 Dremio 项目名称。
    • 对于 连接凭据,请输入您要使用的身份的 PAT 令牌;或者,如果想要使用与您的 Dremio 项目关联的登录身份,请选择 组织帐户
  4. 连接到 Dremio 后,在“ 选择数据 ”页上,选择 目录范围,这是要镜像的 Dremio 目录的一部分。 然后,通过包含/排除列表,选择要从Fabric添加和访问的命名空间和表。

    • 只能根据 Dremio 中授予的权限查看有权访问的目录、命名空间和表。
    • 默认情况下,“ 自动同步将来的表 ”选项处于启用状态。 有关详细信息,请参阅 Dremio 目录镜像

    选择后,请选择“ 下一步”。

  5. “审阅和创建 ”页上,可以查看详细信息并设置镜像目录项名称,该名称在工作区中必须唯一。 选择“创建”

  6. 已创建镜像的 Dremio 目录项。 对于每个表,也会自动创建相应的快捷方式。

    • 未包含任何表的命名空间将不会显示。
  7. 可以通过选择表或打开 SQL 分析终结点来预览数据。 打开 SQL 分析端点项以启动资源管理器和查询编辑器页面。 可以在 SQL 编辑器中使用 T-SQL 查询镜像 Dremio 表。

创建镜像 Dremio 目录项的 Lakehouse 快捷方式

还可以创建从 Lakehouse 到镜像的 Dremio 目录项的快捷方式,以使用 Lakehouse 数据和 Spark 笔记本。

  1. 首先,创建湖屋。 如果此工作区中已有 lakehouse,则可以使用现有的湖屋。
    1. 在导航菜单中选择工作区。
    2. 选择 “+ 新建>Lakehouse”。
    3. “名称” 字段中为湖仓提供一个名称,然后选择“创建”
  2. 在 Lakehouse 的 资源管理器 视图中,在 Lakehouse 菜单中的“获取数据 ”下,在 Lakehouse 中加载数据下,选择“ 新建快捷方式 ”按钮。
  3. 选择 Microsoft OneLake。 选择在前面的步骤中创建的镜像 Dremio 目录项目。 然后选择下一步
  4. 选择命名空间中的表,然后选择“ 下一步”。
  5. 选择“创建”
  6. 现在,Lakehouse 中提供了可以与其他 Lakehouse 数据一起使用的快捷方式。 还可以使用 Notebook 和 Spark 对从 Dremio 添加的这些目录表的数据执行数据处理。