Databricks Connect for Scala 的限制

注释

本文介绍适用于 Databricks Runtime 13.3 LTS 及更高版本的 Databricks Connect。

本文列出了 Databricks Connect for Scala 的限制。 Databricks Connect 使你能够将常用的 IDE、笔记本服务器和自定义应用程序连接到Azure Databricks计算资源。 请参阅 Databricks Connect。 关于本文的 Python 版本，请参阅 Databricks Connect for Python。

重要

根据所使用的 Scala 版本、Java、Databricks Runtime 和 Databricks Connect，某些功能可能存在版本要求。 请参阅 要求。

功能可用性

在 Databricks Runtime 13.3 LTS 及更低版本中，Databricks Connect 上不可用。

  • 流式处理 foreachBatch
  • 创建大于 128 MB 的数据帧
  • 超过 3600 秒的长查询
  • 使用专用访问模式（以前称为单用户模式）的计算资源上的标量 UDF

暂无

  • Databricks 实用工具：credentials、library、notebook workflow、widgets
  • Spark 上下文
  • 多个RDD
  • CREATE TABLE <table-name> AS SELECT（改用 spark.sql("SELECT ...").write.saveAsTable("table")）
  • 通过 SparkContext 更改 log4j 日志级别
  • 分布式 ML 训练
  • 将本地开发环境与远程计算资源同步
  • Last updated on