7月10日消息，Databricks 日前发布大数据分析平台Spark所用的AI模型SDK，开发者写代码时，可用英文下指令，编译器就会将英文指令转换为 PySpark 或 SQL 语言代码，以提升开发者效率。

            SDK是一款旨在丰富您的 Spark 体验的变革性工具。Apache Spark™ 在全球享有盛誉，每年来自 208 个国家和地区的下载量超过10亿次，显著推进了大规模数据分析。通过生成式AI的创新应用，我们的英语SDK旨在通过使Spark比以往任何时候都更加用户友好和平易近人来扩展这个充满活力的社区！

         Databricks 声称，英文 SDK 了解 Spark 表和数据帧，处理复杂性，直接正确地返回数据帧！

        英文 SDK 通过提供以下关键功能简化了 Spark 开发过程：

        数据摄取：SDK 可以使用您提供的描述执行 Web 搜索，利用 LLM 确定最合适的结果，然后将所选的 Web 数据。

        顺利合并到 Spark 中 – 所有这些都只需一步即可完成。

        数据帧操作：SDK 在给定数据帧上提供功能，允许根据您的英文描述进行转换、绘制和解释。这些功能显著增强了代码的可读性和效率，使数据帧上的操作变得简单直观。

        用户定义函数 （UDF）：SDK 支持创建 UDF 的简化过程。使用简单的装饰器，您只需要提供一个文档字符串，AI 将处理代码完成。此功能简化了 UDF 创建过程，让您可以专注于函数定义，而 AI 负责其余工作。

        缓存：SDK 包含缓存以提高执行速度、制作可重现的结果并节省成本。

        Apache Spark的英文SDK是一个非常简单但功能强大的工具，可以增强用户的开发过程，简化复杂的任务，减少所需的代码量，提高用户的工作效率。