LOADING STUFF...

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK

AIGC行业资讯1年前 (2023)更新 heweizhan1
1.5K 0 0

        7月10日消息,Databricks 日前发布大数据分析平台Spark所用的AI模型SDK,开发者写代码时,可用英文下指令,编译器就会将英文指令转换为 PySpark 或 SQL 语言代码,以提升开发者效率。

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK

            SDK是一款旨在丰富您的 Spark 体验的变革性工具。Apache Spark™ 在全球享有盛誉,每年来自 208 个国家和地区的下载量超过10亿次,显著推进了大规模数据分析。通过生成式AI的创新应用,我们的英语SDK旨在通过使Spark比以往任何时候都更加用户友好和平易近人来扩展这个充满活力的社区!

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK

         Databricks 声称,英文 SDK 了解 Spark 表和数据帧,处理复杂性,直接正确地返回数据帧!

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK

        英文 SDK 通过提供以下关键功能简化了 Spark 开发过程:

        数据摄取:SDK 可以使用您提供的描述执行 Web 搜索,利用 LLM 确定最合适的结果,然后将所选的 Web 数据。

        顺利合并到 Spark 中 – 所有这些都只需一步即可完成。

        数据帧操作:SDK 在给定数据帧上提供功能,允许根据您的英文描述进行转换、绘制和解释。这些功能显著增强了代码的可读性和效率,使数据帧上的操作变得简单直观。

        用户定义函数 (UDF):SDK 支持创建 UDF 的简化过程。使用简单的装饰器,您只需要提供一个文档字符串,AI 将处理代码完成。此功能简化了 UDF 创建过程,让您可以专注于函数定义,而 AI 负责其余工作。

        缓存:SDK 包含缓存以提高执行速度、制作可重现的结果并节省成本。

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK

        Apache Spark的英文SDK是一个非常简单但功能强大的工具,可以增强用户的开发过程,简化复杂的任务,减少所需的代码量,提高用户的工作效率。

关于我们

         AIGC超级智库主要为AIGC领域爱好者建立的社区、学习社群,行业资讯、最新学习教程。汇聚全球1300+AI神器集合在这里都能找到,主要研究AIGC工具应用、AI绘画、AI视频等主要方向。和大家一起学习,共同成长。

请关注公众号:AI超级智库

公众号将作为AIGC超级智库的官网入口,发布行业最新学习资料、资讯,请一定要关注Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK


社群

进入AIGC交流学习群,大家一起交流学习,希望大家共同努力,维护高质量交流社群!请加微信

同时请遵守群规,营造一个好的学习环境,严禁广告、引流、政治、TZ等敏感话题,必飞机✈️

 

Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK

相关文章

暂无评论

暂无评论...