让海豚替你跑SQL!DolphinScheduler高效配置三步曲

今天,让我们来深入探讨DolphinScheduler中一种常见的任务类型:SQL任务。

今天,让我们来深入探讨DolphinScheduler中一种常见的任务类型:SQL任务。

SQL任务是DolphinScheduler中非常重要的一种任务类型,它允许用户在调度系统中运行SQL语句,通常用于数据处理、数据分析等场景。下面我分别以为MySQL和Hive为例,详细介绍如何在DolphinScheduler中创建和配置SQL任务。

源中心

首先要在源中心增加MySQL和Hive实例。

  • MySQL:填好ip,端口,用户名,密码,数据库名称

174228914456530ace456fb346d2f73c4c7a40b23e2dc

  • Hive:选中HIVE/IMPALA数据源类型,填好IP,端口是 10000,用户名,密码(有些用户没有密码可以不填),数据库名

174228914458444af949c47654e0be3fb7421ca01cced

MySQL SQL任务

在DolphinScheduler的Web界面中,选择相应的项目和工作流,点击“新建任务”按钮,在任务类型中选择“SQL”,填写任务名称和描述等基本信息,然后点击“提交”按钮即可创建一个SQL任务。

  • 配置SQL任务
    在SQL任务的配置页面中,我们需要设置以下几个关键参数:

    • 数据源:选择MySQL。数据源实例:选择刚才新增的MySQL实例

    • 查询:

1742289144615ee4384fac3a3b4582ba6c15f1beec75417422891446464deaa2f855615005f451dbf9a450b37b


- 非查询

1742289144633f25356569aad7f503562dd890b1d1cb5

Hive SQL任务

17422891446482f9803bb68eec1c5be19208ca507d5f3

  • 日志

174228914523721d10b64b24092573bf0c31ba900523e

通过本文的介绍,我们深入了解了DolphinScheduler海豚调度中的SQL任务,掌握了创建和配置SQL任务的方法。SQL任务作为DolphinScheduler中的重要功能之一,为用户提供了强大的数据处理和管理能力,帮助用户更高效地完成数据处理任务。希望本文能够对大家理解和使用DolphinScheduler中的SQL任务有所帮助,也欢迎大家在实践中进一步探索和应用,发挥出SQL任务的更多潜力。

原文链接:https://blog.csdn.net/weixin_44586883/article/details/136326326