PostgreSQL技术内幕24:定时任务调度插件pg_cron

news/2025/2/2 22:52:45 标签: postgresql, 数据库

文章目录

    • 0.简介
    • 1.基础知识
    • 2.pg_cron安装使用方式
      • 2.1 安装pg_cron
      • 2.2 使用方式
    • 3.实现原理
      • 3.1 启动过程
      • 3.2 任务添加和管理
      • 3.3 调度过程
      • 3.4 执行原理

0.简介

pg_cron是PostgreSQL中的一个简单的基于cron的任务调度插件,本文将从其基础知识(Linux中Cron的语法)、pg_cron安装使用方式以及实现原理来对其进行详细的分析。

1.基础知识

理解pg_cron可以先去了解Linux系统中的Cron,其是一种用于自动执行预定任务的工具,Linux中Cron语法如下,pg_cron也是基于此来实现的。

#查看当前用户任务列表
crontab -l
#编辑任务列表
crontab -e
#语法,其时间部分包含五个或六个字段,分别是分钟、小时、日期、月份、星期和可选的年份。
#实际时间例子如下
* * * * *:每分钟运行一次任务。
0 * * * *:每小时的第0分钟运行一次任务。
0 0 * * *:每天的00:00(午夜)运行一次任务。
0 0 * * 1:每周一的00:00运行一次任务。
0 0 1 * *:每月1号的00:00运行一次任务。
#实际添加一个每天七点执行脚本run.sh格式如下,直接添加一行
0 7 * * * /path/run,sh

2.pg_cron安装使用方式

2.1 安装pg_cron

git clone https://github.com/citusdata/pg_cron.git
cd pg_cron
#其使用的是pg_config中的信息(编译选项,安装路径等)
make && make install

#修改参数
postgres=# ALTER SYSTEM SET shared_preload_libraries TO pg_cron;
ALTER SYSTEM
postgres=# exit
#重启数据库
pg_ctl restart
#创建pg_cron插件
postgres=# CREATE EXTENSION pg_cron;
CREATE EXTENSION

2.2 使用方式

#添加任务,每分钟执行
postgres=# SELECT cron.schedule('* * * * *', 'select 1;');
 schedule
----------
        1
(1 row)

#查看任务
postgres=# SELECT * FROM cron.job;
 jobid | schedule  |  command  | nodename  | nodeport | database | username | active | jobname
-------+-----------+-----------+-----------+----------+----------+----------+--------+---------
     1 | * * * * * | select 1; | localhost |     6688 | postgres | admin    | t      |
(1 row)

#删除任务
postgres=#  SELECT cron.unschedule(1);
 unschedule
------------
 t
(1 row)

#再次查看
postgres=# SELECT c* FROM cron.job;
 jobid | schedule | command | nodename | nodeport | database | username | active | jobname
-------+----------+---------+----------+----------+----------+----------+--------+---------
(0 rows)

3.实现原理

3.1 启动过程

启动过程需要理解的内容是如何去启动pg_cron,对于PG来说,其为多进程的架构,后台主进程是postmaster,在其启动是会调用process_shared_preload_libraries();函数去加载外部插件,对于插件加载过程包含了环境检查和主函数注册,主函数由插件中_PG_init()完成注册,函数从外部加载,由postmaster执行。

PG_init = (PG_init_t) pg_dlsym(file_scanner->handle, "_PG_init");
if (PG_init)
    (*PG_init) ();

对于pg_cron来说,_PG_init 函数对于主函数进行了注册:将 PgCronLauncherMain配置为一个后台 worker 并且注册到列表中。到这里系统回到了 postmaster 进程中继续执行任务,直到执行到 maybe_start_bgworkers() 函数,尝试将 workerlist 列表中的worker启动。(这个执行的过程还与数据库的模式有关,处于 standby mode 状态下的数据库不会去启动 pg_cron) postmaster 会分配一个 background work给pg_cron , 之后pg_cron 进程独立运行,进程如下。

在这里插入图片描述

3.2 任务添加和管理

pg_cron中,所有的定时任务都会被保存在cron.job表中,也就是在用法里描述操作的表。
pg_cron里维护了job list和task list来进行后台调度和任务的执行,其更新过程是在启动时根据cron.job表构造job list和task list,后面任务列表更新时通过触发器cron.job_cache_invalidate进行列表刷新,整体流程如下:

在这里插入图片描述

3.3 调度过程

其启动后会进入一个循环,其内部不断执行任务列表获取,是否执行判断(ShouldRunTask函数),其任务状态有以下几种,由于pg_cron是单线程的,所以在对于可能阻塞的步骤采用IO多路复用来处理,避免阻塞,使用的是Poll函数。
在这里插入图片描述

1)WAITING(等待):默认状态。如果条件不满足(非激活状态/计划时间还未到),则跳过该任务的调度,如果条件满足,则进入START状态。
2)START(启动):构建任务的连接信息,并进行连接测试。如果连接成功,则进入CONNECTING状态,否则进入ERROR状态。
3)CONNECTING(连接):检查任务是否激活,连接是否正常。如果所有条件都满足,则进入SENDING状态,否则进入ERROR状态。
4)SENDING(发送):检查任务是否激活,连接是否正常。如果所有条件满足,将定时任务文本发送至PolarDB PostgreSQL版服务器,进入RUNNING状态,否则进入ERROR状态。
5)RUNNING(运行):检查任务是否激活,连接是否正常。如果所有条件都满足,接收传回的任务结果并进入DONE状态,否则跳出等待进入ERROR状态。
6)ERROR(错误):任务失败,重置连接信息并进入DONE状态。
7)DONE(完成):任务完成,重置任务信息并重新进入WAITING状态。
其判断是否需要执行,也是根据设置,时间参数格式和linux中cron一致,如下:
在这里插入图片描述

3.4 执行原理

执行原理其实就是将待执行的文本发送给postmaster去做相应执行。


http://www.niftyadmin.cn/n/5840343.html

相关文章

ArkTS语言介绍

文章目录 一、基本知识声明类型运算符语句函数函数声明可选参数Rest参数返回类型函数的作用域函数调用函数类型箭头函数(又名Lambda函数)闭包函数重载类字段方法构造函数可见性修饰符对象字面量抽象类接口接口属性接口继承抽象类和接口泛型类型和函数泛型类和接口泛型约束泛型…

交易股指期货有什么技巧吗?

交易股指期货有啥窍门呢?其实啊,追涨杀跌这招,虽然能挣点小钱,但风险也不小,一不小心就可能亏大了。我说的追涨杀跌,不是那种天天追着价格跑的小打小闹,而是要看大趋势,做宏观操作。…

深入理解Spring框架:从基础到实践

前言 Spring框架是一个开源的企业级应用开发框架,它为Java开发者提供了灵活的架构支持,特别是在依赖注入(IOC)和面向切面编程(AOP)方面。本文将通过具体的示例,带你从Spring框架的概述、IOC容器…

《AI大模型开发笔记》DeepSeek技术创新点

一、DeepSeek横空出世 DeepSeek V3 以颠覆性技术架构创新强势破局!革命性的上下文处理机制实现长文本推理成本断崖式下降,综合算力需求锐减90%,开启高效 AI 新纪元! 最新开源的 DeepSeek V3模型不仅以顶尖基准测试成绩比肩业界 …

java每日精进1.31(SpringSecurity)

在所有的开发的系统中&#xff0c;都必须做认证(authentication)和授权(authorization)&#xff0c;以保证系统的安全性。 一、基础使用 1.依赖 <dependencies><!-- 实现对 Spring MVC 的自动化配置 --><dependency><groupId>org.springframework.bo…

指针的进化—sizeof和strlen对比(字符串和字符数组的区分)

1.前言 如果你对各个数组的内容存放是什么没有个清晰的概念&#xff0c;对指针偏移之后的数量算不出来或者模棱两可&#xff0c;那么本篇就来详细介绍sizeof和strlen来具象化的显示数组的内容存放了多少内容&#xff0c;偏移量变化后的变化&#xff0c;这个数组进行运算后会不会…

c语言操作符(详细讲解)

目录 前言 一、算术操作符 一元操作符&#xff1a; 二元操作符&#xff1a; 二、赋值操作符 代码例子&#xff1a; 三、比较操作符 相等与不相等比较操作符&#xff1a; 大于和小于比较操作符&#xff1a; 大于等于和小于等于比较操作符&#xff1a; 四、逻辑操作符 逻辑与&…

docker直接运行arm下的docker

运行环境是树莓派A 处理器是 arm32v6 安装了docker&#xff0c;运行lamp 编译安装php的时候发现要按天来算&#xff0c;于是用电脑vm下的Ubuntu系统运行arm的docker 然后打包到a直接导入运行就可以了 第一种方法 sudo apt install qemu-user-static 导入直接运行就可以了…