当企业面临数据库迁移工作时,迁移工具的选择是重要的一环。迁移工具除了数据库原厂工具、成熟的第三方工具,还有不少自制、开源的工具。今天就给大家带来中亦科技高级数据库工程师陈志光,用C语言自制的开源数据库迁移工具HappySunshine。一起来看看效果如何?
HappySunshine数据库迁移工具是由C语言编写的多进程多线程程序,支持多种数据库之间的高效数据同步,安装简便、简单配置即可使用,由于是工程师个人“手搓”的功能还在逐步完善中,有什么好的建议,欢迎大家可以评论区或私信留言。
架构说明
HappySunshine数据库迁移工具由一个管理者进程和N个执行者进程组成,每个执行进程由一个生产者线程和N个消费者线程组成。
1、管理者进程启动。
2、管理者进程读取配置文件参数。
3、管理者进程创建共享内存。
4、管理者进程拉起N个执行者进程。
5、管理者进程通过共享存储中的任务队列,将需要迁移的表放入队列中。
6、执行者进程创建线程池。
7、执行者进程开辟一个生产者线程,N个消费者线程。
8、生产者线程从共享存储中的任务队列拿取任务,查询需要迁移表的条数,来决定迁移方式:LOAD或INSERT。如果进程数大于1,任务中包含的表有一个整型主键,会自动拆分数据为N份(进程数)。
9、如果是LOAD,由生产者线程单独完成。
10、如果是INSERT,将读取的数据行指针打包,发给线程池中的任务队列。
11、消费者线程从线程池中的任务队列拿取任务。
12、消费者线程将任务包解开,将数据清洗,并放入自己的缓冲区中,清洗完再把INSERT命令发给Gbase8a。
13、消费者线程执行任务失败,将任务状态置为错误,待生产者线程发现任务失败后,终止任务下发给线程池队列,重新到共享存储中的任务队列拿取任务。
14、消费者线程执行任务成功,就继续执行。
15、管理者进程将任务发送完成之后,将任务结束标记放入共享存储中的任务队列中。
16、生产者线程从共享存储中的任务队列中拿到任务结束标记后。等待屏障,也就是等待消费者线程完成所拿到的任务。
17、执行者进程等待所有的消费者、生产者结束后,回收线程池资源,释放自身所占用资源,结束退出。
18、管理者进程等待所有执行者进程结束后,回收进程资源,释放自身所占用资源,结束退出。
支持功能
1、现有功能
2、后续计划支持功能
效果如何
和开源ETL工具Kettle进行对比测试,效果还是很不错的。由于测试条件有限(所有的数据库和工具都部署在一个虚机里),如果大家有条件可以在性能更好的环境下测试,迁移效率肯定会比下面的结果更好。
测试环境:CentOS 7.9/6核CPU/5G内存
1、测试表结构(1)Gbase8agbase> DESC ZXJ.TESTTAB;+-------+---------------+------+-----+-------------------+-----------------------------+| Field | Type | Null | Key | Default | Extra |+-------+---------------+------+-----+-------------------+-----------------------------+| a | int(11) | YES | | NULL | || b | double | YES | | NULL | || c | varchar(100) | YES | MUL | NULL | || d | text | YES | | NULL | || e | blob | YES | | NULL | || f | longblob | YES | | NULL | || g | date | YES | | NULL | || h | timestamp | NO | | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP || i | decimal(10,2) | YES | | NULL | |+-------+---------------+------+-----+-------------------+-----------------------------+9 rows in set (Elapsed: 00:00:00.00)(2)DMSQL> DESC ZXJ.TESTTAB;
行号 NAME TYPE$ NULLABLE---------- ---- ------------ --------1 A INTEGER Y2 B DOUBLE Y3 C VARCHAR(100) Y4 D TEXT Y5 E BLOB Y6 F BLOB Y7 G DATE Y8 H DATETIME(6) Y9 I DEC(10, 2) Y
9 rows got
(3)PostgreSqlczg=# \d public.testtab Table "public.testtab" Column | Type | Collation | Nullable | Default --------+-----------------------------+-----------+----------+------------------------------------ a | integer | | not null | nextval('testtab_a_seq'::regclass) b | double precision | | | c | character varying(100) | | | d | text | | | e | bytea | | | f | bytea | | | g | date | | | h | timestamp without time zone | | | i | numeric(10,2) | | | Indexes: "testtab_pkey" PRIMARY KEY, btree (a)
2、测试数据样式czg=# SELECT * FROM PUBLIC.TESTTAB LIMIT 10; a | b | c | d | e | f | g | h | i ---------+-----+-------------+----------+----------------+----------------------------+------------+---------------------+--------- 2399798 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | 2399799 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | 0.00 2399800 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | 8.80 2399801 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | -8.80 2399802 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | 348.80 2399803 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | -348.80 2399804 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | 2399805 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | 0.00 2399806 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | 8.80 2399807 | 2.1 | LXG'ZXJ|CLX | HAHHAHAH | \x414141414141 | \x424242424242424242424242 | 2024-08-19 | 2024-08-19 00:00:00 | -8.80(10 rows)
3、HappySunshine测试效果截图
(1)PostgreSql -> Dm
(2)PostgreSql -> Gbase8a
(3)Gbase8a-> Gbase8a
INSERT
LOAD
4、Kettle测试截图
(1)PostgreSql -> Dm
(2)PostgreSql -> Gbase8a
(3)Gbase8a-> Gbase8a
性能暴增秘诀
多进程多线程混合架构:管理者进程+执行者进程+动态线程池,自动拆分亿级表数据
智能切换引擎:根据数据量动态选择LOAD/INSERT(300万行自动触发高速LOAD模式)
原生驱动优化:直连Gbase8a/达梦API,规避JDBC性能损耗
如何安装
1、用户创建
大家也可以不创建,这是为了不影响其他用户,还有安全性考虑。
[root@czg0 ~]# groupadd lzl -g 2024[root@czg0 ~]# useradd lzl -g 2024 -u 2024[root@czg0 ~]# passwd lzl2、安装包解压
[lzl@czg0 ~]$ unzip HappySunshine_V1.5_X86_Centos7.9_Release_日期.zip3、环境变量配置
[root@czg0 ~]# cat /home/lzl/.bashrc# .bashrc# Source global definitionsif [ -f /etc/bashrc ]; then . /etc/bashrcfi
# Uncomment the following line if you don't like systemctl's auto-paging feature:# export SYSTEMD_PAGER=
# User specific aliases and functions
export HAPPY_SUNSHINE_HOME=/home/lzl/HappySunshineexport LD_LIBRARY_PATH=$HAPPY_SUNSHINE_HOME/Libs:$LD_LIBRARY_PATH
4、环境变量生效
[lzl@czg0 ~]$ source /home/lzl/.bashrc5、动态库链接检验
(1)HsManager[lzl@czg0 ~]$ ldd HappySunshine/Exec/HsManager linux-vdso.so.1 => (0x00007ffc3a9fa000) libPublic.so => /home/lzl/HappySunshine/Libs/libPublic.so (0x00007f094f383000) libLog.so => /home/lzl/HappySunshine/Libs/libLog.so (0x00007f094f17e000) libSqQueue.so => /home/lzl/HappySunshine/Libs/libSqQueue.so (0x00007f094ef78000) libPthread.so => /home/lzl/HappySunshine/Libs/libPthread.so (0x00007f094ed6b000) libFileOperate.so => /home/lzl/HappySunshine/Libs/libFileOperate.so (0x00007f094eb65000) libDataConvertion.so => /home/lzl/HappySunshine/Libs/libDataConvertion.so (0x00007f094e960000) libProcess.so => /home/lzl/HappySunshine/Libs/libProcess.so (0x00007f094e757000) libGbase8aDb.so => /home/lzl/HappySunshine/Libs/libGbase8aDb.so (0x00007f094e550000) libgbase.so.16 => /home/lzl/HappySunshine/Libs/libgbase.so.16 (0x00007f094e090000) libHashTable.so => /home/lzl/HappySunshine/Libs/libHashTable.so (0x00007f094de8c000) libPgDb.so => /home/lzl/HappySunshine/Libs/libPgDb.so (0x00007f094dc83000) libpq.so.5 => /home/lzl/HappySunshine/Libs/libpq.so.5 (0x00007f094da2d000) libHsPublic.so => /home/lzl/HappySunshine/Libs/libHsPublic.so (0x00007f094d82a000) libc.so.6 => /lib64/libc.so.6 (0x00007f094d45c000) libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f094d240000) libdl.so.2 => /lib64/libdl.so.2 (0x00007f094d03c000) libm.so.6 => /lib64/libm.so.6 (0x00007f094cd3a000) /lib64/ld-linux-x86-64.so.2 (0x00007f094f586000)
(2)G8aExecutor [lzl@czg0 ~]$ ldd HappySunshine/Exec/G8aExecutor linux-vdso.so.1 => (0x00007ffecf9fd000) libPublic.so => /home/lzl/HappySunshine/Libs/libPublic.so (0x00007faca38b8000) libLog.so => /home/lzl/HappySunshine/Libs/libLog.so (0x00007faca36b3000) libSqQueue.so => /home/lzl/HappySunshine/Libs/libSqQueue.so (0x00007faca34ad000) libPthread.so => /home/lzl/HappySunshine/Libs/libPthread.so (0x00007faca32a0000) libFileOperate.so => /home/lzl/HappySunshine/Libs/libFileOperate.so (0x00007faca309a000) libDataConvertion.so => /home/lzl/HappySunshine/Libs/libDataConvertion.so (0x00007faca2e95000) libProcess.so => /home/lzl/HappySunshine/Libs/libProcess.so (0x00007faca2c8c000) libGbase8aDb.so => /home/lzl/HappySunshine/Libs/libGbase8aDb.so (0x00007faca2a85000) libgbase.so.16 => /home/lzl/HappySunshine/Libs/libgbase.so.16 (0x00007faca25c5000) libMyPool.so => /home/lzl/HappySunshine/Libs/libMyPool.so (0x00007faca23c2000) libHashTable.so => /home/lzl/HappySunshine/Libs/libHashTable.so (0x00007faca21be000) libHsPublic.so => /home/lzl/HappySunshine/Libs/libHsPublic.so (0x00007faca1fbb000) libc.so.6 => /lib64/libc.so.6 (0x00007faca1bed000) libpthread.so.0 => /lib64/libpthread.so.0 (0x00007faca19d1000) libdl.so.2 => /lib64/libdl.so.2 (0x00007faca17cd000) libm.so.6 => /lib64/libm.so.6 (0x00007faca14cb000) /lib64/ld-linux-x86-64.so.2 (0x00007faca3abb000)
(3)Pg2G8aExecutor [lzl@czg0 ~]$ ldd HappySunshine/Exec/Pg2G8aExecutor linux-vdso.so.1 => (0x00007ffdea9d0000) libPublic.so => /home/lzl/HappySunshine/Libs/libPublic.so (0x00007f2c7a38f000) libLog.so => /home/lzl/HappySunshine/Libs/libLog.so (0x00007f2c7a18a000) libSqQueue.so => /home/lzl/HappySunshine/Libs/libSqQueue.so (0x00007f2c79f84000) libPthread.so => /home/lzl/HappySunshine/Libs/libPthread.so (0x00007f2c79d77000) libFileOperate.so => /home/lzl/HappySunshine/Libs/libFileOperate.so (0x00007f2c79b71000) libDataConvertion.so => /home/lzl/HappySunshine/Libs/libDataConvertion.so (0x00007f2c7996c000) libProcess.so => /home/lzl/HappySunshine/Libs/libProcess.so (0x00007f2c79763000) libGbase8aDb.so => /home/lzl/HappySunshine/Libs/libGbase8aDb.so (0x00007f2c7955c000) libgbase.so.16 => /home/lzl/HappySunshine/Libs/libgbase.so.16 (0x00007f2c7909c000) libMyPool.so => /home/lzl/HappySunshine/Libs/libMyPool.so (0x00007f2c78e99000) libPgDb.so => /home/lzl/HappySunshine/Libs/libPgDb.so (0x00007f2c78c90000) libpq.so.5 => /home/lzl/HappySunshine/Libs/libpq.so.5 (0x00007f2c78a3a000) libHashTable.so => /home/lzl/HappySunshine/Libs/libHashTable.so (0x00007f2c78836000) libHsPublic.so => /home/lzl/HappySunshine/Libs/libHsPublic.so (0x00007f2c78633000) libc.so.6 => /lib64/libc.so.6 (0x00007f2c78265000) libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f2c78049000) libdl.so.2 => /lib64/libdl.so.2 (0x00007f2c77e45000) libm.so.6 => /lib64/libm.so.6 (0x00007f2c77b43000) /lib64/ld-linux-x86-64.so.2 (0x00007f2c7a592000)
(4)Pg2DmExecutor [lzl@czg0 ~]$ ldd HappySunshine/Exec/Pg2DmExecutor linux-vdso.so.1 => (0x00007ffd4eb65000) libPublic.so => /home/lzl/HappySunshine/Libs/libPublic.so (0x00007f81c49f0000) libLog.so => /home/lzl/HappySunshine/Libs/libLog.so (0x00007f81c47eb000) libSqQueue.so => /home/lzl/HappySunshine/Libs/libSqQueue.so (0x00007f81c45e5000) libPthread.so => /home/lzl/HappySunshine/Libs/libPthread.so (0x00007f81c43d8000) libFileOperate.so => /home/lzl/HappySunshine/Libs/libFileOperate.so (0x00007f81c41d2000) libDataConvertion.so => /home/lzl/HappySunshine/Libs/libDataConvertion.so (0x00007f81c3fcd000) libProcess.so => /home/lzl/HappySunshine/Libs/libProcess.so (0x00007f81c3dc4000) libMyPool.so => /home/lzl/HappySunshine/Libs/libMyPool.so (0x00007f81c3bc1000) libLinkList.so => /home/lzl/HappySunshine/Libs/libLinkList.so (0x00007f81c39bd000) libPgDb.so => /home/lzl/HappySunshine/Libs/libPgDb.so (0x00007f81c37b4000) libpq.so.5 => /home/lzl/HappySunshine/Libs/libpq.so.5 (0x00007f81c355e000) libDmDb.so => /home/lzl/HappySunshine/Libs/libDmDb.so (0x00007f81c333f000) libdmdpi.so => /home/lzl/HappySunshine/Libs/libdmdpi.so (0x00007f81c2485000) libdmcpt.so => /home/lzl/HappySunshine/Libs/libdmcpt.so (0x00007f81c2252000) libdmlogmnr_client.so => /home/lzl/HappySunshine/Libs/libdmlogmnr_client.so (0x00007f81c0595000) libHashTable.so => /home/lzl/HappySunshine/Libs/libHashTable.so (0x00007f81c0391000) libHsPublic.so => /home/lzl/HappySunshine/Libs/libHsPublic.so (0x00007f81c018e000) libc.so.6 => /lib64/libc.so.6 (0x00007f81bfdc0000) libm.so.6 => /lib64/libm.so.6 (0x00007f81bfabe000) libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f81bf8a2000) librt.so.1 => /lib64/librt.so.1 (0x00007f81bf69a000) libdl.so.2 => /lib64/libdl.so.2 (0x00007f81bf496000) libstdc++.so.6 => /lib64/libstdc++.so.6 (0x00007f81bf18e000) libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f81bef78000) libdmcfg.so => /home/lzl/HappySunshine/Libs/libdmcfg.so (0x00007f81beb1a000) libdmclientlex.so => /home/lzl/HappySunshine/Libs/libdmclientlex.so (0x00007f81be8e5000) libdmcomm.so => /home/lzl/HappySunshine/Libs/libdmcomm.so (0x00007f81be6b2000) libdmcvt.so => /home/lzl/HappySunshine/Libs/libdmcvt.so (0x00007f81bdf34000) libdmcpr.so => /home/lzl/HappySunshine/Libs/libdmcpr.so (0x00007f81bdd30000) libdmelog.so => /home/lzl/HappySunshine/Libs/libdmelog.so (0x00007f81bdac1000) libdmmsg.so => /home/lzl/HappySunshine/Libs/libdmmsg.so (0x00007f81bd8b1000) libdmcalc.so => /home/lzl/HappySunshine/Libs/libdmcalc.so (0x00007f81bd618000) libdmcyt.so => /home/lzl/HappySunshine/Libs/libdmcyt.so (0x00007f81bd3f3000) libdmos.so => /home/lzl/HappySunshine/Libs/libdmos.so (0x00007f81bd1be000) libdmutl.so => /home/lzl/HappySunshine/Libs/libdmutl.so (0x00007f81bcfa3000) libdmmem.so => /home/lzl/HappySunshine/Libs/libdmmem.so (0x00007f81bcd90000) libdmbtr.so => /home/lzl/HappySunshine/Libs/libdmbtr.so (0x00007f81bcb5c000) libdmtrx.so => /home/lzl/HappySunshine/Libs/libdmtrx.so (0x00007f81bc7b5000) libdmtrx.so => /home/lzl/HappySunshine/Libs/libdmtrx.so (0x00007f81bc7b5000) libdmstrt.so => /home/lzl/HappySunshine/Libs/libdmstrt.so (0x00007f81bc5a6000) libdmknl.so => /home/lzl/HappySunshine/Libs/libdmknl.so (0x00007f81bc343000) libdmstg.so => /home/lzl/HappySunshine/Libs/libdmstg.so (0x00007f81bc0f4000) libdmblb.so => /home/lzl/HappySunshine/Libs/libdmblb.so (0x00007f81bbeb8000) libdmnsort.so => /home/lzl/HappySunshine/Libs/libdmnsort.so (0x00007f81bbb9b000) libdmllog.so => /home/lzl/HappySunshine/Libs/libdmllog.so (0x00007f81bb974000) libdmrs.so => /home/lzl/HappySunshine/Libs/libdmrs.so (0x00007f81bb76f000) libdmsys.so => /home/lzl/HappySunshine/Libs/libdmsys.so (0x00007f81bb568000) libdmrarch.so => /home/lzl/HappySunshine/Libs/libdmrarch.so (0x00007f81bb313000) libdmtrv.so => /home/lzl/HappySunshine/Libs/libdmtrv.so (0x00007f81bb0d9000) libdmtimer.so => /home/lzl/HappySunshine/Libs/libdmtimer.so (0x00007f81baed3000) libdmmout.so => /home/lzl/HappySunshine/Libs/libdmmout.so (0x00007f81babfe000) /lib64/ld-linux-x86-64.so.2 (0x00007f81c4bf3000) libdmdcrm.so => /home/lzl/HappySunshine/Libs/libdmdcrm.so (0x00007f81ba9f1000) libdmshm.so => /home/lzl/HappySunshine/Libs/libdmshm.so (0x00007f81ba7ec000) libdmshmm.so => /home/lzl/HappySunshine/Libs/libdmshmm.so (0x00007f81ba5e6000) libdmckpt.so => /home/lzl/HappySunshine/Libs/libdmckpt.so (0x00007f81ba3ca000) libdmfil.so => /home/lzl/HappySunshine/Libs/libdmfil.so (0x00007f81ba1a5000) libdmdta.so => /home/lzl/HappySunshine/Libs/libdmdta.so (0x00007f81b9eb8000) libdmrlog.so => /home/lzl/HappySunshine/Libs/libdmrlog.so (0x00007f81b9bf8000) libdmmal.so => /home/lzl/HappySunshine/Libs/libdmmal.so (0x00007f81b99b8000) libdmuthr.so => /home/lzl/HappySunshine/Libs/libdmuthr.so (0x00007f81b97a5000) libdmtlog.so => /home/lzl/HappySunshine/Libs/libdmtlog.so (0x00007f81b959b000) libdmdct.so => /home/lzl/HappySunshine/Libs/libdmdct.so (0x00007f81b8edb000) libdmregex.so => /home/lzl/HappySunshine/Libs/libdmregex.so (0x00007f81b8cd4000) libdmtbl.so => /home/lzl/HappySunshine/Libs/libdmtbl.so (0x00007f81b8ace000) libdmhfs.so => /home/lzl/HappySunshine/Libs/libdmhfs.so (0x00007f81b8835000) libdmlic.so => /home/lzl/HappySunshine/Libs/libdmlic.so (0x00007f81b8629000) libdmlnk.so => /home/lzl/HappySunshine/Libs/libdmlnk.so (0x00007f81b83f8000) libdmredo.so => /home/lzl/HappySunshine/Libs/libdmredo.so (0x00007f81b8143000) libdmrtree.so => /home/lzl/HappySunshine/Libs/libdmrtree.so (0x00007f81b7f31000) libdmenet.so => /home/lzl/HappySunshine/Libs/libdmenet.so (0x00007f81b7d0b000) libdmxmal.so => /home/lzl/HappySunshine/Libs/libdmxmal.so (0x00007f81b7af1000) libdmsbtree.so => /home/lzl/HappySunshine/Libs/libdmsbtree.so (0x00007f81b78ed000) libdmbcast.so => /home/lzl/HappySunshine/Libs/libdmbcast.so (0x00007f81b766f000) libdmscp.so => /home/lzl/HappySunshine/Libs/libdmscp.so (0x00007f81b7457000) libdmjson.so => /home/lzl/HappySunshine/Libs/libdmjson.so (0x00007f81b722e000) libdmspatial.so => /home/lzl/HappySunshine/Libs/libdmspatial.so (0x00007f81b6f55000) libdmvtdskm.so => /home/lzl/HappySunshine/Libs/libdmvtdskm.so (0x00007f81b6d44000) libdmdcr.so => /home/lzl/HappySunshine/Libs/libdmdcr.so (0x00007f81b6b3c000) libdmasmapi.so => /home/lzl/HappySunshine/Libs/libdmasmapi.so (0x00007f81b6915000) libdmasmapim.so => /home/lzl/HappySunshine/Libs/libdmasmapim.so (0x00007f81b66c0000) libdmdfi.so => /home/lzl/HappySunshine/Libs/libdmdfi.so (0x00007f81b64aa000) libdmvtdsk.so => /home/lzl/HappySunshine/Libs/libdmvtdsk.so (0x00007f81b62a3000) libdmasm.so => /home/lzl/HappySunshine/Libs/libdmasm.so (0x00007f81b6074000) libdmasmm.so => /home/lzl/HappySunshine/Libs/libdmasmm.so (0x00007f81b5db8000) libdmdfs.so => /home/lzl/HappySunshine/Libs/libdmdfs.so (0x00007f81b5b92000)
如果有动态库没有找到,就要看看环境变量是否配置正确或是否生效。如果是安装包中缺少动态库,可以留言告知。
6、操作系统限制修改
(1)/etc/security/limits.conf
添加如下内容:
lzl soft nofile 1048576lzl hard nofile 1048576lzl soft nproc 131072lzl hard nproc 131072lzl soft stack 1048576lzl hard stack 1048576lzl soft core unlimitedlzl hard core unlimited(2)验证记得重登操作系统用户,再执行如下命令:
[lzl@czg0 ~]$ ulimit -acore file size (blocks, -c) unlimiteddata seg size (kbytes, -d) unlimitedscheduling priority (-e) 0file size (blocks, -f) unlimitedpending signals (-i) 15593max locked memory (kbytes, -l) 64max memory size (kbytes, -m) unlimitedopen files (-n) 1048576pipe size (512 bytes, -p) 8POSIX message queues (bytes, -q) 819200real-time priority (-r) 0stack size (kbytes, -s) 1048576cpu time (seconds, -t) unlimitedmax user processes (-u) 131072virtual memory (kbytes, -v) unlimitedfile locks (-x) unlimited7、修改配置文件MigrationConfig.txt
具体的内容我都在配置文件中写好,大家按照规则来配置即可。
[Tool] //工具信息。
ProcessNums : '1;' //*程序迁移时开的进程数。
Level : '1;' //*迁移级别。 //2:库级迁移,BlackList生效。 //1:表级迁移,SpecifiedTab生效。OsInfo : '192.168.142.12;gbase;gbase;' //*Gbase8a -> Gbase8a LOAD使用。工具所在操作系统IP;操作系统用户;操作系统用户密码;长度同下方的数据库IP;数据库用户名;数据库用户密码;
OneBatchNums : '50000;' //*MigrationType为0、1、2的情况下,支持此参数,一个批次插入的数据条数。(INSERT方式)
SwitchNums : '3000000;' //*MigrationType为0的情况下,支持此参数,此数以上使用LOAD,以下使用INSERT。
MigrationType : '0;' //*迁移类型,支持0、1、2。 //0 : Gbase8a -> Gbase8a //1 : PostgreSql -> Gbase8a //2 : PostgreSql -> Dm [Source] //源端信息。
ConnInfo : '192.168.142.12;root;;czg;5258;utf8;' //'IP;数据库用户名;数据库用户密码;数据库名;数据库端口号;数据连接字符集;' //*单个IP长度限制19,数据库IP地址。 //*单个用户名长度限制12,数据库用户名。 //*单个用户名密码长度限制29,数据库密码。 //*单个数据库名长度限制29,数据库名。 //*数据库端口。 //*长度限制9,数据库连接字符集,支持utf8和gbk,如果是达梦连接,需填写数字,对照表如下: //(1)UTF8 1 //(2)GBK 2 //(3)BIG5 3 //(4)ISO_8859_9 4 //(5)EUC_JP 5 //(6)EUC_KR 6 //(7)KOI8R 7 //(8)ISO_8859_1 8 //(9)SQL_ASCII 9 //(10)GB18030 10 //(11)ISO_8859_11 11 MigrationDb : 'public;' //库级迁移参数,单个数据库名长度限制29,需要迁移的数据库名。 //MigrationType为1的情况下,此为PG的模式名。
BlackList : '' //库级迁移参数,支持50个表,黑名单,表名,长度限制参考Db。和MigrationDb一起使用可以。
#SpecifiedTab : 'a,b,c;czg;testtab;;x,y,z;zxj;NewTab;' //MigrationType为0的情况下,表级迁移参数,格式:'源端查询字段;源端库名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;' //MigrationType为1的情况下,表级迁移参数,格式:'源端查询字段;源端模式名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;' //如果没有特定条件,可以不写,但必须有分隔符,举例如下: //';czg;testtab;;;zxj;NewTab;' //这样相当于testtab迁移到NewTab,没有任何特殊条件。 //这个可以有多个标签,想迁移多少张表就写几个标签。#SpecifiedTab : ';czg;testtab_copy;;;zxj;testtab_copy;'#SpecifiedTab : ';czg;czg;;;zxj;czg;'
#SpecifiedTab : ';public;testtab;;;zxj;testtab;'#SpecifiedTab : ';public;students;;;zxj;students;'#SpecifiedTab : ';public;haha;;;zxj;haha;'
SpecifiedTab : ';public;testtab;;;zxj;testtab;'
[Target] //目的端信息。
ConnInfo : '192.168.142.12;czg;qwer1234;zxj;5258;utf8;'
MigrationDb : 'zxj;' //库级迁移参数,单个数据库名长度限制29,需要迁移的数据库名。
(2)PostgreSql -> Gbase8a//*代表不可以空//单引号包围参数,分号分割参数项//每行开头不可以有空格,不然会跳过此参数检查。//SpecifiedTab参数可以有多个。
[Tool] //工具信息。
ProcessNums : '1;' //*程序迁移时开的进程数。
Level : '1;' //*迁移级别。 //2:库级迁移,BlackList生效。 //1:表级迁移,SpecifiedTab生效。OsInfo : '192.168.142.12;gbase;gbase;' //*Gbase8a -> Gbase8a LOAD使用。工具所在操作系统IP;操作系统用户;操作系统用户密码;长度同下方的数据库IP;数据库用户名;数据库用户密码;
OneBatchNums : '50000;' //*MigrationType为0、1、2的情况下,支持此参数,一个批次插入的数据条数。(INSERT方式)
SwitchNums : '3000000;' //*MigrationType为0的情况下,支持此参数,此数以上使用LOAD,以下使用INSERT。
MigrationType : '1;' //*迁移类型,支持0、1、2。 //0 : Gbase8a -> Gbase8a //1 : PostgreSql -> Gbase8a //2 : PostgreSql -> Dm [Source] //源端信息。
ConnInfo : '192.168.142.12;postgres;postgres;czg;5432;utf8;' //'IP;数据库用户名;数据库用户密码;数据库名;数据库端口号;数据连接字符集;' //*单个IP长度限制19,数据库IP地址。 //*单个用户名长度限制12,数据库用户名。 //*单个用户名密码长度限制29,数据库密码。 //*单个数据库名长度限制29,数据库名。 //*数据库端口。 //*长度限制9,数据库连接字符集,支持utf8和gbk,如果是达梦连接,需填写数字,对照表如下: //(1)UTF8 1 //(2)GBK 2 //(3)BIG5 3 //(4)ISO_8859_9 4 //(5)EUC_JP 5 //(6)EUC_KR 6 //(7)KOI8R 7 //(8)ISO_8859_1 8 //(9)SQL_ASCII 9 //(10)GB18030 10 //(11)ISO_8859_11 11 MigrationDb : 'public;' //库级迁移参数,单个数据库名长度限制29,需要迁移的数据库名。 //MigrationType为1的情况下,此为PG的模式名。
BlackList : '' //库级迁移参数,支持50个表,黑名单,表名,长度限制参考Db。和MigrationDb一起使用可以。
#SpecifiedTab : 'a,b,c;czg;testtab;;x,y,z;zxj;NewTab;' //MigrationType为0的情况下,表级迁移参数,格式:'源端查询字段;源端库名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;' //MigrationType为1的情况下,表级迁移参数,格式:'源端查询字段;源端模式名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;' //如果没有特定条件,可以不写,但必须有分隔符,举例如下: //';czg;testtab;;;zxj;NewTab;' //这样相当于testtab迁移到NewTab,没有任何特殊条件。 //这个可以有多个标签,想迁移多少张表就写几个标签。#SpecifiedTab : ';czg;testtab_copy;;;zxj;testtab_copy;'#SpecifiedTab : ';czg;czg;;;zxj;czg;'
#SpecifiedTab : ';public;testtab;;;zxj;testtab;'#SpecifiedTab : ';public;students;;;zxj;students;'#SpecifiedTab : ';public;haha;;;zxj;haha;'
SpecifiedTab : ';public;testtab;;;zxj;testtab;'
[Target] //目的端信息。
ConnInfo : '192.168.142.12;czg;qwer1234;zxj;5258;utf8;'
MigrationDb : 'zxj;' //库级迁移参数,单个数据库名长度限制29,需要迁移的数据库名。
(3)PostgreSql -> Dm//*代表不可以空
//单引号包围参数,分号分割参数项//每行开头不可以有空格,不然会跳过此参数检查。//SpecifiedTab参数可以有多个。
[Tool] //工具信息。
ProcessNums : '1;' //*程序迁移时开的进程数。
Level : '1;' //*迁移级别。 //2:库级迁移,BlackList生效。 //1:表级迁移,SpecifiedTab生效。OsInfo : '192.168.142.12;gbase;gbase;' //*Gbase8a -> Gbase8a LOAD使用。工具所在操作系统IP;操作系统用户;操作系统用户密码;长度同下方的数据库IP;数据库用户名;数据库用户密码;
OneBatchNums : '50000;' //*MigrationType为0、1、2的情况下,支持此参数,一个批次插入的数据条数。(INSERT方式)
SwitchNums : '3000000;' //*MigrationType为0的情况下,支持此参数,此数以上使用LOAD,以下使用INSERT。
MigrationType : '2;' //*迁移类型,支持0、1、2。 //0 : Gbase8a -> Gbase8a //1 : PostgreSql -> Gbase8a //2 : PostgreSql -> Dm[Source] //源端信息。
ConnInfo : '192.168.142.12;postgres;postgres;czg;5432;utf8;' //'IP;数据库用户名;数据库用户密码;数据库名;数据库端口号;数据连接字符集;' //*单个IP长度限制19,数据库IP地址。 //*单个用户名长度限制12,数据库用户名。 //*单个用户名密码长度限制29,数据库密码。 //*单个数据库名长度限制29,数据库名。 //*数据库端口。 //*长度限制9,数据库连接字符集,支持utf8和gbk,如果是达梦连接,需填写数字,对照表如下: //(1)UTF8 1 //(2)GBK 2 //(3)BIG5 3 //(4)ISO_8859_9 4 //(5)EUC_JP 5 //(6)EUC_KR 6 //(7)KOI8R 7 //(8)ISO_8859_1 8 //(9)SQL_ASCII 9 //(10)GB18030 10 //(11)ISO_8859_11 11
MigrationDb : 'public;' //库级迁移参数,单个数据库名长度限制29,需要迁移的数据库名。 //MigrationType为1的情况下,此为PG的模式名。BlackList : '' //库级迁移参数,支持50个表,黑名单,表名,长度限制参考Db。和MigrationDb一起使用可以。
#SpecifiedTab : 'a,b,c;czg;testtab;;x,y,z;zxj;NewTab;' //MigrationType为0的情况下,表级迁移参数,格式:'源端查询字段;源端库名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;' //MigrationType为1的情况下,表级迁移参数,格式:'源端查询字段;源端模式名;源端表名;源端过滤条件;目的端插入字段;目的端库名;目的端表名;' //如果没有特定条件,可以不写,但必须有分隔符,举例如下: //';czg;testtab;;;zxj;NewTab;' //这样相当于testtab迁移到NewTab,没有任何特殊条件。 //这个可以有多个标签,想迁移多少张表就写几个标签。#SpecifiedTab : ';czg;testtab_copy;;;zxj;testtab_copy;'#SpecifiedTab : ';czg;czg;;;zxj;czg;'
#SpecifiedTab : ';public;testtab;;;zxj;testtab;'#SpecifiedTab : ';public;students;;;zxj;students;'#SpecifiedTab : ';public;haha;;;zxj;haha;'
SpecifiedTab : ';public;testtab;;;zxj;testtab;'
[Target] //目的端信息。
ConnInfo : '192.168.142.12;SYSDBA;SYSDBA;;5238;1;'
MigrationDb : 'zxj;' //库级迁移参数,单个数据库名长度限制29,需要迁移的数据库名。
欢迎评论区留言领取安装包体验开源数据库迁移工具也欢迎留言与我们交流使用体验后续还将继续更新更多迁移工具敬请关注
往期推荐
中亦科技技术构架系统集成服务矩阵
中亦科技基础架构运维服务矩阵
中亦科技DBaaS数据库智能运维平台产品图谱
股票
板块
用户
资讯
评论 (0)