navicat 数据传输 /导出 sql 等功能，跑单表都内存溢出。
dbeaver 也一样直接卡主。
oracle 数据库表设计还很坑爹地用了浮点型做主键，然后利用序列自增
自动化迁移 mysql 之后还要修改字段为整型才能改自增
This topic created in 2362 days ago, the information mentioned may be changed or developed.
Supplement 1 · May 27, 2020
经过测试 应该可以处理好了 DataX 牛 X ！
 |
threegrandfatherMay 27, 2020
1
你在想什么呢？ oracle 迁移 mysql 。你自己找开发一起核对吧。慢慢的过每一个表每一个字段吧。
|
 |
2
用 datax 啊，https://github.com/alibaba/DataX 迁移过近百 T 的数据
|
5 |
dorothyRENMay 27, 2020
3
内存溢出 怕不是用的 32 位的 navicat 吧
|
 |
4
@threegrandfather 我就是开发。。。小组没 dba 。。。字段倒是没问题，问题是数据怎么导出来导进去？我现在随便导一个大表 电脑都内存溢出。。。
|
|
5
@dorothyREN 16G 内存+12G 虚拟内存 跑不赢 13g 单表 直接报内存不足 卡死
|
 |
wuwukai007May 27, 2020 via Android
6
oracle 里面的函数触发器怎么办
|
 |
ohaoMay 27, 2020
8
2 楼正解，不行让阿里的工程师协助，先迁到阿里云，在迁移到自己的物理机
|
 |
liqingcanMay 27, 2020
11
换数据库成本太大了吧。
|
 |
fixendMay 27, 2020
12
我当年是自己写程序，查出数据，再批量插入的，还好表不多，只是数据量大。
70 、80G，转了我一天一夜。 |
 |
abcbuzhimingMay 27, 2020
13
这种如果没有工具的话。只能自己写程序，上游标，一行行的读然后转，然后插入
|
 |
levelwormMay 27, 2020 via Android
15
好奇一把，自己写 python 一点点挪动行不行？不过问题是怎么确认没漏没重呐？
|
|
levelwormMay 27, 2020 via Android
16
又想了一下，按照天来拆和写程序挪怎么样？
|
 |
wangyzjMay 27, 2020
17
datax 这类工具慢慢搞把
没什么特别好的办法 存储过程啥的估计还得单独想办法 |
 |
cstj0505May 27, 2020 via Android
20
分两部分，表结构迁移，这部分如果没工具就导出慢慢改，确保逻辑一致。
导数据，很多工具都行 |
 |
ant2017May 27, 2020 via Android
21
kettle 可以吧
|
 |
MintZXMay 27, 2020 via iPhone
22
几百 G 也不是很多，csv 分页弄呗
|
 |
fewokMay 27, 2020
23
就说停机不？？？
|
 |
24
DATAX 好评加一 迁移过上亿数据
|
 |
xichenMay 27, 2020
25
试试 azure datafactory ？
|
 |
soulzzMay 27, 2020
26
虽然我用的 mongoDb,但也应该差不多。之前我遇到的情况是迁移 2000 万记录的单表，整体查出来肯定爆内存，
用游标十几分钟就能全表迁移走 |
 |
dog82May 27, 2020
27
分步骤做，先迁移数据字典和数据量小的表。
大表写脚本或代码迁移，一般系统里的大表不会太多。 |
 |
robinlovemaggieMay 27, 2020
28
疫情的无情都比不上 Oracle 业界毒瘤的绝情(降个价会死人吗？）
|
 |
29
如果用了大量专有的数据库特性（ Function，Procedure 等），任何自动迁移工具都是没用的。
以前迁移一个遗留系统，200G 的数据库，从 Borland Firebird 到 MySQL，基本是手写一个程序来跑的，当然为了适应新的程序，新的数据库 Schemas 是改动不少，数据库脚本不可能完成。 |
 |
lithiumiiMay 27, 2020 via Android
30
又不要 etl，这不是两个 for 循环的事儿吗？
|
 |
leqoqoMay 27, 2020
31
1,更换更牛的硬件或者优化数据库导出配置.
2,单表测试一次导出多少数据不会 gg,写程序生成这样的 sql 脚本,找一个你能接受的时间 ... offset 0 limit 1000000; ... offset 100000 limit 100000; 3,创建 mysql 数据库,写建库表脚本, 4,用程序合并表的导出的这些文本文件为一个文件. 5,用程序生成 mysql load file 脚本, disable 表索引 6,enable 索引, 以上操作注意留够足够的硬盘空间. |
 |
weizhen199May 27, 2020
32
DB 在 SSD 上 随便写个程序 select insert 跑满 1000M 网卡应该都不是问题吧
|
 |
aladdindingdingMay 27, 2020
33
python 的生成器
|
 |
podelMay 27, 2020
34
阿里云有一个 叫做 DTS 的数据传输服务，可以支持不同数据库之间传输。
|
 |
MarstinMay 27, 2020
35
导出 sql 是什么鬼，不是导 dmp 吗
|
 |
ctOS1HMay 27, 2020
36
datax 可以
|
 |
tiiisMay 27, 2020
37
1.datax
|
 |
passerbytinyMay 27, 2020 via Android
38
你这不是迁移，是数据割接，光靠数据库的工具是很难成功的。
|
 |
angeltopMay 27, 2020
39
阿里云 DTS 吧，上云后再传下来也行
|
 |
weifuqiao1989May 27, 2020
40
说下我用的比较多的工具
kettle 这样的 etl 工具 适用表不多的情况 比较好用，msdts 也能用 ESF Database Migration Toolkit - Professional 这个比较简单 |
 |
admin7785May 27, 2020
41
kettle 可以试一下
|
 |
xsm1890May 27, 2020
42
去 IOE 不是这么去的啊。我是不会建议这么做的。直接把数据迁移到 MySQL 不是问题，问题是业务怎么兼容，毕竟业务第一。如果是生产环境，真的不建议直接迁过去，后面会留下很大的坑的。Oracle 随便几个存储过程就可能让你到了 MySQL 后重构代码。好的去 ioe 做法是，慢慢的把业务一个一个外迁，同时保证两份数据，所有项目迁完后，再把 Oracle 去掉。业务第一。
|
 |
HilalumMay 27, 2020
44
想起我实习的时候干过这活哈哈哈哈
|
 |
wanguorui123May 27, 2020
45
MySQL 的性能顶不住吧
|
 |
LightLoloMay 27, 2020
46
kettle +1
|
 |
xjmrootMay 27, 2020
47
用过 kettle 做 mysql 到 postgres 的迁移，还不错
|
 |
ncwtfMay 27, 2020
48
streamsets 也行吧
|
 |
54
现在主流都用 postgres 了，mysql 好多标准抖不支持，半残一样
|
 |
x2veMay 27, 2020 via iPhone
55
kettle 和 datax 都用过 没啥区别 都满足楼主的需求
|
 |
RavendddMay 27, 2020 via Android
56
之前也碰过 oracle 迁移 mysql 的情况，是写程序一个一个字段同步，主从库类似，差不多同步完数据时候，实时同步+业务代码迁移，真的蛋疼
|
|
angeltopMay 28, 2020
58
用 Mysql 8.0 MGR 多主多写吧，前端提交代码改改，写需要稍微控制一下。
|
 |
YinnfengMay 28, 2020
59
datax + 1
|
 |
OysmartJun 4, 2020
60
|
Select Language