用户会上传多个大文件（ 1GB 大小），，存在 txt，csv，excel 格式，不知道有什么好的办法入库，还需要判断表是否存在，不存在就去建表。入库的数据有添加和覆盖两个选项。入库后需要得到入库成功多少行失败多少行 很苦恼没啥好的解决办法
This topic created in 2279 days ago, the information mentioned may be changed or developed.
 |
1018jiAug 11, 2020
1
1G 多，啥子需求，告辞
|
 |
2
不入库啊
为什么这种东西要入库? 存到对象存储不行么? |
1 |
summerwarAug 11, 2020
3
1G 多的 excel 文件吗
|
 |
wakzzAug 11, 2020
4
大文件传到文件存储服务中（ FastDFS 、阿里 OSS 之类的）生成一个访问链接，然后把链接存到 mysql 中。
|
 |
lscexpressAug 11, 2020
5
没看文档吗
mysql 就不适合大文件存储 |
 |
killergunAug 11, 2020
6
1G 的 excel 这得有千万行数据了吧
|
 |
blackmirrorAug 11, 2020
7
这不是伪需求吗
|
 |
realpgAug 11, 2020
8
java 开发商业软件的一贯脑回路清奇
|
 |
xuanbgAug 11, 2020
9
文件存 7 牛什么的，url 入库就行了
|
|
xuanbgAug 11, 2020
10
或者把数据解析出来批量写入也行，整个文件入库怕是不太行。
|
 |
securityCodingAug 11, 2020
11
@xuanbg 楼主应该不是这个意思的,应该是解析文件然后存储
|
 |
14
@lscexpress 这里是把大文件转换成表数据入库
|
|
17
@securityCoding 我搜到 loda data 这个命令可以实现我的需求
|
|
summerwarAug 12, 2020
18
@ccxml 只是很少见到 1G 的 excel 文件，不会 java，只会 python，用 python 的话可以直接读取，然后第一行作为表头，每行数据与数据库进行对比，该覆盖覆盖，该新建了新建数据就是了
|
 |
robot1Aug 12, 2020
19
果然什么样的工程都有 脑回路清奇算是夸人了
|
 |
tibazq929Aug 12, 2020
21
用 oracle，lob 性能比文件系统还强
|
 |
b2bycoAug 21, 2020
22
kettle ？
|
Select Language