拿到一个文本文件，大小 20G 左右，虽然可以用 WinHex 查找，但是每次查不到一半就很卡（内存占用飙升），而且考虑到以后偶尔还会查询，所以想存入数据库。我打算用 Python 写个脚本批量导入 Mysql ，做索引，字段也不多。不知是否可行？或有其它更好的办法？
PS. 笔记本只有 4G 内存。
PS. 笔记本只有 4G 内存。
This topic created in 3985 days ago, the information mentioned may be changed or developed.
 |
gamexgDec 13, 2015
1
能说清楚查询的类型吗？
数字、时间之类的能做索引，纯文本开头匹配也能做索引。 但是要是纯文本内部包含关键字那你需要全文搜索。 |
 |
xufangDec 13, 2015
2
呵呵，社工库，还是用 sqlserver 吧，傻瓜并且性能也够。
|
 |
uuspiderDec 13, 2015
3
sed awk 应该可以胜任。
|
|
xufangDec 13, 2015 via Android
6
@joshz cygwin 的 io 性能呵呵。真要用 sed 和 awk 别用 cygwin 或 msys 封装过的，应该用 gnuwun32 那一类的。
|
|
xufangDec 13, 2015 via Android
7
说个笑话，我厂不止一个人反应在 cygwin 编译比放在 linux 虚拟机下用 mingw 编译还要慢了。
|
 |
ValyrianDec 13, 2015
9
难道不是 cat xxx.txt | grep xxx ？
|
 |
msg7086Dec 13, 2015
11
|
 |
S02N2W42tmoa1fG1Dec 13, 2015
12
为什么不是先把这个 20G 的文本做切分呢，然后再 Python 写脚本处理不就简单多了么。
|
Select Language