Apr
30
公司最近一个项目,是将多个数据源合并成一个数据库.
原来有一个类似的项目,只是针对单个数据库迁移.
但这个项目当时弄了很久.如果再用这样的方案来实现.不太划算.
而且这个项目后期维护也不太明确.所以不考虑.
所以我偏向于使用ETL的工具快速的去实现功能.
试用了openfrefine, clouddx 最后发现 Pentaho Data Integration (Kettle) 最适合.
优势:
1.gui编辑数据集成的逻辑
2.命令执行
3.能支持sql server ,mysql等常用数据库
4.支持js调整数据内容
5.分批操作
https://www.jianshu.com/p/6876c204f447
https://blog.csdn.net/romaticjun2011/article/details/40685113
https://www.cnblogs.com/mq0036/p/9372713.html
原来有一个类似的项目,只是针对单个数据库迁移.
但这个项目当时弄了很久.如果再用这样的方案来实现.不太划算.
而且这个项目后期维护也不太明确.所以不考虑.
所以我偏向于使用ETL的工具快速的去实现功能.
试用了openfrefine, clouddx 最后发现 Pentaho Data Integration (Kettle) 最适合.
优势:
1.gui编辑数据集成的逻辑
2.命令执行
3.能支持sql server ,mysql等常用数据库
4.支持js调整数据内容
5.分批操作
https://www.jianshu.com/p/6876c204f447
https://blog.csdn.net/romaticjun2011/article/details/40685113
https://www.cnblogs.com/mq0036/p/9372713.html
Dec
23
如果有迁移过大网站的人都知道,如果一次过把所有文件打包成一个文件,经常会出现压缩包损坏的情况.而且传送也很耗时.对于快速迁移不利.
一般网站的最大量的都是附件.所以我操作都把附件分开打包,如:附件目录下有 2010,2011两个目录,我会将目录打包成2010.tar.gz, 2011.tar.gz
以下命令能将当前目录下的所有目录打包成tar.gz文件
ls -F|grep /$|awk -F '/' '{print $1".tar.gz"}''{print $1"/"}'|xargs -n2 tar czvf
这里迁移就不说了.当移到目录目录后,将指
批量将目录下的tar.gz文件解压到当前目录下.
ls *.tar.gz | xargs -n1 tar xzvf
一般网站的最大量的都是附件.所以我操作都把附件分开打包,如:附件目录下有 2010,2011两个目录,我会将目录打包成2010.tar.gz, 2011.tar.gz
以下命令能将当前目录下的所有目录打包成tar.gz文件
ls -F|grep /$|awk -F '/' '{print $1".tar.gz"}''{print $1"/"}'|xargs -n2 tar czvf
这里迁移就不说了.当移到目录目录后,将指
批量将目录下的tar.gz文件解压到当前目录下.
ls *.tar.gz | xargs -n1 tar xzvf
Nov
21
Apr
5
无论是在小得可怜的免费数据库空间或是大型电子商务网站，合理的设计表结构、充分利用空间是十分必要的。这就要求我们对数据库系统的常用数据类型有充分的认识。下面我就将我的一点心得写出来跟大家分享。
Mar
27
在我叙述 JOIN 的用法前，我先引用数据库设计中最常见的范式资料。
