博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大文件跨服务器传送
阅读量:4625 次
发布时间:2019-06-09

本文共 678 字,大约阅读时间需要 2 分钟。

2015年9月15日 19:02:47

<高性能mysql>里的内容

场景是将数据从一个服务器传递到另一个服务器中用于mysql数据初始化或恢复

本质的原理是压缩传输

1. 使用管道命令, 压缩的时候直接传输, 不再压缩到本地, 再传输到另一台server压缩

server1$ gzip -c /server1/data/file | ssh root@server2 "gunzip -c - > /server2/data/file"

2. 上一步用了ssh加密, 也可以不用加密的nc命令传输, 需要监听一个端口

server2$ nc -l -p 12345 | gunzip -c - > /server2/data/file //server2监听端口,等待数据传递进行解压缩

server1$ gzip -c - /server1/data/file | nc -q 1 server2 12345

注意:

1. 压缩命令的选择: 更快的压缩/解压但压缩率不高, 慢一些的压缩速度, 但是压缩率比较高 (gzip -l 压缩更快, lzo压缩更快, bzip2压缩率更高)

2. 压缩的时候用tar打包, 他解压的时候会自动命名

3. 用rsync支持断点续传

4. 通过监控来选择更好的方法 vmstat -n 5, 查看是磁盘IO还是cpu速度是瓶颈(千兆网卡的话,但cpu/磁盘不咋滴, 瓶颈就可能在读写文件上, 不压缩反而更快)

 

转载于:https://www.cnblogs.com/iLoveMyD/p/4811244.html

你可能感兴趣的文章
添加sudo命令
查看>>
策略模式,我与你的三次相遇。
查看>>
43左旋转字符串+三步反转法
查看>>
CTF线下赛AWD模式下的生存技巧
查看>>
我的思想境界
查看>>
QML与C++交互:在qml中使用QSqlQueryModel显示数据库数据
查看>>
在VM已安装Android4.4 连接小米手环 网络设置
查看>>
HDU4939Stupid Tower Defense (有思想的dp)
查看>>
原生ajax
查看>>
图像腐蚀与图像膨胀(18)
查看>>
NSlog 对于新手的一点技巧和用法.
查看>>
eclipse项目中出项红色的叹号(!)和当运行时找不到主类或者是无法加载主类...
查看>>
第六章小结
查看>>
C++中使用模板template递归函数
查看>>
Check the string
查看>>
DFS中的奇偶剪枝(技巧)
查看>>
dos命令的使用
查看>>
Android中微信抢红包助手的实现
查看>>
斐波那契数列
查看>>
HDU1201+简单题
查看>>