物流项目管理中的文件备份策略

更新时间:2020-09-07 05:35:11

:文章针对物流项目管理中的文件管理,利用unix下的免费开源包Rsync+crontab实现基于文件级备份策略,以尽最大可能地节约备份成本(软件费用、系统存储资源、系统性能开销),为企业提供一种几乎零开销的、高效的备份策略方案。

:文件级增量备份;crontab工具;rsync开源包;硬链接

随着物流行业的快速发展,大量的数据信息,如BOM、各种单证、报表等在企业的各个生产、运作环节中产生。这些都是企业的核心资源。管理好这些资源,使得信息的冗余最小,同时保留最有用的信息,当不可预知的灾难发生时,如何直观、高效地恢复数据,都是每个企业运营过程中所必须面临的问题。我们需要设计一种备份策略系统来解决这个问题。在Unix(Linux)下有功能强大的版本控制工具MKS(CVS)可以使用,但是当MKS(CVS)服务器发生不可预期的物理错误时候,资源就有丢失的危险。作为补充,需要寻找一种免费的、容易部署的、方便实用的工具来自动完成代码的本地或者异地的备份和迁移。

Rsync是UNIX/Linux系统下的数据镜像备份工具。它的特性如下:可以镜像保存整个目录树和文件系统;可以很容易做到保持原来文件的权限、时间、软硬链接等等;无须特殊权限即可安装;优化的流程,文件传输效率高;可以使用rcp、ssh等方式来传输文件,当然也可以通过直接的socket连接;支持匿名传输。为了配合定时的策略机制,我们可以选择搭配crontab命令工具,实现计划任务的备份。本文介绍的所有工具都是免费并且开源的,所以对企业的开销只存在于人工维护,同样此系统策略也适合家庭和个人使用。以下将从模型设计、核心技术、策略实施出发,详细分析说明备份策略的实现过程。

一、模型设计

对于数据人们最直观的认识是文件。在对数据备份过程中,我们也希望在不改变文件夹结构的基础上实现对重复冗余的数据进行删减,从而节省磁盘空间;同时,没有改变的数据就不需要花额外的时间处理。提高空间效率和时间效率是最重要的目标。图1是针对需求所设计的模型。图1中椭圆形是文件的文件域,阴影长方格是文件的数据域。这个模型反映几个问题:备份结佛山到菏泽物流果文件结构必须与备份目标文件结构相同;备份过程需要判断数据是否改变。当数据没有改变时,文件不需要进行数据拷贝,只需要建立一个新的文件域指向原来的数据域;当数据改变时,文件需要建立新的文件域和数据域。

二、备份策略工作原理

(一)建立Rsync备份策略

图2是备份策略的模型。为了实现增量备份,需要在数据的操作端即A端拥有可对文件夹的移动、删除权限,如果把备份服务器放在Rsync Server即B端就不能实现。备份后的文件夹结构清晰明了,能够很容易恢复。但是这样的设计也存在一定的不足,它增加了数据存储主机B的运算负荷。

(二)文件结构

图3就是文件模块的功能结构图,它反映了所有程序文件之间的关系。

(三) Rsync_exe处理流程(见图4)

这个方案的核心是三个:采用Rsync算法同步备份远程数据,利用计算来换取最小的网络传输开销;采用硬链接控制重复文件对磁盘空间的开销;采用这样的流程,产生的文件夹可以利用其本身的创建时间作为时间戳,可以对用户产生很直观的时间概念。

同时这个设计也存在一个问题:硬链接不能跨越文件系统,就算是同一种文件系统也不可以,所以系统的扩展性受到制约。如果使用在本地备份,那么这个方案还是可行的。如果利用到网络中多个存储节点的时候就会产生问题。为了解决这种问题,数据在进行远程迁移的时候采用Rsync算法来实现差异备份迁移。

三、物流企业实际运用中的体验

贵州商业储运(集团)有限公司是一家有五十余年历史的国有企业,由于客户网络的日趋复杂,贵州商储必须借用先进的信息技术改造传统的管理体系。在实施文件级备份策略后,当采用策略是每周五个工作日的周循环备份,每周六上午1:00做全备份,剩下4个工作日作增量备份。例如,当前目标的数据量是1佛山到金昌物流0GB,按照全备份策略,所需要的空间是10GB×5=50GB,然而使用增量备份,每次增量备份大小为原数据大小的50%,需要的数据空间约为10GB+5GB+5GB+5GB+5GB=30GB,即可以节约40%的空间,而且随着备份频率的增加,备份的效率能进一步提高。图5显示了效率提高过程。

四、结束语

本策略已成功实现并使用,在几乎零开支的基础上高性能地提高企业的数据资源安全性、稳定性。虽然有跨文件系统的限制,但是相信随着Unix/Linux技术的进步,不久的将来就能产生更深圳到洛阳物流好的替代解决方案。

参考文献:

1.(美)W.Richard Stevens,Stephen A.Rago.Advanced Programming in the UNIX Environment[M].人民邮电出版社,2006.

2.(美)格拉斯・阿伯雷斯.Linux程序员与用户指南[M].清华大学出版社,2006.

3.金波.软件编档导论[M].清华大学出版社,2008.

(作者单位:贵州师范大学)

相关文章

浅谈物流信息系统对物流管理的发展

摘要近年来物流行业取得了飞速发展,这不仅是由于经济发展所促进的,还与技术的进步特别是信息网络技术的进步密切相关。关键词物流信息中心物流

6百+0查看详细
2020年

EDI在宁波港口物流中应用研究

摘要随着经济全球化的推进,港口和物流联系的更为紧密。作为物流节点的港口,要提高效率和竞争力,必需通过优化业务流程、提高单证流转质量及效率着手,因此,

7百+0查看详细
2020年

物流工程项目设备监理模式探讨

摘要针对国内物流工程项目建设过程中存在的问题,深入分析了几种物流工程项目的管理模式,提出了第三方设备监理模式。通过对相关设备监理模式的组织架构和功能定

1百+0查看详细
2020年

试论顺德国际物流业的发展

摘要:文章论述了顺德国际物流行业基本情况、发展趋势以及其重要意义,就其现实发展状况,结合顺德对外贸易的经济发展对国际物

3百+0查看详细
2020年

浅析我国物流行业的税收现状

随着我国国民经济的迅猛发展,物流行业的基础地位10年来日益凸显。通过对该行业的利润率与承担的税率相比较分析得出,税负

3百+0查看详细
2020年

物流的绿色包装

摘要在21世纪,绿色理念逐渐被人熟知,绿色包装逐渐兴起,它是对传统物流包装提出的新的发展和改进。传统物流包装已经引

4百+0查看详细
2020年
关闭
关闭
top
关闭
right