物流信息系统中的数据集成技术

本文分析了当前物流信息系统数据管理的需求，提出了物流信息系统集成的体系结构，讨论了物流信息系统中数据集成的关键技术。

物流信息系统 数据集成 数据仓库

一、引言

数据源的多源异构是物流信息化建设过程中经常遇到的一个现实问题，也是制约各种应用信息系统建设和数据共享程度，以及信息化建设投资重复或负担重的一个重要因素。物流行业数据的多源异构特性主要表现在3方面:1.系统异构，即数据源所依赖的业务应用系统、数据库管理系统乃至操作系统之间的不同构成了系统异构。2.模式异构，即数据源在存储模式上的不同。3.来源异构，即企业内部数据源和外部数据源之间的异构。

在物流行业信息量不断增加及信息源多样性的情况下，对有价值信息的检索日趋复杂。各相关企业不仅要访问关系型数据库等传统应用数据源，还必须能够访问XML文档、文本文件、扫描图像、Web内容及专用存储器等数据源。这就迫切地需要将诸佛山到文昌物流如此类的面向物流的信息集成。

经典的信息集成观点强调数据的集成性、完整性，一致性与访韶关到普洱物流问安全性。物流行业的信息集成也不例外，但它不仅要面对多源异构的数据源，而且在实时信息查询方面的要求较高。对干面向物流的信息集成，IT行业有许多可选择的技术与工具。但是，繁杂的技术可能也会对技术人员造成一些麻烦。如何在现有技术条件下，科学合理地制定适合物流行业的信息集成的体系结构与解决方案，是技术人员面临的一个巨大挑战。

二、物流信息系统数据集成的体系结构

面向物流信息集成的体系结构必须能够无缝地对异构的关系数据等结构化数据与XML等非结构化数据提供统的访问与管理。本文提出了下图所示的基本的5层体系结构。

图 物流信息系统数据集成的体系结构

1.数据源层：提供各类结构化（如关系表)、半结构化(如XML文档)、与非结构化（如字节流、扫描文档）的数据源，这些数据源来自各个物流企业与其他相关机构。

2.数据整合层：提供来自基本数据源层的不同数据格式数据的存储、检索与转换。该层应能够将数据存储为结构化、半结构化与非结构化的格式，并能提供方便的检索。该层更应能集成外部数据源，这些数据源同样可能是各类结构化、半结构化与非结构化的数据。该层是本体系结构的核心部分。

3.集成服务层：是从内容管理系统和企业集成应用程序中抽取的，用来提供将数据访问服务透明地嵌入企业应用程序和业务过程的基础结构，涉及查询处理、文本搜索和挖掘、版本控制和元数据管理、数字资产管理、转换、复制和高速缓存技术。

4.应用程序接口层：对数据整合层和集成服务层提供丰富的服务和数据集，提供了基于标准的编程接口(如传统的编程接口ODBC,JDBC和基于Web Services的接口)和查询语言(如针对XML的查询语言XQuery)，以接入数据整合层和集成服务层提供的一套丰富的业务和数据。

5.应用程序层：给物流各相关企业、相关机构与相关客户提供各类应用服务。

该体系结构的主要部分应该是中间的3层，其实现应全面科学地考察以下目前可用的信息集成方面的关键技术。

三、物流信息系统数据集成的关键技术

1.数据库与数据仓库技术。DBMS能很好地处理与数据管理相关的数据存储、检索、转换、可伸缩性、可靠性和可用性等方面的难题。DBMS也正在迅速适应近几年物流应用程序引入的数据和访问模式的多样性。同时，由于各类物流企业与机构对DBMS过去进行了大量的投资，充分利用它们，在所有级别上直接利用增强的DBMS体系结构是信息集成的最佳选择。

数据仓库(Data Warehouse)技术，传统上主要强调如何存储与集成历史数据，使之成为面向物流信息集成的必然选择的主要技术之一。

2.联邦技术。联邦(Federation)是指用户可以像对待一个数据源那样对多个数据源进行查询和处理，同时保持数据源各自的独立性和完整性。利用联邦数据库技术可以解决物流行业分布式数据操作、异构数据复制、空间地理应用与分布式数据仓库管理等一系列商务难题。联邦技术能够统一地访问以任何技术存储的任何数字信息，具有透明性、异构数据源支持、底层联邦数据源自治、可扩展性、开放性和优化等功能，这使联邦技术成为面向物流的信息集成中另一个重量级技术。

3.XML技术。XML是SGML的简化子集。XML是一种元语言，允许汕头到浙江物流用户创建自己的标记语言，其自描述性使其非常适用于物流信息系统集成中不同应用间的数据交换，而且这种交换是不以预先规定一组数据结构定义为前提的。

4.Web Services技术。用Web Services可以方便地集成物流行业的异构系统，在不需要对原有系统进行修改、不影响原有系统功能的情况下，只要在原有系统的基础加上一个SOAP接口，就可以将现有的、用不同技术实现的系统互联起来，提供相互的数据交流和访问操作。在面向物流的信息集成过程中，既有一些原有的Web Services可以通过集成平台集成进来，也可以由集成平台提供新的Web Services以供用户使用。

5.网格技术。数据网格是在网格环境下通明访问异构数据资源的新的体系结构。数据网格主要解决数据密集型计算应用中如何方便高效地使用分布式数据资源的间题。其研究内容主要集中在广域、异构、分布环境下如何对数据进行管理，如何从地理分布的各种异构数据资源中获取数据，并通过地域分布的协作和处理，如何从数据源中获取有用信息。因此该技术对今后的物流信息集成非常有用。

四、结束语

物流，作为一个正在迅速成长的行业，其信息化的应用自然成了一个热点。如何利用众多IT行业的新技术为物流信息化服务，是非常具有挑战性和实际意义的。本文结合目前的集成新技术，提出了利用数据仓库与联邦技术结合为核心的物流信息集成方法。今后相应的集成办法也将随着IT技术的发展，会与网格等新技术有更多的融合。

本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。