Enter The Matrix
——承前启后EAI
撰文/李国平
今天的IT怎么了?
曾几何时,感觉全球IT经济增长放缓于己仍是很遥远的讯息,一夜梦醒却听闻某某公司全球裁员,某某集团“战略调整”,某某园区遭债主“封门”……一时四面楚歌,颇有大厦将倾之感。这其中,既有全球PC需求量趋于饱和,增长放缓的客观因素,也有某些审时度势的“知本英雄” “战略失误”的主观因素。另外一个重要原因则是IT经济发展的支柱——商业用户,遭遇了前所未有的信息化发展瓶颈——企业应用集成(Enterprise Application Integration)。国内公认的行业数据显示:ERP系统在企业的成功实施率不足10%。那么90%的企业呢?在巨大的资源投入与晦涩的鸡肋的甚至是彻底失败的信息系统中苦苦挣扎,生产工具的目的是提高生产力并解放劳动者的体力与脑力,但事与愿违,失败的信息系统成了企业发展壮大的桎梏。难道一体化的企业信息平台就这样难于建立吗?难道那些各自运转良好的应用系统协作处理业务就这样困难吗?
问题出在哪里?
众所周知,企业信息化是一个循序渐进的过程,企业根据自身与行业的发展阶梯式地部署信息系统,从系统功能来看,从最早的财务、办公自动化等系统发展到ERP/CRM/SCM大量应用Intranet/Internet的分布式系统。系统平台则从单机作业到DOS+NetWare,从C/S到B/S,从三层到N Tier,乃至今天网络天下分庭抗礼的J2EE和.NET。有一些古老的系统已经被彻底淘汰了,但更多的不同时期、不同平台多元化的系统仍在企业中不可或缺地承担着不同业务领域的信息化重任。企业众多系统各自运作形成信息孤岛,难于统一管理与业务协作,维护成本过高,新业务系统的实施导致旧有系统的推倒重来,企业的分析统计信息难以有效实时地汇总,竞争力下降,B2B、B 2C 电子商务多停留在网上订单网下交易的低水平阶段,企业的收购与合并等商业行为带来的信息化整合难题、灵活多变的市场策略难以实现等等......问题的关键在于——如何共享、整合并有效利用信息系统资源。
下一波技术热潮的到来?
根据IDC的预测,在未来的3-5年当中,EAI(Enterprise Application Integration)企业应用集成服务市场将成为IT行业中增长最快的部分。EAI市场的全球的营收将从2000年的50亿美元飙升至2005年的210亿美元,复合年增长率(CAGR)将超过30%。与此同时,整个IT服务行业的同期综合年增长率预计仅为11%。北美和西欧将产生90%的EAI的服务需求和市场份额,日本和拉美将是剩余市场份额的主体。而另一研究机构AMR Research给出的预测数字更为乐观,EAI解决方案到2005年将有370亿美元的市场规模。
看似利好的发展消息,却暗含着企业现有信息体系的致命问题:现阶段大量孤立的信息系统,如何满足系统交互应用集成的迫切需求?难道放弃旧有投资全部推倒重来吗?如果答案是否定的,又如何保证新老系统在EAI体系中协作并存?如何保障信息共享与系统更迭时的数据迁移?作为年GDP以9%高速增长中的中国,将会在这一波新的技术浪潮中扮演怎样的角色?信息化起步较晚,应用水平偏低的中国企业,是否能借力EAI,赶超欧美,在WTO体系下的国际竞争中,稳占潮头,立于不败之地?关注与引领热点技术走向,评估和提升企业在现阶段和未来市场的竞争力,反思现有管理体制和信息架构的缺陷与瓶颈,优化业务流程和降低营运成本,是中国企业和企业的CEO、CTO、CIO们所面临的在风云变幻的机遇与挑战中寻求出路与突破的严峻考验。
追根溯源EDI
如果说EAI市场的成熟与崛起是以从3-5年前出现的Microsoft BizTalk Server、IBM WebSphere及MQSeries、BEA WebLogic Integration、Vitria BusinessWare等平台软件为代表,那么另一个承担了企业信息系统互联互通重任廿年有余的技术就不得不提——EDI(Electronic Data Interchange)电子数据交换, 电子数据交换是指通过计算机通信网络及相关技术,在最少人工干预下,将政府、海关、保险、银行、贸易、运输、仓储等等行业信息,采用国际公认的标准格式,实现机构内部门间或机构企业之间的数据交换与处理,并完成以贸易为中心的全部过程。在最早期的大型主机/终端时代,信息系统的建制者与使用者逐渐认识到传统的平文(Flat File)由于其格式无规则,定义混乱,歧义多等缺点,无法在大范围的信息系统间承担信息传递与数据交换的任务,EDI也就随着这样的需求风生水起了。
EDI技术在国内的海关、国际贸易等机构的信息系统交互中一直发挥着举足轻重的作用,符合UN/EDIFACT标准的信息系统在国内也大量存在。事实上许多行业都有由行业协会与信息化厂商协商制定的“数据交换格式”,这些早期的行业数据格式标准,都逃不出EDI的窠臼,如金融业的FIX (Financial Information eXchange) 金融信息交换和SWIFT(Society for Worldwide Interbank Financial Telecommunication)环球银行金融电信协会的报文格式、医疗业HL7(Heath Level Seven)V2.x的消息定义等,都或多或少地流露着EDI只是“交换数据”的痕迹,对系统如何整合,应用如何协作,流程如何规范鲜有定义,本质上都属于广义EDI(相对于经由EDI国际组织制定推出的狭义EDI)范畴。但不可否认,EDI技术要完成信息系统的信息交换与应用集成尚有许多先天的不足之处:
1.基于静态业务数据文件的交换难于实现动态业务流程整合。
2.系统间互操作体验和易用性不尽人意,系统的整合能力较差。
3.EDI技术只提供了数据层的会话能力,而业务层与应用层的整合仍是空白。
4.数据格式的确切含意需双方认定,不具备数据自描述特性。
尽管EDI面对现代化的信息交换显得古老而腐朽。但客观地分析,短期内EDI技术仍将存在,在新老系统的信息孤岛之间搭起一座跨时代的桥梁,成为EAI技术必不可少的数据载体,毕竟很多旧有投资与业务是基于EDI技术实现的系统。
群雄逐鹿XML
XML由于其自描述和可扩展等特性,在近几年的IT技术发展中,已经被绝大部分厂商推崇与采用,如基于XML的WebService、SOAP、UDDI、WSDL和上述的几个EAI产品等等大量技术与平台纷纷涌现,甚至Based XML的数据库也一度成为热点。
本质上XML与EDI并不是一个层级上的技术概念,但在信息系统的交互与集成中却是承担相同功能的两种不同数据载体。XML较之于传统的平文及EDI格式具有以下优点:
1.具有数据自描述和标记可扩展的特性,结构化的数据表现形式。
2.具有XML Schema、XSLT、XQuery、XPath等可用性强的功能子集。
3.采用Unicode字符编码,解决多语言兼容共存问题。
4.与被广泛采用的HTML一脉相承,易于在Internet中集成与应用。
5.通过XML Schema、XSLT、XPath等技术易于实现数据格式转换。
6.在通用的的数据载体上易于建立开放性好通用性强的上层平台。
如相对于传统金融交换格式FIX和SWIFT,近两年又兴起了基于XML技术的FIXML(FIX Markup Language) 金融信息交换标记语言、FpML(Financial Products Markup Language)金融产品标记语言,它们的数据完全是通过XML来描述和承载的;而HL7V3.0则将完全牺牲与之前版本的兼容性,全面采用XML重新构造数据格式。近年来看惯了IT厂商技术与平台的纷争割据,每有某个厂商的新技术新产品亮相,市场的反映必是基于本位主义而有赞有弹,褒贬不一,然而XML技术却戏剧性地获得了众多冤家对头们的一致追捧,究其原因,是由其数据描述能力强、可用性和开放性好等特点所决定,而这些特性,正是这个“随需应变”时代的信息系统所迫切需要的。看来在XML技术基础之上,百家争鸣百舸争流的更高层次的技术角逐才刚刚开始。
分久必合EAI
XML,真是的“统一世界”的终极武器吗?有了XML真的就足够了吗?答案无疑是否定的,XML不过是一种数据载体,与传统EDI相比(从广义EDI角度看,XML不过是一种现代的,自描述的EDI数据格式),XML只解决EDI不能自描述等问题,而只交换数据,不整合应用与业务,互操作能力不强等缺点依然存在,这就需要在包容EDI和XML的基础之上,构建更高级可用性更强的思维与技术体系,这就需要EAI。
EAI技术的目标,就是在体系与体系,系统与系统间建立良好的通讯、数据、业务与应用层面的整合和交互能力,将原有数据分散的、应用分布的、流程分段的企业信息孤岛整合为数据一体化、应用集成化、流程自动化的有机协作式企业信息平台。要建立具备EAI能力的企业信息体系,把握和评估EAI架构的目标应当是:降低各信息系统集成与交互的复杂度,减少非必要的人工参与环节,降低交易单位成本与维护工作量,提升工作效率与系统价值,延长系统生命周期,提高自动化程度与业务灵活性,建立强内聚松耦合、延展性兼容性强的分布信息体系。
企业在产生信息互联需求之前,势必已经部署了一些系统,这些单一系统在部署时多数并未考虑到为未来系统的整合问题建制友好的接口,而新的应用信息加入时,又必须访问旧有系统,以获得数据信息与协作服务。EAI技术的首要问题就是解决新老系统的协作整合问题。如在J2EE1.3中被提出的JCA(Java Connector Architecture)Java连接器架构,其试图在Java世界与复杂多样的旧有EIS(Enterprise Information System)企业信息系统间通过CCI(Common Client Interface)建立一种通用的集成规范。新老系统应用集成的方法不外乎是改造旧有系统实现EAI的定义规范以满足新系统EAI接口需求的侵入式(intrusive)集成或在新系统中为旧系统建立专用适配器,让旧系统在透明方式下完成与新系统的协作的非侵入式(nonintrusive)集成,这两种集成模式都有一定的弊端,前一种模式可能导致旧有系统的兼容性、稳定性方面的隐患并且需要对旧有系统有深入透彻的了解,而后一种模式将使新系统不得不为不同的旧有系统做大量的额外工作,如果新旧系统分别是来自不同的厂商,人际协调和集成工作的开展将更具挑战。集成方式是应当灵活应用的,在一些情况下可能需要结合两种改造方式,才能达到最小工作量最佳整合效能的目标。而在一个全新的企业信息体系建构情况下,复杂度略微降低,决策者或架构师们不再需要关心历史遗留问题,架构设计的重点应当是:对原有手工或半自动化的商业流程进行改造与优化,和对EAI接口的开放性、易用性、易集成性以及对未来系统的扩展性、兼容性等多方面的设计。
成功的EAI应用体系,应具备以下能力,这也是现代化的企业信息体系所必要的:
1.在封装应用交互逻辑的基础上建立高内聚低耦合的应用服务与分布计算能力。
2.提供强大灵活的流程自动化解决方案,缩短业务周期降低流程单位成本提高自动化水平。
3.提供商业逻辑重定义和业务流程可调整的能力,保证业务变更时的企业竞争力。
4.最小化应用间的依赖性和应用集成对旧有的、现在的、未来的系统影响。
5.最大化应用的可重用性和企业信息的数据挖掘能力,体现和保证IT投资的价值。
6.获得实时高效的业务数据与流程分析(如流程瓶颈、统计信息、错误信息和资源利用等)。
7.通过统一的应用交互逻辑简化分布式系统交互与集成的复杂度与维护工作量。
8.具备消息、数据、应用、流程多层面的整合能力,提供一致的标准化的集成接口。
实现EAI从低到高有消息通讯、数据交换、应用接口等多个层次,种类繁多的技术实现手段,但这些EAI技术实现手段共有的一个特点就是交互(Interaction)/集成(Integration)能力的相互制约性。越是上层的实现技术,其交互能力、可操作性和用户体验就越佳,但集成的能力与灵活性就越弱(如采用EJB/DCOM等技术,具有易于调用与实时性强等优势,但平台相关性较大,只能与其特定平台的应用集成与交互);而恰恰相反的是,底层的实现技术可以获得较强的集成灵活性和松耦合度,但交互能力却相对较弱(如Socket、DB、Message Queue、文件传输等可以平台无关地与其它信息系统对接,但开发者必须做更多的工作来满足系统交互的业务需求)。在IT技术日新月异的今天,Web Service/SOAP技术之所以能获得广大IT厂商与企业用户的一致认可和广泛采纳,与其表现出的在EAI方面的良好交互/集成能力、扩展兼容性、平台无关性等特点是分不开的,事实上,Web Service也正是由于EAI的需求驱动才应运而生的兼顾交互与集成两方面需求的技术。既具备类似CORBA/DOCM/EJB的交互能力,也具有类似TCP/IP的通用性和平台无关性的广泛支持。毋庸质疑,Web Service是目前EAI Ready的IT技术中最具活力与发展前景的技术。
应用集成——方兴未艾,任重道远
正如企业信息化循序渐进的步伐一样,企业应用集成也是一个由简单的企业内部分散系统整合到整个企业价值链(Value Chain)的相关企业协作互联的阶段性过程。在此过程中企业从最初单一的企业内P2P(Peer to Peer)、A 2A (Application to Application)点到点、应用对应用的基本互联发展成熟为规模化整体化的B2B、B 2C 的集成ERP/CRM/SCM等等内部与外围系统的跨应用跨平台跨企业跨行业的应用互联体系。而与此同时,EAI从提供最基础的数据交换信息互联开始,可逐渐发展为对流程、事务的自动化协作式管理与分布计算处理、对数据的格式转换与验证、数据的路由、分发、一体化的存储查询、对数据进行抽取、清洗、聚类、挖掘、预测等分析统计功能的BI(Business Intelligence)商业智能体系。达到最小化信息成本(最小化商业风险、最小化业务周期、最小化系统复杂度、最小化数据冗余、最小化人为干预等),最大化信息价值(最大化社会效益、最大化企业竞争力、最大化数据挖掘能力、最大化系统生命周期、最大化系统集成能力等)的目标。
企业信息系统的发展演变经历了单一系统-->复杂体系-->集成困难-->制定标准-->统一体系的过程,事实上在这个过程中EAI扮演着标准制定者与统一体系的协调者的角色,然而规范和集成企业信息体系的EAI技术本身是否也应当具备标准呢?如果不同厂商的EAI技术不能很好地协同工作与交互,是不是会从企业应用体系差异性的困境又掉入EAI体系差异性的困境轮回之中呢?——一样的答案,标准致胜。EAI的标准范围包括UN/EDIFACT所定义的EDI标准、各行各业定义的信息交互报文格式、通用的ODBC/JDBC、TCP/IP、RPC/CORBA协议等等,各个层级各种技术的数据描述与通讯协定都应当遵循一致的格式与版本。而EAI实施技术中的后起之秀Web Service也意识到了这一点:由Microsoft、IBM、SAP、ORACLE、Intel等厂商发起的旨在保证不同厂商的Web Service之间的互操作性的WS-I(Web Services Interoperability Organization)Web服务互操作性组织成立、由Microsoft、IBM、BEA三家EAI巨头融合之前各为其主的商业流程语言XLANG(注:由Microsoft制定,重在支持面向图形的流程) 和 WSFL(注:由IBM制定的Web Services Flow Language,重在支持流程的结构化构造)共同制定出的BPEL4WS(Business Process Execution Language for Web Services)Web 服务的业务流程执行语言标准的推出等,都标志着Web Service也已经为EAI的实施建立起了良好的兼容性标准基础支持。而在一些行业,也已经开始显现行业EAI标准的势头。如医疗业的IHE(Integrating the Healthcare Enterprise)集成医疗资源的目标就是为制定医疗领域原有的HL7和DICOM(Digital Imaging and Communications in Medicine)医疗业数字成像与通讯等行业通讯协议的应用集成规范标准,达到统一化标准化地整合医疗机构体系中的HIS、RIS/PACS、LIS、CIS、ICU/CCU等系统的目的,建立起医疗行业的EAI标准。可见,在未来的几年,面向行业的EAI集成标准也将会把EAI推向更为规范化标准化的高度。
矩阵革命——开启Grid Computing时代
来自IDC的预测数字,网格计算(Grid Computing)将从2002年的4亿美元飙升至2007年的120亿美元,2010年前后,这个数字将达到300亿;最近IDC针对1071位IT决策者所做的网格效能计算调查显示,有五分之一的企业计划在未来一两年将采用效能计算架构,其中5.2%的企业已经采用,3.5%将在六个月、4.9%的将在一年内、6.4%的企业将在两年内完成。
Internet的诞生与发展,对企业信息化产生了意义深远的影响。当以E-mail为代表的第一代Internet出现时,将世界的距离缩小成了“地球村”,任何接入Internet的计算机可在瞬间获得来自世界另一角落的信息;而第二代Internet通过HTML和WEB技术将网络统一为丰富多彩的可视页面时代,延伸出成千上万的网络应用;而第三代Internet将“试图实现互联网上所有资源的全面连通,包括计算资源、存储资源、通信资源、数据资源、信息资源、知识资源、专家资源等”,这就是网格计算(Gird Computing)。网格计算是构架于Internet基础之上的一组新兴技术,其基础设施是基于IP协议的宽带数字通信网络,它将改变传统的Client/Server和Client/Cluster结构,形成新的Pervasive/Grid体系结构,这种体系结构将使得用户把整个网络视为一个巨大的计算机,并从中享受一体化的、动态变化的、可灵活控制的、智能的、协作式信息服务。
对比EAI和Grid Computing不难发现,EAI在很多方面已经具备了网格计算的特点:1.将分布的数据、应用、计算等资源进行共享与整合。
2.不需要集中的控制中心而分散在全球范围内运行。
3.使用通用标准的开放信息通讯协议和接口格式。
4.提供高聚集低耦合的协同式事务处理与计算能力。
唯一的区别在于,网格计算时代的系统,天生就应具备系统交互与集成的能力,而EAI则是通过集成和改造旧有系统,达到同样的分布式计算和协同业务处理的目标。可以说EAI正是原始的Grid Computing雏形。网格计算的根本特征应当是“资源共享,事务协作”,而不是数量多大,范围多广。也就是说政府、军方、专业研究机构与企业完全可以根据自身需要建立“专属网格”体系,完成在一定范围内的“资源共享,事务协作”。这些应用环境也正与EAI不仅仅是商业企业的应用集成,还包括政府、研究机构等体系中的应用集成相同。
IT技术是相互影响相互渗透的,由EAI的实施困难催生Web Services可见一斑,EAI、Web Service等技术对Grid Computing的影响也是如此。Grid Computing技术要进入商用化,面临的首要问题正是如何整合旧有的信息系统或与其平台交互,只有解决了新旧系统的并存协作问题,Grid Computing才能在商业领域纵横驰骋。实际上,IT巨擎们也早已远见卓识地看到了这个问题,如网格技术先驱Globus项目组、GGF(Global Grid Forum)全球网格论坛、OMG(Object Management Group)对象管理组织、W 3C (World Wide Web Consortium)环球网联盟等等组织及其大量的参与IT厂商一方面为争夺网格标准的制定权,积极参与网格标准的研究与推行,另一方面厂商也审视自身的平台与产品,试图将自身可用性强,集成性好的技术与平台加入到网格标准中去。如Web Services、J2EE、.NET等等技术与平台都是已经或即将被纳入到网格体系当中。近期内最具代表性与生命力的技术当属Globus与IBM在2002年2月发布的基于OGSA(Open Grid Services Architecture)开放性网格服务架构及OGSI(Open Grid Services Infrastructure)开放网格服务基础结构的Globus Toolkit 3.0 (GT3),其融合了Globus标准和Web Services技术,推出了网格服务(Grid Service),将Grid Computing的前瞻性与Web Service的实用性紧密地结合了起来。借由Web Service将Grid Computing带入了商机无限的商用运算阶段,结束了其徘徊在学术前沿而应用缺乏的时代。今年1月,Globus、IBM和HP等又联合发布了全新的网格标准草案WSRF(Web Services Resource Framework)Web Service资源框架,其将原有的OGSI修改为六个用于扩展Web Services的规范。预计到今年第三季度,基于全新标准WSRF的网格平台Globus Toolkit 4.0将正式面世,网格服务将完全基于Web Services来实现。预计在未来的几年网格服务将集Grid Computing与Web Service之大成,为随时随地的信息互联,提供强大的原动力。这一革命性的创举也标志着Grid Computing与Web Service的彻底融合,网格计算将携手Web Services挑起信息化建设的重任,在企业分布式体系的协同计算、分布数据存储、应用集成、流程自动化等EAI应用领域发挥巨大的潜能。而EAI也正是改造旧有信息体系,适应和确保这一网格大潮过渡的不二法门。
无论是从企业信息系统进化的角度看今天的具有Grid雏形的EAI体系,还是从Grid Computing与Web Service完美结合进军商业领域共助信息系统集成的历史使命来看,在商业应用领域,EAI将会是引导Grid Computing革命的先驱者与受益者。同时也标志着分布式企业信息体系已经进入了黄金时代。如果说网格计算将结束信息孤岛各自为政的黑暗时代,那么,EAI就是这一波信息浪潮的普罗米修斯(注:Prometheus,希腊神话中为人类带来火种的神,给予人类世界温暖与光明),如果说网格计算将是场改变信息世界的伟大革命,EAI的意义正如Matrix中的Morpheus(注:引导Anderson成为Neo,并在之前的时代领导革命的精神领袖)。是不是可以说网格计算时代的大门也将由EAI来开启呢?
Matrix的启示
《The Matrix》这部三步曲电影之于广大的软件研发人员,绝不仅是一部科幻电影,针对其中的各个角色(Role)与环境(Environment)的本质争论在技术BBS上的热度一过超越了对软件研发本身,更有Matrix as Windows,Zion as Linux之喻。其对AI(Artificial Intelligence)人工智能的理解,更蕴涵着“有智慧,能思考,会学习,可以创造更先进的个体,即具有了生命”的惊世思想,把人工智能与生命的诠释已提升到了哲学和神学的高度。在这部电影当中,每个人类都像是一个智能客户端(注:Microsoft新近提出的Smart Client技术),既可以有独立的思维意识和言行,也可以通过脑后的一个孔形标准接口(虽然显得那么粗制滥造)完成与所在系统环境的亦幻亦真的信息交互,在虚拟世界产生真实完美的互动体验,而这些庞大的系统间又可以通过一些接口软件(如The Trainman)完成异构系统的信息交互与数据传递,从而将不计其数的节点如人类(负责一些复杂的计算机所不能模拟的思维运算活动)、软件(每个软件都必须有其特定功能,否则将被删除)、系统(Matrix及其它)无缝地整合在一起,勾勒出了雄宏壮丽的全球范围的物理位置分布式、逻辑接口一体化的(并由计算机主导的)未来世界的信息体系蓝图,形成了Matrix时代的超级计算机与信息体系,这也正是EAI和Grid Computing的终极梦想。试想有一天,在世界上分布运行着的所有信息系统都可以无缝地完成信息交互与事务协作,继Internet之后的伟大的Matrix时代就此开始了!
正如Matrix所喻示的一样,发展与进步是不可逆转的,宇宙时空中沧海一粟的人类,是不是应该反思既往自大成狂的主观认识,接受人类种群在进化链上被更高级的智慧生物(如AI)所代替的不可逆转的宇宙史事实呢?起码,EAI技术是不是可以对那些闭关锁国的思想,固步自封的系统起到一定的触动与启迪作用呢?
注:由于本文涉及技术领域较广,笔者在写作过程中参考了众多的国内外技术资料,在此特别感谢前辈专家及他们深邃精湛的技术思想!另外,文中部分观点是由笔者自身的工作经验提炼总结而成,仅供抛砖引玉之参考。
附图:信息系统交互/集成发展史