信息系统评价中常见的问题与对策分析

南京大学工程管理学院 许茂伟

    不论是在发达国家还是在发展中国家，信息系统建设项目的成功率都远不及其它建设项目，并且有IT黑洞之说。由此，信息系统项目建设中存在的问题日益为人们所重视。通过分析案例，人们发现造成信息系统建设失败的原因纵然有很多，但是几乎每个失败的案例都与缺乏及时和必要的评价有很大关系。于是，信息系统评价被提上议事日程，并成为信息系统项目管理中的一个热点。
    由于评价人员的认识水平不同以及信息系统评价的复杂性，导致在信息系统评价的实践中难免会出现一些问题，常见的问题主要有以下几个方面：

    一、评价目标不明确，习惯于搞大而全的综合评价
    在现行的信息系统评价实践中，最容易犯的一类错误是评价目标不明确。在进行评价前，没有仔细分析评价的目的是什么，没有搞清楚为什么要进行评价，而是采用习惯的做法，搞大而全的评价，什么经济效益、社会效益、技术水平等等，只要是能想得到的或是其它评价中有的内容，都设定指标进行评价。这往往导致评价的结果与评价的初衷大相径庭。其实，目标是评价的核心；所有的评价都是围绕目标展开的。目标如果不明确，所得到的评价结果要么没有实际意义，要么没有实际用途，肯定是劳民伤财，费力不叫好。例如，评价目的如果仅仅是评价信息系统的开发质量和稳定性，就没有必要考虑信息系统的经济效益；与此相对应，如果目的是评价信息系统的效益，就没有必要再考虑信息系统的开发质量等问题。所以，在进行信息系统评价前，一定要明确评价的目标，一方面保证评价的结果达到要求，另一方面排除没有必要考虑的因素，使评价易于实现。

    二、对信息系统评价的复杂性认识不够，往往不能善始善终
    在信息系统评价中，对信息系统评价的复杂性认识不足也是比较容易犯的一个错误。负责人在接手评价任务之初，总想使本次评价比以往的任何一次评价都要好，立下雄心壮志，设定一些目标，希望能够列出所涉及到的所有方面，拟建一个最好的模型，但结果却往往是事与愿违。随着评价工作的深入，他们才发现事情远不是那么简单，眼看期限将至，只好草草收场，应付了事。犯这类错误犯的原因主要是没有充分认识到信息系统评价的复杂性。
　　信息系统评价的复杂性是由许多因素决定的，主要体现在以下几个方面：首先，信息系统开发的高风险性和不确定性，使得成本、进度和完成期限很难确定；其次，信息系统产生的效益具有分散化的特点，即信息系统的受益者包括许多的客体，增加了评价其效益时的复杂性；再次，信息系统投入使用后，已经融入企业的组织机构和业务流程，其对企业所产生的实际影响很难细分，甚至根本不可能单独评价；特别是对于信息系统建成后所产生的无形效益、间接效益、长期效益和滞后效益更不可能直接测度。另外，信息系统涉及的主体较多，立足点不同，评价的内容也许会大相径庭。评价的阶段不同，适用的评价方法也有所不同。评价者应该充分认识到信息系统评价的这些复杂性，在考虑问题时注意抓重点问题和核心问题，与评价目的无关或者相关度较小的，该放弃的就应放弃，不能“眉毛胡子一把抓”。这样，不仅能够使评价的问题简单化，而且因为考虑的都是重点和核心问题，将保证评价的结果更接近问题的实质。同时，评价工作也会因事先的周密考虑而做到有条不紊。

    三、过分注重评价过程的理性和正规，导致评价的可操作性降低
    在信息系统评价过程中，过分注重项目评价过程的理性和正规，而不注重信息系统评价方法可操作性的错误也比较常见。其实，不管选取什么样的评价方法，是否具有可操作性是权衡其是否科学的重要标准之一。在实践中，有些评价者对量化指标的确定、数学模型的选取投入了很大的精力，而忽视了评价方法的可操作性，导致评价失败或者不切合实际。要避免这个问题，应该从以下几个方面考虑：首先，研究别人对相同或相似信息系统所进行的成功的评价，分析得失，取其精华。这样可以在评价过程中少走弯路，同时提高评价方法的可操作性。其次，应联合使用多种方法，提高评价的可靠性。评价一个系统时应考虑的因素很多，仅用一种方法对不同的因素进行评价或度量、搞“一刀切”是行不通的，同时也不切合实际。只有根据系统的具体环境，联合使用多种方法对其进行评价，才能获得全面客观的结论。再次，评价方法应尽可能简化，使之具有易理解性和可验证性。
　　由于信息系统建设是一个复杂的系统工程，所以应充分估计到评价工作的复杂性，不要一味追求评价的完美和精确的程度，这是因为越精确的评价往往越复杂；越复杂的方法可操作性就越低。因此，有必要在评价方法的可行性和评价的精度之间取得某种妥协，在能够达到基本目标的前提下简化评价方法。

    四、指标体系设计漏洞百出，导致评价结果不能令人信服
    在进行信息系统评价指标体系设计时也容易出现一些错误，常见的问题是指标设计的层次不清、指标之间存在包容关系、指标不具有可测性以及指标体系不能全面反映被评价对象的综合情况，等等。这类错误的出现，往往导致评价失败或者评价结果不能令人信服。其实，指标体系设计是系统评价中的关键一环；如果这个环节出现差错，即使后面的工作做得再好也会前功尽弃。
　　设计信息系统的评价指标体系应遵循一定的原则。具体来说，首先，评价指标设计要注重科学性和先进性相结合，既要保证指标具有一定的科学性，也要保证指标能体现出评价工作的新思路。其次，设计的指标要有一定的系统性。指标体系中的指标不是杂乱无章地胡乱拼凑在一起，而应是一个有机的整体，只有这样，才能保证所设计的指标体系能够比较全面而客观地反映被评价对象的综合情况。再次，指标设计要遵循可测性原则，即设计的指标具有可测性，能够通过一定的途径得到真实可靠的数据，保证评价工作的可操作性。另外，还要注重定性与定量相结合的原则。由于信息系统评价涉及到方方面面的内容，单纯采用定量或定性的方法都很难对系统作出客观的评价，因此最好采用定性与定量相结合的方式。

    五、对评价的认识不够
    不对系统评价的结果作进一步分析，认为只要通过一定的方式对系统进行了评价、写出了评价报告就算万事大吉、大功告成，这也是在评价中较容易犯的一类错误。其实，不管是什么样的评价，其最终目的一方面是对系统作一个总结，而更为重要的是通过评价发现问题、总结经验，为以后的工作提供指导。在实践中，还有一种错误的倾向是没有充分认识到信息系统评价本身的价值，以及没有深入研究评价结果与实际情况是否存在误差这类问题。实际上，这些问题与进一步做好评价工作有很大关系：研究评价工作本身的价值，可以让领导充分认识到评价的作用，引起领导对这项工作的重视，使以后的评价工作更容易开展；研究评价结果与实际情况是否存在误差以及搞清产生误差的原因，便可以对误差作出修正，使评价结果更接近于实际，也为我们以后进行类似的评价积累一些经验。

    六、评价过程中对人的因素认识不够，导致评价不够客观
    对人的因素认识不够也是在评价实践过程中容易犯的一个错误。目前，大多数人都认为评价是评价人员的事情，只有他们技术过硬、工作认真，所得到的评价结果就是客观公正的。实际上，除了评价人员这个主体，在实际评价工作中涉及到的人员还有很多，包括参与调查评定系统具体内容的专家、系统的负责人、研发人员、使用人员和参与系统评价的数据采集人员等，哪一方出现问题都会导致评价结果不够客观。例如，如果专家的选择面比较窄，就会导致评价的内容是一两个专家的意见，失去了集体评价的意义；系统使用人员应该说是最有发言权的人，但如果他们仅仅是走过场，或评价人员认为他们不是专家，说话没有分量，显然会影响评价的结果；数据采集人员工作不认真，采集的数据不尽全面甚至是靠主观臆断产生的，也会导致评价的结果失真；各单位信息系统负责人的评价显然很重要，但如果他们坚持认为“家丑不可外扬”，调查人员从他们那里得到的也许总是“系统很成功”之类的赞美之词。可见，在信息系统评价过程中，人的因素至关重要。

    七、没有走理论与实践相结合的道路
    在信息系统评价的实践过程中，许多单位没有充分认识到评价也是一个理论与实践相结合的反复过程，同时也缺少相应的实证研究，不能通过实践进行反馈。其实，对信息系统的评价是根据评价理论进行的，是一个从理论到实践的过程。评价的结果与信息系统的实际情况是否一致，或者说所用的理论适合不适合评价某个信息系统，也要通过实践进行检验，必要时再去修正现有的评价理论，这又是一个从实践到理论的过程。从理论到实践，再上升到理论，几次反复之后才能形成一系列相对稳定而成熟的评价方法。在评价实践中，这一点似乎是很难做到的，因为评价的实践一般没有反复进行的可能性；但如果借鉴其它信息系统评价的实例，实际上还是同样可以做到的。