阿儒涵 李晓轩
1 中国科学院科技战略咨询研究院 北京 100190 2 中国科学院大学 公共政策与管理学院 北京 100049
2018年中共中央、国务院提出“全面实施预算绩效管理”要求以来，科技预算绩效评价与其他领域预算绩效评价一样，正在越来越大的范围内开展起来，其对科技事业的影响日渐增强。预算绩效评价与预算绩效管理一样是具有中国特色的新概念，应该以怎样的理论来解析预算绩效评价的内涵，从而更好地指导实践？党的二十大报告提出“提升科技投入效能”的新要求后，在科技预算绩效评价实践中应如何体现？面对这些理论与实践问题，文章在总结科技预算绩效评价现有实践，并借鉴已有理论的基础上，提出了科技预算绩效评价的 3E 理论，希望以该理论揭示科技预算绩效评价的完整内涵，以及科技预算绩效评价进一步改革的方向。
20世纪60年代，为有效控制政府财政支出、节约成本，应对日益加剧的财政危机，以美国为代表的西方国家在政府绩效审计中构建了评价指标体系，经济性（economy）、效率（efficiency）、效果（effectiveness）等概念成为绩效审计指标体系的重要内容，被称为“3E 指标”。不同国家在绩效审计中的侧重点不同。例如，瑞典侧重效果，称为“效果审计”（effectiveness audit）；
澳大利亚侧重效率，称为“效率审计”（efficiency audit）；
英国侧重经济性（economy）则称为“货币价值”（value for money）。此后，政府绩效审计的3E指标被应用到更广泛的评价领域，也增加了一些新的“E”指标，如公平性（equity）等。
20世纪80年代，在政府绩效审计的 3E 指标基础上，英国学者 Peter Checkland[1]提出了以面向公共部门和非营利组织为主的 3E 评价模型。该模型认为，对公共部门和非营利组织的全面评价需要着重回答 3 个问题：组织是否形成了既定产出（efficacy 问题）；
形成产出的过程中是否浪费了资源（efficiency 问题）；
产出是否有效（effectiveness 问题）。Checkland 的 3E 评价模型试图运用系统论的思想来解决包含大量社会、政治及人为因素的组织评价问题[2]，弥补了传统利润最大化评价模型无法将多维度复杂因素纳入评价过程的缺点。另外，此前关于 3E 评价模型中的“E”概念是存在多种理解的，Checkland 在其 3E 评价模型中给出了既相互关联又有区分度的界定。
Checkland 的 3E 评价模型被广泛应用于各类公共事务的评价之中。例如，1998年，美国国立卫生研究院（NIH）应用该模型开展了健康服务质量的评价[3]；
2017年，美国联邦政府应用该模型开展了针对 50 个州州立交通系统绩效的评价[4]；
近年来，该模型还被广泛应用于气候变化倡议的提案评价[5]。我国对 Checkland 的 3E 评价模型应用也较为广泛。例如，有学者在构建科研机构评价指标体系、人才培养绩效评价管理模型研究中采用了该模型[6]。
预算绩效评价作为一个具有中国特色的新概念，迫切需要形成自身的理论基础。笔者研究认为，Checkland 提出的 3E 评价模型非常适合科技预算绩效评价，值得借鉴。由此，文章以 Checkland 的 3E 评价模型为基础，结合我国已有实践，提出了我国科技预算绩效评价的 3E 理论（图1）。①科技预算绩效评价的3E理论内涵包括 3个维度。基于科技视角的产出与管理行为（efficacy）维度；
基于预算投入视角的资金投入效率（efficiency）维度；
基于满足经济社会需求视角的产出有效性（effectiveness）维度。②科技预算绩效评价的3E 理论中 3个维度呈现逐层包含的关系。效率包含产出和管理行为维度，效率高要以产出和管理行为合理、合适为前提；
效果包含产出与管理行为维度和效率维度，效果好要以这 2 个维度评价优异为前提。③科技预算绩效评价3E理论对 Checkland的3E 评价模型的扩展。主要体现在扩展了产出与管理行为维度的内涵，使其既包含原有的产出内涵，也包含目标设定、过程管理等管理行为。
图1 科技预算绩效评价的3E理论Figure 1 3E theory of S&T budgeting performance evaluation
在我国预算绩效评价实践中，关于“绩效”自身的内涵一直不明确、不规范。用到的概念较多，如效果、效益、效率、效能、结果、产出、影响、行为等。按照科技预算绩效评价的 3E 理论，“产出”“结果”“行为”可归为产出与管理行为（efficacy）维度；
“效率”可归为资金投入效率，即效率（efficiency）维度；
“效果”“效益”“效能”“影响”可归为效果（effectiveness）维度。
我国科技预算绩效评价存在效率评价缺位和效果评价乏力问题。将我国现有科技预算绩效评价实践与以上科技预算绩效评价的 3E 理论进行对比，可以得出应用 3E 理论的第 1 个重要结论，即：我国现有科技预算绩效评价实践主要集中于产出与管理行为（efficacy）评价，效率（efficiency）评价缺位，效果（effectiveness）评价乏力（图2）。按照 2020年财政部出台的《项目支出绩效评价管理办法》文件，现阶段科技预算绩效评价模型主要包括决策情况、资金管理和使用情况、实现的产出情况及取得的效益情况四大环节。前 3 个环节无疑属于 3E 理论的产出与管理行为（efficacy）范畴；
第 4 个环节在实际开展的科技预算绩效评价中，也主要是从科技本身的视角来评价。因此，虽然第 4 环节理论上更加偏向于 3E 理论的效果（effectiveness）范畴，但在目前的实际评价中，仍然属于产出与管理行为（efficacy）评价。
图2 现阶段我国科技预算绩效评价模型与3E理论的对比Figure 2 Comparison between China’s nowadays model and 3E theory in S&T budgeting performance evaluation
提升科技投入效能需要开启全面的科技预算绩效评价。按照党的二十大报告“提升科技投入效能，深化财政科技经费分配使用机制改革，激发创新活力”的新要求，科技预算绩效评价显然不能仅仅停留在产出与管理行为（efficacy）评价一个维度上，还应大力加强效率（efficiency）评价和效果（effectiveness）评价，否则难以实现科技投入产出效能的提升。由此，笔者认为，落实党的二十大报告“提升科技投入效能”的新要求，应该以科技预算绩效评价3E理论为基础，重点增强效率评价和效果评价，开启新阶段全面的科技预算绩效评价。
针对性开展“一改二增三强化”的3E评价工作。就如何开启新阶段全面的以 3E 理论为基础的科技预算绩效评价，文章提出以“一改二增三强化”为抓手针对性开展 3E 评价工作。改进和完善现有产出与管理行为（efficacy）评价，特别需要关注新增财政管理角度的评价与原有科技管理角度的评价之间的协调问题。增加效率（efficiency）评价，重在加快启动效率评价方法探索与试点。强化效果（effectiveness）评价，重在系统建立效果评价方法体系。
3.1 产出与管理行为（efficacy）评价：需要关注新增财政管理角度的评价与原有科技管理角度评价之间的协调问题
2000年，我国启动财政支出绩效评价试点。2018年，《中共中央 国务院关于全面实施预算绩效管理的意见》出台。2020年，财政部《项目支出绩效评价管理办法》出台，明确提出以“决策情况”“资金管理和使用情况”“实现的产出情况”“取得的效益情况”等为项目支出绩效评价的主要内容，项目层面的预算绩效评价不断规范。同时，部门与机构整体预算绩效评价也在积极推进。总体来说，一方面，经过 20 余年实践，预算绩效评价基本实现了全覆盖，“花钱问效”观念日益深入人心，预算绩效评价的效果初步显现[7]。另一方面，从科技预算绩效评价3E理论角度来看，目前以项目为主的预算绩效评价主要涉及产出与管理行为（efficacy）评价，较少涉及效率（efficiency）评价和效果（effectiveness）评价；
产出与管理行为（efficacy）评价也还存在较多要解决的问题，如评价方法、中介支撑机构作用、结果应用等。这些问题共识性比较强，研究也比较多[8,9]。
本研究重点关注财政管理角度的科技预算绩效评价与原有科技管理角度的科技评价之间的关系问题。该问题目前较少被关注，但其紧迫性日渐增加。科技管理角度的评价，即一般意义上的科技评价，起步早、涉及面广。1985年，我国科技体制改革引入项目制后，以国家自然科学基金、“863”项目等的设立为代表，科技项目评价与科技计划评价迅速广泛开展起来。20世纪80年代中期以后，以中国科学院研究所评价为代表的科研机构评价也逐步开展起来，并到 20世纪90年代初形成周期性的评价制度。近 10年来，基于科技管理角度的“三评”改革是当前的一项重点改革任务，主要包括“减量”“破‘唯’”两大方面。“减量”就是减少评价的数量或频次，“破‘唯’”即破“四唯”。目前“减量”改革取得了初步效果[10]。财政管理角度的科技预算绩效评价从公共预算管理的需要出发，评价预算资金效果的达成情况，既评“钱”又评“事”，目前处于增量发展之中。
目前，随着财政管理角度的科技预算绩效评价逐步实现全覆盖，财政管理角度与科技管理角度这 2 个基本上相互独立的管理角度的评价关系应如何协调，已提上议事日程，旨在避免已经显现的管理工作上的重复、导向上的多头导向及增加科技人员和科研单位负担等问题。例如，某研究所短期内分别接受了来自上级主管机关的周期性评价、来自科学技术部的中央级科研事业单位绩效评价及来自财政部的整体支出预算绩效评价。显然，财政管理角度与科技管理角度的评价最大的重复在于两边都要评“事”。尤其是财政管理角度的预算绩效评价目前仍以产出与管理行为评价为主，而较少涉及效率和效果评价，也就是说仍然以评“事”为主。因此，两套系统重复评价的问题就更加凸显。
未来协调的重点在于做好两套评价体系的协调，避免重复评“事”，有 2 种做好协调的路径。①国务院关于全面加强基础科学研究的若干意见. (2018-01-19)[2023-01-17]. http://www.gov.cn/gongbao/content/2018/content_5266238.htm.整合评价体系。目前，两套评价出发点不同，财政管理角度的评价难以完全取代科技管理角度的评价。例如，大量的科技人才评价、期刊论文评价、科技奖遴选等是科技管理评价中有特色的评价。②在科技管理角度评价基础上开展财政管理角度的评价。充分利用已有科技评价的数据、信息与结果，开展财政管理角度的评价，避免重复。从目前实际情况看，第 2 条路径更具可行性。
3.2 效率（efficiency）评价：加快启动效率评价方法探索与试点
从科技预算绩效评价 3E 理论角度来看，到目前为止，效率评价很少开展，主要有 2 个方面原因：①关注度低。改革开放之初，我国科技投入的主要矛盾是投入不足、科技水平与国际先进水平差距巨大。改革开放 40 多年来，我国在科技投入管理上表现为投入驱动发展模式，即政府重视增加投入并将项目竞争作为分配资源的重要方式，但较少关注科技投入的效率。②评价难度大。由于科研具有科学研究灵感瞬间性、方式随意性、路径不确定性等①的特点，对科研要允许失败，越是原创性大的研究失败的可能性越大；
科研产出难以量化；
与企业开展成本收益分析的逻辑不同，政府科技投入一般不产生利润，不能简单套用经济学方法进行成本收益分析。
尽管评价难度大，但是科技投入效率确实是现实中的一个真问题，绝非伪问题。同样的投入金额，投入的对象不同、投入方式不同、管理机制不同，其效率会存在差别。国际上开展过应用成本收益分析法对科技投入效率进行定量评价的有益探索。以下举 2 个案例。
（1）大科学装置的成本收益分析。2020年，英国科学与技术设施理事会（STFC）在对欧洲南方天文台项目（ESO）开展绩效评价的过程中，进行了大科学装置的成本收益分析[11]。成本收益分析法的核心在于将成本和收益货币化，进而在比较成本、收益的基础上，做出投入效率的判断。大科学装置项目的成本易于计算，即投入的资金总量；
但科技投入的收益包括多方面的内容，不易计算，如人才培养、科学外交、社会收益、其他价值转化等收益很难完全量化。STFC 的解决方案是将可货币化的收益作为项目投入的最低收益，计算收益成本比的最小值。具体做法上，2020年 STFC 资助 ESO 的成本包括：① 对 ESO 项目的一次性资助年均分摊额，2 270 万英镑/年；
② 一次性现金资助（服务入会费）的年均分摊额，974 万英镑/年；
③ 当年项目资助额，216 万英镑/年。可量化的收益包括：① 英国供应商年度收益，1 160 万英镑；
② 通过 ESO 产生的出版物的知识价值，1 920 万英镑；
③ 授予英国学者使用望远镜的货币时间价值，1 460 万英镑。从成本收益分析结果来看，2020年度 ESO 项目的投资成本为 3 460 万英镑，预计的最低收益为 4 540 万英镑，收益成本比约为 1.3，即 STFC 对 ESO 的投入是有效率的。
（2）应用技术项目的成本收益分析。2017年，澳大利亚联邦科学与工业研究组织（CSIRO）借鉴成本收益分析法，对所资助的直喷碳发动机技术（DICE）项目开展了应用技术项目投入的成本收益的预测分析，其分析的难点同样在于收益的量化。CSIRO 采用计算替代技术收益的方式来预测 DICE 项目的收益区间。具体做法上，DICE 项目的成本包括：① CSIRO 资助总额 1 100 万美元；
② 合作伙伴资助 1 800 万美元；
③ 预计研发 DICE 技术大约需要 30年时间，预估 2020—2050年 DICE 技术的研发成本为 6 180 万美元。收益部分将循环燃气（combined cycle gas turbine）技术和褐煤（brown coal）技术作为 DICE 的可替代技术进行分析：① 替代褐煤的最大收益值为 5.33 亿美元，最小收益值为 1.25 亿美元；
② 替代循环燃气技术的最大收益为 2.02 亿美元，最小收益为 −4.77 亿美元。因此，研发 DICE 技术替代褐煤技术的收益成本比为 1.38—5.87，替代循环燃气的收益成本比为 −5.25—2.22。由此可见，相对于替代褐煤技术，DICE 替代循环燃气技术的收益并不确定。
当前，国内外形势发生重大变化，财政科技投入难以保持此前的高速增长模式，面对极为繁重的科技创新任务，政府必然要关注科技投入效率，关注财政政策效能以及支出结构等[12]。事实上，党的二十大已经明确提出了“提升科技投入效能”的要求。为此，我国也需要尽快开展效率评价方法的研究与试点，先易后难。例如，可以考虑先选择大科学装置和应用技术的投入效率评价作为研究与试点对象。在条件成熟时，将效率评价作为制度化的评价内容纳入科技预算绩效评价之中。
3.3 效果（effectiveness）评价：系统建立效果评价方法体系
从科技预算绩效评价 3E 理论角度来看，我国一直重视效果评价，但是没有实际做到。例如，在现有科技预算绩效评价中，效益是评价的四大环节之一，但却是基于科技视角的评价多，而基于满足经济社会需求视角的评价少，且主要评的是产出而不是效果。从 1985年开始，科技体制改革试图解决的科技与经济“两张皮”的问题，但仍未解决好，科技投入的效果还未得到充分发挥。
影响我国科技投入效果的原因很多，其中一个比较重要的原因在于科技管理的碎片化，部门本位主义色彩较重，没有形成“整体性政府”[13]。因此，解决科技投入效果的问题需要从科技治理的整体角度多方发力，当然也包括从效果评价角度发力。通过效果评价，着重解决评价中“产出众多而贡献稀少”等问题。文章认为可以从 3 个方面借鉴相关国外经验，着手做好科技投入的效果评价。
（1）通过效果评价，优先保证战略目标的达成。美国曾采用“项目评级工具”（PART）对联邦资助项目进行综合打分评价，但发现这种评价方法容易陷入细节而忽视科技战略性目标达成。为此，美国联邦政府在 2008年出台《政府绩效与结果法案修正案》（GPRAMA），重点在于确立了以“预算所要达成效果”为核心的绩效评价体系，即以战略目标为牵引，构建从宏观到微观的绩效目标体系：采用自下而上的评价方式，以微观层面资助项目的产出为证据，逐级向上，最后重点评价宏观战略目标也就是效果的达成情况。在 GPRAMA 的新体系下，更容易保障战略目标的达成。
（2）以效果评价为基础确保对重大研究任务的长期持续性的资助。美国国立卫生研究院在癌症、艾滋病、阿尔茨海默病等重大研究上的成功突破与进展，正是因为有这种以效果评价为基础的长期持续性的资助保障为前提[14]。科学研究具有不确定性，效果评价允许子目标中有滞后者。但要对滞后的研究深入分析原因和需求，在保证总体效果前提下，对于难度大的研究给予耐心和包容，宽谱带布局，多路径攻关。
（3）多角度探索效果评价的制度与方法。2008年金融危机后，美国推出了一项名为 STAR METRICS的项目，即“美国再投资中的科学与技术测度研究在创新、竞争力以及科学上的影响”[15]。该项目旨在开发一个基于实证的框架来测度政府科研投资的效果并向公众展示。2014年，英国提出对大学科研进行评价的“研究卓越框架”（REF），在原有评价中增加了科研对经济社会影响力的评价。在整个评价体系中，影响力评价权重达到 25%。为做好 REF 评价工作，还专门开发了不同类型学科科研成果影响力的特征与例证作为指南[16]。
党的二十大报告提出“提升科技投入效能，深化财政科技经费分配使用机制改革，激发创新活力”，标志着我国财政科技投入的主要矛盾已由“投入不足”转化为“提升效能”。预算绩效评价作为提升科技投入效能的重要工具，亟待从现阶段“评产出、算得分”向“评效果、重效率、促效能”的方向发展。为此，文章从科技预算绩效评价的内涵解析入手进行了深入研究，形成 4 点结论。
（1）文章以 Checkland 的 3E 评价模型为基础，结合我国科技预算绩效评价现有实践，提出了科技预算绩效评价 3E 理论。该理论包括基于科技视角的产出与管理行为（efficacy）评价，基于资金视角的效率（efficiency）评价，基于满足经济社会需求视角的效果（effectiveness）评价共 3 个方面，且呈现逐层包含的关系。
（2）按照科技预算绩效评价 3E 理论，我国目前开展的科技预算绩效评价主要停留在产出与管理行为（efficacy）评价的单一维度上，效率（efficiency）评价缺位，效果（effectiveness）评价乏力。
（3）按照科技预算绩效评价的 3E 理论及落实党的二十大报告“提升科技投入效能”的新要求，可以把开启全面的以 3E 理论为基础的科技预算绩效评价作为下一阶段改革的方向，完善产出与管理行为（efficacy）评价，补强效率（efficiency）评价和效果（effectiveness）评价。
（4）在产出与管理行为（efficacy）评价维度上关注新增财政管理角度的评价与原有科技管理角度的评价之间的协调问题；
在效率（efficiency）评价维度上，加快启动效率评价方法探索与试点；
在效果（effectiveness）评价维度上系统建立效果评价方法体系。
广义来讲，以上 4 个结论共同构成科技预算绩效评价的 3E 理论。第 1 个结论位阶最高，类似数学上的公理；
后 3 个结论是第 1 个结论的应用而得到的结论，类似数学上的推论。希望科技预算绩效评价的 3E 理论在实践中得到检验和发展，为“提升科技投入效能”作出一份贡献。