简单评测答疑：硬广我家出了一个新测评

简单评测答疑：硬广我家出了一个新测评这样一套系统，能给招聘中的测评带来哪些价值呢？““测评过程中出现了这么多问题，那么有没有一套系统能解决呢？有一套系统可以改变上述的问题，与现在美国考试服务中心（ETS）在TOEFL、GRE、GMAT等考试中采用的一种能够自适应的测验技术（MST）相类似的，就是计算机自适应测验技术（Computerised Adaptive Testing），它融合了计算机技术和项目反应理论，采用了自适应抽题和用题目参数估计受测者能力水平的测评方式。它首先为受测者随机提供一个中等难度的题目。受测者每做对一题，会获得一道更难的题，反之下一题会更简单。当受测者回答完一定数量的题目，测验获得了足够的关于其能力水平的信息，程序会自动停止。

1

一家大型互联网公司在做校园招聘时，动辄就有上千人参加认知能力测评。其他公司的HR表示很羡慕，他们的招聘指标应该能很轻易地完成吧。但是这些被羡慕的HR却有一个苦恼：网上流传的机经（机试经验）、网上曝光的题目和应聘者间的私下交流，让前人的作答结果影响了后面的作答者，由此得到的测评结果已经远不是受测者原本的样子。

2

另一家金融公司，动辄以秒计算的交易世界里，时间对他们来说就像是上了发条的外星人。尤其是在争分夺秒的校招季，时间更是可贵。因此无论是从招聘效率还是作答者体验而言，HR都期望招聘更好更快地完成，而测评作为校招的核心环节，有没有可能在时间上缩短呢？

“

测评过程中出现了这么多问题，那么有没有一套系统能解决呢？

有一套系统可以改变上述的问题，与现在美国考试服务中心（ETS）在TOEFL、GRE、GMAT等考试中采用的一种能够自适应的测验技术（MST）相类似的，就是计算机自适应测验技术（Computerised Adaptive Testing），它融合了计算机技术和项目反应理论，采用了自适应抽题和用题目参数估计受测者能力水平的测评方式。它首先为受测者随机提供一个中等难度的题目。受测者每做对一题，会获得一道更难的题，反之下一题会更简单。当受测者回答完一定数量的题目，测验获得了足够的关于其能力水平的信息，程序会自动停止。

“

这样一套系统，能给招聘中的测评带来哪些价值呢？

1

降低了题目曝光的影响

自适应抽题的方式让受测者的作答题目全程处于动态调整中，下一题是什么取决于上一题的作答结果，不同的受测者会遇到不同的题目。由于采用参数估计的方式，受测者即使遇到了见过的题，单次作答正确，也不会对整体能力估计产生太大的影响。

2

作答体验更好

在测评过程中为受测者提供的题目非常接近TA的真实能力水平，题目不会过难或过容易。受测者表现的能力水平稳定时，作答时间会缩短，与传统测验相比自适应测验可以减少1/3的作答量。

3

测评更准

这中计分方式，不是采用卷面分，而是基于题目参数和受测者的作答模式去估计其能力水平。这种估计方式受题目难度的影响，结果更接近受测者的潜质水平。如下图中的两个受测者，按照传统计分（正确计1分，错误计0分），A和B分差为9分（100*8/12-100*7/12），而用新的方式去评估时，我们发现A和B的能力水平相差非常大，差距接近1.7个标准差（如果把标准差设定为15，差距接近26分）。

举例来说，某互联网公司要招聘一位产品经理，HR约了两位候选人，小A和小B，假设小A和小B的水平是不一样的。两人拿到的是同样一道中等难度的题目，小A顺利答对，而小B抓耳挠腮后还是答错了。系统根据两人的作答情况，评估他们的能力水平，并自动匹配下一道题。由于小A答对了第一道题，对TA的能力评定会高一点，所以第二题比第一题更难；而小B答错了第一道题，对TA的能力评定会低一点，所以第二题比第一题简单一点。以此类推，当答完一定数量的题目之后，HR就能很清晰地看出小A和小B的水平相差在哪里。

“

那么这套测评系统现在有没有呢？当然有。

北森产品和技术小组，用一年半的时间逐一克服困难，做了一个新的认知能力测验——CATA，Computerised Adaptive Test for Ability。在系统地解决了题库建设、初始题选择、能力值估计、抽题策略、测验终止策略、曝光率控制六大问题后，顺利上线。

想要了解更多关于北森CATA的内容，请给北森微信留言吧！

下一期直播课正在奔来的路上，与你一起讨论《高素质毕业生都去哪儿了》，快扫码或点击阅读原文报名吧！

版权声明

本文转载格式：本文由北森（Beisen2002）原创，作者：北森测评云产品经理 梁崇理。

转载其他文章请将您的公众号ID和欲转载文章发给北森微信获得授权，感谢。