设计360度评估反馈问卷时,如何编制题目?
简女神 | 2019-07-27
一、编制题目
在确定评估素质项的基础上,编写题目同样是决定问卷质量的关键。题目的设计应遵循要素中阐述的行为化、通俗易懂并使用组织内语言等要求。建议按照以下步骤编制题目。
阅读素质项及其定义,将每项素质划分为3~5个角度。这几个角度间彼此独立,全面准确地表达素质项的含义。这些角度可以来自理论研究或成熟实践,例如,将激励他人(采取多种方式激励员工工作积极性、激发潜能并推动员工自我发展)划分为4个角度:描绘愿景,积极期待,及时反馈以及针对性激励;针对每个角度,编写题目。
对目标岗位足够熟悉在分解素质项出题角度时非常关键,回忆日常工作中这项素质出现的场景有哪些?或寻找这项素质上表现优秀或糟糕的人,是哪些方面的行为将这两类人区分开?这是明确出题角度的有效方式。
出题结束后,使用如下标准对每一个题目进行检查:
图4-9 素质项编题示例
资料来源:GCF胜任力库
• 一个题目只描述一个行为,避免一个题目中出现多个行为;
• 题目描述素质所体现出来的行为,这项行为经常出现的;
• 每个素质项用3~5个题目描述清楚,题目间互相独立,意义上不重复;
• 题目使用正向描述;
• 简洁易懂;
• 最好使用组织中常用的语言。
编写题目的一些小技巧
•借助搜索引擎。例如编写诚信正直的题目,可以搜索“诚信正直的表现”、“诚信正直很糟糕”等,这能为编写题目提供许多借鉴。
•联系具体案例。例如某个项目中我们与HR一起在为勇担责任编写题目时,我们启发HR看到勇担责任时联想到谁?他做了什么?HR中马上有一位同事想到CEO在一次公关事故后主动扣掉自己年度奖金,于是一个题目就被编写出来了:“开诚布公地承认自己在监管过程中出现的纰漏。”
•不要保留非必要的行为描述。例如我们在编写感召力的题目时,最初认为亲和应该是其中一个出题角度。但后来讨论的结论是:亲和力强的管理者,感召力不一定强;如果用亲和的题目评估感召力,会对感召力造成“污染”——让空有亲和力缺乏感召力的评价对象得高分。
除了为素质项编写题目,为问卷设计1~2个开放性问题非常有必要。这有助于补充额外的信息,这些信息对于理解素质项得分、获得发展方法以及修订问卷都非常有帮助。
开放性问题通用性较强,常见的开放性问题包括:
•请列举该评价对象的三个突出优势,并列举工作中发生的案例说明这个优势如何帮助他/她胜任工作。
•请列举该评价对象亟须改进的三个方面,并以工作中的案例说明这些方面如何妨碍他/她取得更好的工作成效。
二、匹配选项
素质项的得分最终要通过评价者选取相应的选项来衡量。
选项个数。增加选项能够拉大得分区间,但选项过多,答题者在作答时会较困难。一般而言,选项个数在5到7项较为合适。
选项的奇偶数。设置偶数个选项能在一定程度上避免作答的趋中趋势,但是就作答习惯而言,人们更习惯于作答具有中间选项的题目。
我们发现,最适合中国的评价者做出准确评价的选项是以下两组:
这两组选项分别要求评价者对发生频率或符合程度做出判断,共性之处在于这两组都包含5个选项。实践发现,5点评分之所以适合360度评估反馈问卷,是因为它既不至于因为选项过少而降低区分度,也不会因为选项过多而增加评分难度。
三、撰写作答指导语
作答指导语帮助评价者了解答题规则。作答指导语以简洁、突出重点为好,依我们的经验,您最好不要预期评价者会花时间认真阅读指导语。
示例:作答指导语
•以下是对评价对象工作行为的描述,请根据您日常工作中的观察和了解,对评价对象在这些行为上的实际表现做出判断,并选择相应的选项或填入文字。
•5个选项从最好到最差依次递减:选择“一贯”是指被测评者表现非常好,总是表现出这种行为;选择“从不”是指被测评者表现非常差,从来没表现出这种行为。
• 如果您对被测评者这方面的表现缺乏足够的了解,您可以选择“不了解,无法作答”。
四、试测并修订
“除非走过,否则你永远不知道沿途会发生什么”。稳妥起见,在问卷成型后,建议您组织一个试测。试测的参与者最好从评价对象中选取,如果能选择到绩优与绩效一般人员则更好,因为这两组人在问卷上的得分有助于判断素质项的区分性——试测结束后,您可以删除那些绩优人员与一般人员没有差异的素质项。除此之外,您需要修订那些难以理解、让人产生误解的题目。
案例:某大型国有银行问卷编制流程
•2011,总部人力资源中心与第三方顾问合作,编制360度评估反馈问卷;
•以《中层管理人员通用模型》为基础,专家小组对企业文化等资料展开研究。这一阶段:从企业文化出发,增加了“客户导向”;从岗位要求出发,增加了“组织意识”、“概念思维”等。删除和合并部分指标。该环节结束,共有18项指标;
•专家小组为18项指标设计题目。对于部分难以形成共识的指标,借助行为事件访谈收集典型行为,典型行为有力地辅助了题目的设计;• 公司高管团队,人力资源高级及以上经理做对偶比较,从18项指标中确定13项指标;
• 试测(8人),从13项指标中确定删除3项指标,同时删除和修订了部分题目,形成最终问卷。
延伸阅读:将素质模型转化为360度评估问卷
大部分素质模型以胜任力的等级式描述的形式存在。在行为等级素质模型中,将每个素质分解为3~5个等级,每个等级下再用3个左右的行为来描述。例如,华
润集团将主动应变划分为四个等级。
表4-3 行为等级素质模型举例(华润集团)④
这种模型在转化为360度反馈问卷时,建议采用“锚定法”。首先明确被评估群体在各项素质上应达到哪个层级(Target),然后将这个等级下的行为条目转化为360度评估题目,转化过程时同样需从题目行为化和表达是否通俗易懂两个标准对条目进行修订。具体而言:
(一)锚定等级
素质模型一般都有着横向和纵向的可扩展性。所谓横向扩展是指一个模型适用于多个人群,例如既适合中层管理者又适合基层管理者、既适合业务部门又适合职能部门;纵向扩展是指既适合当前,又在未来一段时间有指导意义。虽然一个素质模型可能适用于不同的评价对象,且即使是针对同一组对象,随着时间的推移,为他们确定的标准也有所变化。
以上述主动应变这项素质的转化为例,当我们要用于评估职能体系基层管理者时,项目组需要考虑中层需要达到的哪个层级的要求,这个过程就是锚定。例如经过讨论,项目组将职能体系中层在主动应变上锚定在层级二——灵活应变,坚定不移地完成预定的目标。
(二)题目的行为化转换
在上述锚定的层级二上有两条素质描述:“设定中长期目标,构思细化方案,考虑关键节点,并据此制定行动方案。建立长期的监控机制,以保障方案的有效执行。”
按照专业题目的标准,这两条素质描述都不够合格,存在不够简洁、一题多问等问题。所以接下来的工作是以这两条描述为基础,进行题目行为化的转换。转换遵循的主要原则有两个:简洁并通俗易懂、行为化。示例:
表4-4 层级描述转化为行为题目示例
依据素质模型编制360度评估反馈问卷省却了确定评估素质项的环节,在编写题目过程中也有素质描述作为参照,所以比从零开始编写一份问卷要容易得多。完成题目转换之后的工作与设计问卷流程一致,经过匹配选项、撰写作答指导语、试测及修订后,问卷即可应用。如果您有相应岗位的素质模型,那么问卷编制的过程就可以大大简化。您的素质模型可能是关键行为或行为等级中的一种。两者的主要区别是对素质项的描述方式不同。
摘自:《360度评估反馈法》侵删。