本文选自《QECon研发效能实践案例智库集2022版》章节内容
作者介绍
张嘉
每刻科技 研发中心 PMO负责人
每刻科技 研发中心 PMO 负责人, 高级人才, 主要负责 PMO 效能建设, 研发 项目管理流程体系建设,研发效能度量和数据分析等方面的工作。10 年以上互联网从业经验,具有多个从 0-1 搭建 PMO 体系及项目管理体系 实际经验。获得 PMI–PMP,敏捷 CSM,信息系统项目管理师, 系统集成项目 管理工程师,系统监理师,软件设计师,软件工程师等认证。拥有 1 项软 件著作。
擅长领域:流程建设 指标设定 效能度量 数据分析。
核
心
观
点
企业通过数字化加智能化的方式,实现企业战略数字化跟踪,针对研发人员行为进行自动提醒,对错误行为进行纠偏,培养员工良好的自管理行为,上下对齐关键绩效指标,从绩效靠人“说”转变成以数据为证,建立研发管理流程规范,整体提升研发端到端需求交付的速率,实现组织效能的切实提升。
现状分析
企业现状
CG 科技公司作为一家行业内的创业型 SAAS 企业,近年来再面对VUCA 时代下的复杂环境,与一些头部客户形成合作后,研发工作量呈现井喷现象,研发团队急剧扩张,研发成本快速上升,研发效能问题凸显。
当时,CG 科技公司的创新流程中,从战略到业务的部分通过定制化系统已经实现企业信息化,但是从业务到产品、从产品到技术的部分,仍然使用 Excel 进行管理,尚未完成企业数字化转型。
这导致整个从业务到技术链条,信息流动缓慢,瓶颈难以发现,存在大量成本黑洞和管理盲区。管理者与员工之间凭借本能和一腔热血在工作, 虽然很辛苦,但是效果并不明显,还有较大的提升空间。
CG 科技公司在当前形势下,急切的需要解决研发管理体系建设的难题,高层考虑再三后决定启动数字化研发驾驶舱项目。
核心痛点
CG 科技公司当前最核心的痛点有以下几个方面:
沟通效率低,前期依赖人传人。作为一家TOB的 SAAS 型产品公司,CG 科技公司内部的研发团队需要高频次的向多个业务部门收集需求并给出即使的反馈,单凭线下沟通,沟通成本高且消息传递往往非常的滞后。
需求链路长,人工跟踪难。高速发展期间,研发人员不断扩张,分工更加明确,各个角色承担的工作内容进一步细分。需求端到端的管理链路更长, 纯粹依赖人工跟进版本迭代进度,耗时耗力。
需求流转不聚焦,不同角色在版本迭代的不同阶段由于角色分工的不同, 工作内容和关注点也不同。对于需求流转过程中信息的解读不够聚焦,没有字段集的权限管理进行控制,造成大量的时间损耗。
数据不透明,由于团队的分拆,规模的扩大。前端业务团队和后端研发团队之间的协作越来越频繁,业务端的人员渴望获悉后端研发的迭代进度;而后端人员又想了解业务部门来自于客户对需求的真实反馈,花费大量时间在各种群内进行沟通。同时对于后端人员迭代的速率,产品上线后的缺陷情况等数据也只能依赖人工进行数据统计,整体耗时耗力。
建设目标
CG 科技公司的数字化研发驾驶舱项目,希望达到以下目标:
实施过程
CG 科技公司的研发团队在开启了数字化研发驾驶舱项目后,通过几个月的努力,取得了实实在在的成绩。主要通过以下四个方面进行研发团队数字化转型:
数据画像
背景
数字化研发驾驶舱项目开启第一个目标,数据画像。
数据画像是数字化的基础设施,是后面一系列场景应用的前提。数据画像主要由三部分构成:数据、模型和展示。而 CG 科技公司当时的现状是,所有的数据都在 Excel 里,管理模型并未建设,也缺少能够方便展示的工具。
目标
首先,CG 科技公司需要实现研发团队管理的信息化,接着需要建设一套行业先进的研发管理模型,最后,是通过灵活的图表展示出来,供管理团队使用。
行动
确定好目标后,开始 CG 科技公司研发团队的信息化建设。
第一步,战略研究。通过研究公司战略,明确了对研发团队的期望。围绕当时公司的战略导向:多、快、好、省、准,以及当年的研发团队 KPI,选定了目标管理领域:需求管理、任务管理、工时管理、缺陷管理、线上问题管理等。
第二步,建设模型。CG 科技公司基于行业内优秀的数字化管理模型, 在这些领域确定了北极星指标、关键指标、行为指标,并确定了形成这些指标所需要的字段。如图 1.3.1 指标数据
图 1.3.1:指标数据
第三步,配置图表。在研发驾驶舱中将这些指标的图表配置好,根据管理的各个场景组织不同的图表。
第四步,制定制度。基于行业先进的管理实践,CG 科技公司选择了 Team-作为信息化建设的基础工具。围绕 ,CG 科技公司在以上管理领域制定了管理制度, 包括管理流程、规范、机制、模板等, 例如图 1.3.2 任务管理流程。
图 1.3.2:任务管理流程
第五步,配置。CG 科技公司在 上围绕管理制度搭建了项目管理模板,围绕需求、任务、缺陷等配置了工作流,如图 1.3.3 需求工作流所示,自定义字段,每一个环节的展示页面、必填项、自动记录和指导。让 能够紧密的支撑制度的落地,并确保研发团队指标体系要收集的数据在 中都有相应的埋点。
图 1.3.3:需求工作流
第六步,制度宣贯。组织研发团队全员进行了 使用的培训,宣贯制度,讲解 的使用,并为团队提供了内容详尽丰富的用户手册。
第七步,分析数据。通过数据画像来观察团队,核对数据,校准口径。通过行为指标、监控指标来发现团队工作中的问题,形成问题列表。
第八步,培训驾驶舱。培训管理层研发驾驶舱的使用方式,帮助他们学习观察指标,用数字化的手段管理研发团队。
第九步,实战演练。组织实战演练会,与管理团队亲密接触,将通过数据发现的问题与管理层交流,收集管理层的反馈,解决他们遇到的困难,手把手培训他们的管理动作,依据他们的反馈调整制度。
第十步,管理培训。CG 科技公司根据观察过程中发现的问题和研发团队的反馈,为研发团队管理者量身定制了管理培训,培训内容涵盖数字化管理理论、数字化战略、数字化经营、数字化绩效、数字化员工发展等,以及如何授权委责,如何与员工沟通等等。
效果
经过几个月的建设,数字化研发驾驶舱的画像部分完整落地,如图 1.3.4 研发驾驶舱,投入使用。
数字化研发驾驶舱帮助研发团队管理者有效推进 的使用和落地,任务的进度管理、工时管理等都有明显进步。任务按期完成率从 60%提升到 92%,饱和度从 70%提升到85%,资源利用率从 70%提升到90%,工时当日填写率从 40%提升到 95%。研发管理精细化、数字化、体系化,有力地支撑了研发目标的达成。
图 1.3.4:研发驾驶舱
智能提醒
背景
CG 科技公司研发团队在使用数字画像后,发现了很多管理过程中的问题。但是需要管理者每次通知员工改变,非常占用管理者时间。同时,员工为了记录工时,复盘任务,还需要在 中寻找、记录,操作起来非常麻烦。员工经常想不起来,导致任务不及时更新,也就由此导致任务风险没有及时暴露,影响项目进度。
目标
CG 科技公司的研发团队需要一款能够智能识别出问题,自动提醒员工,并辅助员工工作的工具,以提升员工效能,降低管理成本。
行动
为了能够实时发现员工的问题,研发团队采用了智能风控技术,通过对数据的交叉分析,发现员工工作中存在的问题。为了能够及时通知到员工, 还采用了智能推送功能,通过钉钉通知,将员工需要关注的问题推送给员工,并且将团队的现状、问题都推送给管理者。
智能风控技术是行业领先的数据分析技术应用,通过对海量指标的交叉分析,用算法帮助研发团队拟合员工行为分布,找到极低概率事件,从而识别出问题行为。
智能风控技术的核心是数据分布拟合。
通过仔细检验已有的数据,我们发现数据仍然存在两方面问题:
一是还是会存在漏填、错填的问题,这属于数据错误问题。
二是在填报比较完整的数据中,存在一些极值数据,这些数据并不一定是错误数据,也有可能是个别员工行为表现异常导致。
在数字化绩效实施后,还可能会出现数据造假等现象。
无论是哪种情况导致的数据异常(前提是已经预处理过缺失值),都可以通过拟合数据的分布,来判断数据的分布情况,并寻找那些离群点。数据风控的离群点有多种判断手段,包括时序离群、聚类离群、正态拟合离群等。
除了智能风控之外, CG 科技公司还使用了智能推送,如图 1.3.5 智能推送。
图 1.3.5:智能推送
考虑到 CG 科技公司员工的实际使用习惯,研发团队内部通过钉钉通知推送,设置为新消息推送和每日推送。其中,新消息推送解决实时信息同步,而每日推送则是为了提醒员工在下班前复盘一天工作,更新任务状态,记录工时,发现任务进度异常,及时上报。
通过钉钉小程序将员工需要关注的任务推送给员工,聚焦员工的精力,员工无需每天跑到 上,在海量的数据中翻检,大大提高了员工的工作效率。
效果
使用钉钉通知后,经调查反馈发现,员工每天更新任务、记录工时的时间从 15-30分钟,降低到 5-10 分钟,有效减轻了员工负担,帮助员工养成了每日复盘的习惯。这种习惯帮助团队能够及时发现进度风险,员工的工时当日填写率、任务按期完成率都有了明显提升。
数字经营
背景
在当时,CG 科技公司的战略已经制定,并已经解码成 KPI。但是 KPI 的跟踪手段是手工统计,费时费力,周期长,核对也费时费力,展现手段单一,难以扩展。
跟踪效率低导致复盘周期长,战略执行的各方共识周期也长,执行效率低,执行中出现的问题也难以及时发现。
这也就导致战略落地难的问题,高层依据市场和行业前瞻制定的战略,在执行的过程中,管理层和操作层被现实的问题带跑,跟着客户的投诉跑,跟着产品的想象跑,跟着技术难题跑,甚至跟着管理者的认知天花板跑。
所以,对战略和战略落地的跟踪和洞察,是企业战略落地的核心。
目标
CG 科技公司团队需要一款实时跟踪展示战略 KPI 进展的战略驾驶舱,能够有效凝聚共识,把握战略落地脉搏,发现执行中的问题, 加快复盘频率,减少统计成本。
行动
CG 科技公司设计了战略驾驶舱创新大屏,将所有 KPI 用图表可视化的形式展示给管理者。如图 1.3.6 战略驾驶舱创新大屏
图 1.3.6:战略驾驶舱创新大屏
战略驾驶舱包括大屏和小程序上的 KPI 画像。画像包括折线图,辅助团队管理者查阅当前 KPI 现状和进展趋势;条形图,还支持下钻, 可以支持管理者定位问题原因。
研发团队内部对所有的指标进行了核对,并周期性地观察战略驾驶舱的数据,发现战略执行问题。
效果
通过建设战略驾驶舱,及时暴露研发生产过程中的各项问题企业信息化管理包括哪些内容,有效地保障了战略落地。
数字化绩效
背景
CG 科技公司研发团队的绩效评价是以主观打分为主, 缺少足够的量化数据来辅助管理者给予员工更加有说服力的评价。员工也对绩效评价的结果有不满意见,希望能够更加公平公正。每年的绩效评价过程耗时耗力,需要大量人工手段来组织。对于产品、研发、测试这种知识密集型的创造性劳动,想要全面准确地评价也是非常困难的。
目标
CG 科技公司团队需要一款数字化绩效评价工具。这个工具应当能够公平公正地给出量化评价,评价的依据应当是真实的生产中的数据, 弱化主观干预,其标准应当科学公正,匹配公司战略,其配置需要高度灵活,能够随着团队变化而变化,其计算过程应当高度自动化, 省时省力,并支持随时查看,以辅助管理者调整员工的绩效改进策略。
行动
从项目启动开始,CG 科技公司建设了数字化绩效体系,如图 1.3.7 研发团队绩效模型,当前覆盖开发负责人、测试负责人、开发人员、测试人员四个岗位,未来将覆盖产品负责人和产品人员,实现产研侧全量化评价。
图 1.3.7:研发团队绩效模型
整个体系的建设步骤,遵循数字化绩效体系建设六步法:
第一步,翻译战略。研发团队研究了公司战略,围绕当时公司的战略导向:多、快、好、省、准,以及当年的研发团队 KPI,分解出对开发团队、开发人员的期望。再把各个团队在流程中的活动梳理清楚,明确每个步骤的期望,得到团队内部对各个岗位的期望。
第二步,挑选指标。研发团队将每个期望翻译成指标,构建了各个团队和岗位的指标池。团队的指标池就是负责人的指标池。CG 科技公司应用人工智能,对指标池中的指标进行了分离度分析和相关性分析,挑选出高分离度指标,对低分离度的指标进行加工处理,提升分离度。如图 1.3.8 关键指标
图 1.3.8:关键指标
对高相关性指标对进行调研,排除数据异常,发现团队行为特征。例如,研究发现,个人需求速度与需求按期完成率有高达 0.862 的相关性,这说明需求越大,越可能进度失控。而手工执行用例数和自动化执行用例数呈现 0.986 的相关性,则帮助研发团队发现手工用例数的数据错误。
第三步,平整数据。先是将评价周期内的数据封板,然后利用数据风控对其进行扫描,通过人工智能进行相关性分析,发现那些异常数据和异常行为。
经过扫描的异常数据,抽取样本与研发团队进行了沟通,获取原因, 再组织专家进行会诊,分门别类地给出数据处理意见。例如,代码提交行数,人工智能经过分析后发现,单次提交高于 106 行的有极大可能是错误数据。在与团队进行沟通后,研发团队对这些数据进行了削峰处理。平整后的数据明显提升了分离度。
第四步,构建模型。通过人工智能算法围绕关键指标帮助我们构建模型。如图 1.3.9 关键指标网络模型
图 1.3.9:关键指标网络模型
首先收集了历史评优数据,并将这些优秀员工打好标签,连同之前分析出的战略维度优先级一起,交给人工智能进行监督学习。
这里应用了 SVM 和随机森林算法,这部分的算法是经过行业数据检验的,在行业里多个企业得到广泛应用。通过监督学习,能够发现数据中蕴含的,人眼难以发现的规律。通过将战略倾向和历史优秀员工输入给算法, 算法将还原出管理者打分的真实判断标准。
这套算法在行业中的准确度,在无专家参与的前提下,能达到 60%以上,在有专家参与的情况下,能够达到 93%以上。
接着人工智能在进行监督学习后,帮助我们圈定了一个高影响力指标的范围,并给出了每个指标对结果的影响力。如图 1.3.10AI 还原人员影响数据
图 1.3.10:AI 还原人员影响数据
最后,组织专家会诊,对人工智能生成的模型从管理理论和 XXX 科技公司管理实践的角度进行调整,将某些高关联度指标去重,将某些管理指标进行了替换,得到一个符合管理常识和管理经验的模型。
第五步,试算调优。应用绩效模型灌入实际数据进行计算后,研发团队得到了初版排名。将这一版排名与管理者进行了沟通,请管理者把有问题的人和数据标记出来,再进行专项调查。
调查的过程中发现了一些问题,比如有些项目无需测试,所以导致该项目质量虚高,进而影响模型。也发现有些人的版本管理数据被归到他们的领导身上,导致模型不准。
经过试算调优,最终得到了一个大家相对认可的版本企业信息化管理包括哪些内容,就此,大家在绩效上取得了共识,绩效模型封板。
第六步,绩效应用。数字化绩效管理专家为团队管理者进行了培训, 帮助大家了解数字化绩效的理论、特点,本次模型的原理、导向、样本分析,并培训如何应用量化绩效结果。培训中,进一步探讨了绩效模型的合理性,采集客户反馈,通过后续调优过程逐步解决。
在绩效应用中,员工雷达图的应用价值得到了客户认可,通过雷达图能够明确员工优劣势,一方面可以帮助管理者全面思考员工的调度、使用,另一方面也能够帮助员工有效扬长避短、全面成长。
效果
量化绩效模型刚刚计算出来就得到了大家的强烈关注,对于模型有效性地探讨和员工优劣势分析的认可为未来量化绩效的推广打下了基础。CG 科技公司研发团队围绕量化绩效的数据达成了初步共识, 未来这个共识将在数据的基础上不断加深,有效引导员工行为,有力地推进战略落地。
实施成果
经过一年多的建设, CG 科技公司研发驾驶舱已经发展成包括数字经营、数字绩效、数据画像和智能提醒四大板块的研发管理核心工具。以战略为核心,以绩效为引导,以画像为抓手,以提醒赋能,覆盖战略落地全周期,为公司战略落地提供了有效保障,为研发管理提供了有力支持。成果展示如图 1.4.1
图 1.4.1:研发管理成果展示
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。