基于时间流的微课使用追踪评价模型研究

摘 要：当前，微课资源正逐渐从重建设的阶段向应用与建设并重的阶段转化，随着资源越积越多，如何公正地评价资源、推动资源的有效应用与进化成为当前资源应用的先决条件。本文分析了一段时间内微课选择并选用这一过程的行为数据，提出了一种基于时间流的资源追踪使用的新评价方法，可以和其他的基于数据分析的评价结合，形成对一个资源全面的评价。

关键词：时间流；使用行为；微课；追踪评价

中图分类号：G40-058.1 文献标志码：A 文章编号：1673-8454（2018）01-0031-05

一、引言

1.课题的提出

微课（Micro Learning Resource），是指运用信息技术按照认知规律，呈现碎片化学习内容、过程及扩展素材的结构化数字资源（摘自百度百科）。主要特点有：①教学时间较短，一般长度为5～8分钟；②教学内容较少，主题突出。微课概念提出以后，得到了各级教育机构的大力追捧，并通过“微课大赛”等多种形式，成功建设了一大批微课资源。

根据网络搜索，我们发现对微课资源的评价方法，主要有两种，一种是专家评审的方法，多个专家分别对被评微课进行打分，汇总以后根据总分排名，以此来判断微课质量的高低好坏，此种形式最为常见；一种是基于数据的判断，即根据微课的点击量、收藏量来进行评价好坏，此方法在有平台作为支撑载体的情况下较为常见。此两种做法各有好坏，专家点评方法可能比较容易受到评委的主观判断影响；而基于点击量收藏的方法，从规则上很难避免拉人式的非正常点击或者收藏，进而影响到评价的客观公正性。

苏州园区教育局组织区内中小学教师在近5年的时间内建设了大量原创微课资源，随着承载平台易加互动学习平台的大规模推广使用，如何使用信息化的手段对微课资源进行合理有效的客观评价，方便广大教师的日常应用，是当务之急。使用大数据分析的方法，对平台上各种用户行为进行分析，挖掘出其中隐含的对资源评价的行为数据，并基于此进行微课资源的评价，成为一种较为可行的方法。

2.资源评价方法简述

当前，在线学习平台对资源的使用，主要的几种行为有观看、点赞、收藏、引用、下载、评论、投诉等。传统的基于用户行为的资源评价通常会聚焦在用户孤立的行为中，但我们发现，在一定的场景下，将用户的连续行为进行意义分析，将有助于我们更深度地挖掘蕴涵在用户行为中的资源评价意义，因此，我们提出了一种基于时间流的资源追踪关联性评价方法模型。时间流，按时间排序；基于时间流的资源追踪评价是指将使用者在某一段时间内对多个资源的所有操作行为按时间排序，分析出其中操作动作所隐含的评价倾向，并将倾向评价进行数字化处理，形成对资源客观评价的方法。

二、资源追踪评价模型算法

1.场景分析

基于时间流的资源追踪评价模型的建立基于如下典型场景：

某校四年级三班数学任课王老师明天要上《加法运算律及其简便计算》的课，现在要寻找一节合适的微课，加入到翻转课堂课前任务单中去。打开资源素材库，发现该章节下面有7个微课，仅从标题看，无法做判断。为了选择自己需要的，王老师跳着观看了这七个微课，几经对比，认为其中《应用加法运算律进行简便计算》是最符合当前所教班级具体情况的一个，所以王老师引用该资源到自己的课时中，并发布给学生课前先学。

在上述场景中，有几个明显的特点：①目的性，明确的目的，寻找自己需要的资源；②明确性，基于明确的主题，某一章节的课前先学；③结果性，最终结果是形成了对资源的引用。

我们进一步分析，可以发现几个隐藏的点：①选择是一个过程，会查看较多的同类资源；②整个过程是时间流式的，看完一个再看另外一个，看到满意的会进行引用、收藏等操作；③选择可能有几轮，每一轮都是前一轮的精选，直到最后选定一个；④在一个限定的时间内完成，在半个小时之内结束的实际可能性很大；⑤结论是一个被选中的微课视频。

2.指标提炼

我们先整理一下选择过程中所发生的动作：（见表1）

平台从观看开始，固定在素材每6秒的時刻记录一次播放行为，形成一维观看序列数组，保存形式如{1，1，1，0，0，1…}，1为观看，0为未观看。

覆盖率= ，如系统总长为8分13秒，每6秒为一个计数点，则视频总长度计算点数为83，若系统记录到了用户观看了其中的13个点的值为1，则覆盖率 == 0.157。一个点被记录两次（观看两次），在覆盖率计算时作为一次计算。

下降率=1-（不包含18秒），用于区别只观看了前面几秒就关掉的情况，值为0时，观看了全部视频；值为1时，18秒以后无观看记录。（见图1）

如图1所示：视频A在24秒以后共有17个记录点，观看数据总共记录了12个点，其下降率为0.29；视频B同样有17个点，观看数据总共记录了2个点，其下降率为0.88。下降率越大，则说明后半部分未看的比例越大。

基于上述简单的分析以后，我们可以进一步分析上述场景中隐含的对资源进行评价的过程：王老师按照系统的默认排序，大致浏览了每个素材微课，有了初步的判断，筛选出其中的2个（微课2和微课6）为备选，然后又对这两个素材微课看得更加仔细一点，最后选择了素材2，并将其引用到了自己的翻转课堂课前学习任务单中。

现在，我们可以发现一系列动作所蕴涵的资源评价意义了：

相对于其他，微课2和微课6有较高的使用价值；最后选中的微课2，其价值最大。

我们将王老师观看视频的覆盖率、下降率以图表（见图2）进行显示：

从图2可以清晰地看出，在大致看完一遍以后，王老师仔细地观看了微课2 和微课6，第二遍看微课2、微课6和第一遍观看比，有明显的目的性。再结合他最终的选择为微课2，我们可以据此推断，在选择确定以后固然表达了王老师对微课2的欣赏态度，其实选择过程中对多个视频的观看根据前述数据分析已经可以知道他的倾向了。endprint

通过以时间序列的观看行为数据分析，我们可以得出一个较为明确的结论：在王老师心目中，他认为微课2是好的，微课6是次好的，其他的都是可以忽略的。

作为系统处理的结果来讲，预期是把微课1、3、4、5、7的好评度下降一点，把微课6的好评度提高一点，把微课2的好评度提得更高一点。

3.评价模型

基于时间流的资源追踪使用行为对资源有效性评价，需要考虑如下因素：

（1）资源使用行为的类型

不同的使用场景，会有不同的资源最终使用行为。用于时间流资源追踪评价的使用行为有资源的引用、资源的下载。

资源的引用：是指将资源使用到具体的教学场景中去，如将微课视频放到课前先学任务单中去，将多题组成一份练习或者测试卷，发给学生进行答题或者测试。引用是对资源最大程度的认可，具有最高的追踪评价级别。

资源的下载：易加互动除了提供互动学习平台之外，也提供了海量的微课资源，但发现有多名教师仅在平台上下载，下载前的操作也有明显的比对、选择过程，但是没有发生期待的引用动作，经过跟踪与询问，发现教师的回答有点啼笑皆非，没有引用是因为不熟悉平台的使用，不知道怎么用；下载是因为资源的确比较优质，相比自己制作能够节省大量精力，所以把资源下载下来以后，以自己所习惯的方式共享到QQ群等，来进行系统外的发布与点播处理。

未参与资源使用追踪评价的有：

资源的收藏：资源收藏也是表达资源欣赏的一种方式，由于资源收藏场景的时间流特性不是特别明显，不能进行较为准确的计算与评价，故收藏行为不参与追踪评价。

资源的点赞：点赞操作也是能够表达用户欣赏的一种行为，相比其他类型的操作，点赞操作更为随意，时间流连续追踪使用数据分析的价值没有其他三类准确，精度较低，价值不大，故在本模型中不作分析与计算。

（2）资源主题特性

使用追踪评价，针对的是从某个角度可以归为一类的资源，即资源的某个属性具有相似值，甚至相等值。如资源属于同学科的同一个教材章节或者知识点；资源属于同一个主题，比如，都是讲描写人物作文技巧的微课资源。

注：在实际分析过程中，经常发现一个教材章节下面有多个课时的资源，而这些资源在使用时具有先后关系（某几个为第一课时，某几个为第二课时，或者分为课前课后），针对此类情况，还需要结合资源的关联关系分析中的前置后续关系进行评价，在此不做过多叙述。

（3）选择目的性

基于时间流的追踪评价，在观看了多个资源以后，最终都是选择了其中的一个。仅仅查看而没有最终的引用，系统不认为满足追踪评价的要求。实际处理时，其实是先去找到这个目的资源，然后才去反推寻找其他被评价资源。

（4）时间范围性

基于时间流的追踪评价，有明确的时间范围特性。围绕着一个主题，相类似的资源会被检索并观看，教师观看并选择的动作，是在一定时间内发生的。基于几种常见的场景，我们目前将时间范围限定在48小时之内，在搜索到一个明确的资源应用行为以后，系统往前推48小时，查找该段时间内相同用户、相同主题、相同类型资源的查看记录，进行分析。

（5）场景特性

找到目的资源是相对较易的事情，而将与该目的资源进行追踪比较的被评价资源的选择，则是相对较为复杂的事情。当前，我们采用的是寻找相同用户、相同主题的所有同类型资源以后进行覆盖度与下降度比对的方式进行。在当前学习平台上，围绕在线教与学这一中心，有以下几种值得进行追踪评价的场景：①微课资源的选取与使用；②题库题目的选取与组卷。

（6）处理前的噪音去除

通过前面的处理，我们已经能够选出一个目标资源和多个被评价资源。在正式处理之前，我们需要将不合适进行追踪评价的数据记录去除，即对噪音数据或者不能判断的数据进行过滤。去除作者自己的微课，因利益相关，用户自己的资源不做任何评价。①覆盖度过低的观看行为。在实际查看比较过程中，有些微课教师根本没有细看就跳过了，原因很多，如可能是与自己所需要寻找的主题不一致，或者纯粹个人喜好等，由于很难推算出具体的原因，故系统将覆盖度小于0.05的微课直接忽略，不作任何比对处理。②虽有选择过程，但所选择的目标微课为第一轮即选定，并且作者是与当前用户同一机构的。由于可能有明确的倾向性，故此类数据也将不适合作任何分析与评价。

（7）分析与评价算法模型

去除业务上不宜分析的数据后，我们接下来可以对剩余的数据进行比对。我们重新整理一下，如表2所示：

根据表2，我们可以把王老师看的7个资源分为三种级别：（见表3）

如果备选资源较多，可能会有选择分三批、四批的情况，为简化起见，系统处理仅分为上述三种资源类型。

（8）主要计算公式模型

对于资源的追踪使用评价，我们采用了三个维度来进行衡量：（见表4）

追踪评价次数：Trace Evaluate Count，简写为tec，本资源被本行为所评价的次数总计。

本次追踪评价值：Current Trace Evaluate Value，簡写为ctev，本次追踪评价的值，按照前述例子而言，在第一轮即遭淘汰的，取值-1，对资源评价是负面的；成为候选而没有被选中的，取值0.5，对资源评价是正面的；最终被选中的，取值为1.0，对资源评价是最正面的。追踪评价，根据备选的资源数多少以及价值的多少，可能会有1到多个资源为负评价（-1.0）；可能有0到多个为正面较好评价（+0.5）；仅有一个为正面最好评价（+1.0）。

追踪评价值：Trace Evaluate Value，简写为tev，是资源所有被追踪评价后的累计值，取值范围-∞～+∞。值越小，同类中价值越低；值越大，同类中价值越大。endprint

追踪评价指数：Trace Evaluate Index，简写为tei，追踪使用评价的综合性指数，是一个归一化的指数（取值范围：0～1.0），计算公式如下：

公式说明：①基于当前易加互动学习平台追踪使用数据特性，以线性方式计算出来的指数值已经比较符合预期。②追踪评价指数为以学段学科为单位进行计算与评价，小学数学和小学语文的资源在各自的体系中进行评价；小学语文和初中语文的计算与评价，也各为不同的评价体系。

三、数据的初步验证

模型和算法出来以后，我们拿实际数据来进行验证。

场景：现有3位教师，分别是A校的王老师、B校的李老师和C校的张老师，他们因为教学需求，需要让学生在家进行《平行四边形面积计算》的课前预习。A校的王老师和C校的张老师是通过易加互动进行布置的，而B校李老师通过微课下载与共享的方式进行了预习作业的布置。

基于后台数据，我们得到了如下三张表：

A校王老师的如表5所示：

B校李老师的表6所示：

C校张老师的表7所示：

李老师的使用是发生最早的，她在做了对比以后，下载了其中的第一个资源。在此之前，没有有效的资源追踪使用行为数据，即所有初始值为零。（见表8）

接下来是张老师的对比与引用，如表9所示。

最后，是王老师的对比与引用，如表10所示。

通过这三个表指数的对比，我们可以得出tei与预期一致的结果：

《星港-平行四边形面积计算》一开始被选中以后，即以tei=1.0的高分被评为最佳；第二轮的张老师对比引用时，该资源继续被教师认为是候选，最终结果仍然被选为最佳；第三轮，王老师对比引用以后，《方洲-平行四边形的面积》这一资源因两次均被直接采用，进入了最高推荐榜位，而一开始的榜首渐渐降落到了第二的位置。在该章节下面，该两个资源处于胶着状态。

另一方面，总共的6个资源里面的另外四个，经过三轮的选择以后，tei值均为0.0，表明了资源没有得到足够的认可。

四、本模型的实际运用与意义

通过追踪指数的使用，系统能够辨别在同一主题下多个资源孰优孰劣，在资源列表式的展示时，能够基于此数值进行资源的先后顺序显示，改进当前诸如仅基于点击热度、收藏热度等的降序排列的算法，初步达到优先推荐优质资源的目的。

同时，对于追踪指数低的资源，由于原因有多方面，资源运营管理者可以定期查看低指数，尤其是零的资源，进行必要的分析以后采取必要的措施。比如，在前述实例中，有一个资源，叫做《三角形面积的秘密》，虽然在同一个章节下面，但是其几乎不被引用，在参与的资源追踪比较序列中，也因为非常低的观看覆盖度，实质上是第一个被淘汰的资源，其实简单分析就可以知道这个资源的教材章节标注错误了。

通过本模型的运用，能够自动计算出资源的优劣好坏，随着时间的积累，其后表达优劣好坏的意义也更大，有如下几方面的显示意义：①更加科学公正地对资源进行评价，具有客观性；②结合学习平台，优先推荐优质资源，能够节省教师宝贵的备课时间；③优质资源的使用，能够促进学生学习效率的提高，学习更加易懂、快乐；④随着微课资源的更进一步展开，通过此方法，能够促进资源的优胜劣汰，促进资源建设共享者花费更多的精力，制作出更加优质的资源。

五、本模型的拓展

本模型主要对同一主题下面的多个资源进行了关联性的客观评价，评价虽然客观，但只是微课资源评价的一个维度，在实际使用时，需要结合多个评价指数进行综合性的比较与分析。

实际的资源比对选择过程，判断依据还有其他因素，如难度（基础、巩固、提高）、场景（课前、课中、课后）等等，為了评价尽可能准确，也需考虑此类因素。

为方便，模型介绍省去了若干因素，简化了模型，在实际使用时，还需要对无关的、噪音的行为数据进行更多标准的清洗。如当前评价模型所依赖的资源引用行为，仅以引用行为的发生进行判断，实际可能有引用但不发给学生学习的场景，此类数据也应作清洗处理。

参考文献：

[1]孙聘.基于用户体验的微课评价指标体系设计[J].现代教育技术，2015（3）：63-68.

[2]周东岱，孙聘.从资源与课程属性的视角谈微课评价[J].现代教育技术，2016（4）：81-86.

[3]王泽颖.基于模糊综合评价法的微课评价研究[D].浙江师范大学，2016.

[4]王泽颖，赵启斯.基于层次分析法的微课评价指标体系构建[J].软件导刊（教育技术），2015（7）：81-82.