Category Archives: Literature Review

Label Embedding in Multi-label classification

In the recent Kaggle competition, inclusive images challenge  I tried out label embedding technique for training multilabel classifiers, outlined in this paper by François Chollet.

The basic idea here is to decompose the pointwise mutual information(PMI) matrix from the training labels and use that to guide the training of the neural network model. The steps are as follow:

  1. Encode training labels as you would with multilabel classification settings. Let M (of size n by m, ie n training example with m labels) denote the matrix constructed by vertically stacking the label vectors.
  2. The PMI (of size m by m) is a matrix with PMI_{i,j}=log(\frac{P(i,j)}{P(i)*P(j)}), it can be easily implemented via vectorized operations thus very efficient in computing, even on large datasets. See more explanation of the PMI here.
  3. The embedding matrix E is obtained by computing the singular value decomposition on PMI matrix and then take the dot product between U and the first k columns of \sqrt{\Sigma}.
  4. We then can use the embedding matrix to transform the original sparse encoded labels into dense vectors.
  5. During the training of deep learning model, instead of using m sigmoid activations together with BCE loss in the end, now we can use k linear activation with cosine proximity loss.
  6. During inference time, we take the model prediction and search in the rows from the embedding matrix E and select the top similar vectors and find their corresponding labels.

Below is a toy example calculation of the label embedding procedure. The two pictures are the pairwise cosine similarity between item labels in the embedding space and a 2d display of items in the embedding space.

In my own experiments, I find the model trained on label embeddings are a bit more robust to label noises, it is faster in convergence and returns higher top k precision compared with models with logistic outputs.

I believe it is due to the high number of labels in the competition (m ~= 7000) problem contrasted with the small batches the model is trained on. As this label embedding is obtained from matrix factorization, it is similar to PCA that we keep crucial information and throw out some unnecessary detail/noise, except we are doing so on the labels instead of the inputs.

 

笔记 怎样做文献综述 第六章

第六章 综述撰写——撰写、审核、修改
写作过程:概述
写作的两个阶段:
  1. 作者通过写作增进自身的理解
    尝试写作:评价与组织有关课题的知识
    大纲设计:对研究材料进行编排与组织
    初稿撰写
  2. 作者通过写作促进他人理解自己
    撰写第一稿:通过修改初稿促进读者理解自己
    撰写第二稿、第三稿:遵循特定的修改策略,进一步优化论文
    撰写终稿:对论文进行建构、组织、提炼与修订
写作之后是审核:
  1. 发现所有错误
  2. 评估写作是否达到预定目标
审核之后是修改:
  1. 对论文的内容与思路进行修改
  2. 纠正组织与语法上的错误
第一阶段:通过写作增进自身理解
  1. 理解研究课题,将研究的对象转化为个人理解
  2. 产生新的想法与模式
  3. 将这些新的想法、模式串联在一起,创造新的意义,形成论文的基础
问自己:
  1. 对于我的研究课题,我到底知道些什么?
  2. 我该如何向他人解释我的研究课题?
尝试性写作
写之前,在不超过5页纸的前提回答如下问题:
  1. 我的主题是什么
  2. 对于主题,我知道什么?
  3. 围绕这一主题的背景是什么?
  4. 为什么这一主题是重要的?
  5. 我的核心论点或主旨是什么?
  6. 我怎样证明它?
  7. 我得出的结论是什么?哪些理由能够支持这一结论?
  8. 我的研究对这一领域有何意义?
完成文章后,问自己:
  1. 我是否精确界定了研究课题及其核心概念?
  2. 该课题是否清晰而简练?
  3. 我是否描述了使该课题得以产生的普遍议题或关注点?
  4. 我是否阐明了我的研究路径是属于哪个学术领域?我所用的语言是不是该领域所认可的语言?
  5. 该主题是否阐明了我最初的兴趣?它是怎么反映我的研究兴趣的?
  6. 我所用的论据是否能够体现我的研究在这一领域中是重要的?
  7. 对于有关这一主题的已有知识,我是否做出了确凿合理的发现式论证?
  8. 支持式论证是如何处理这一问题的?
  9. 基于我的论点,这些结论是否解决了我的最初兴趣所引出的疑问?
  10. 我的结论与我的论证是否形成一个统一的方案、一个令人信服的整体?
大纲
大纲设计的三个功能:
  1. 是观点整合与转化的机制
  2. 是安排观点顺序的机制
  3. 是文献综述写作的大致蓝图
大纲的设计应从目录的创建开始
文献综述的三个主要部分是
  1. 引言:提供研究的大致轮廓,突出展示研究的核心部分
    介绍性陈述:事例、争论、问题
    研究课题陈述:对研究的主题进行明确界定,说明研究的核心思想,指出研究的焦点和视点,界定每一个核心概念。
    情景陈述:展示研究的框架,阐述研究问题所处的背景甚至是研究问题产生的背景
    研究意义陈述:陈述研究的必要性,证明此项研究对学术界的价值
    研究问题陈述:阐述论文研究将要解答的问题
    论文架构陈述:向读者简要地介绍文献综述的主体和总结部分的结构框架
  2. 主体:呈现并论证研究案例,证明论点
    发现式论证:阐述有关研究课题的已有知识,构建研究背景
    支持式论证:主题论证
  3. 总结:简要呈现研究的结论
    论点陈述
    论点分析
    研究意义
完成后自问:
  1. 大纲中主要观点的铺陈方式是否连贯合理?
  2. 大纲是否完全涵盖了论文的内容?
  3. 论断是否建立在有力的论据基础上?
  4. 结论是否都经过了合理的论证?
  5. 论点的论证思路是否合乎逻辑?
  6. 大纲是否是一个完整的整体?
大纲设计环节要点:
  1. 抑制想简单把事实和观点汇编在一起的冲动
  2. 大纲必须包含研究工作中收集到的一切相关信息
  3. 不可过分自信地纯粹以来自己对研究材料的记忆力
  4. 大纲是蓝图而非房屋本身,大纲不是速记版的论文初稿
初稿撰写
     草稿是一种不断进化的文本,把文章从最初的形态逐渐转化为最终的作品
  • 设定一个计划,指明你将要写什么
  • 设定每天必须写出的最少页数,并坚持遵守
  • 日程安排被打乱时,给自己调整的时间,回复状态后再次投身进去
最初的初稿
初稿的三个主要目标:
  1. 决定论文的写作思路
  2. 将有关研究课题的起初的思路和腹稿转化为具体的文字形式
  3. 检查你在此主题领域内的知识掌握情况
审核初稿
目的:
  1. 根据主题大纲,对初稿进行调整
  2. 对内容与结构进行修改
步骤:
  1. 等初稿写完一段时间后再去审核,通过这段时间使大脑抹去在初稿写作时形成的思维图景,从而使你能以全新的视角和开放的思维去审视文章
  2. 用三倍行距进行初稿写作,为增补与注释提供空间
  3. 朗读文章的同时审核内容:连贯、逻辑、观点的编排
  4. 语法、架构和写作格式的审核
  5. 初稿与大纲对照,确定增加的内容、要删去的内容、要加强论证的内容
  6. 重新阅读完成审核的文章,对其获得一个整体性的认识
修改初稿:依据审核后主有修改标记的草稿,从新撰写初稿
第二阶段:通过写作促进他人理解
分析

  1. 研究的主要结论是否清晰
  2. 支持各个结论的论断与论据是否各居其位
  3. 论证的形式和逻辑是否有明确的解释或清晰的暗示
  4. 各个论证是否都合乎逻辑推理
评价
  1. 逻辑推理能否令人接受
  2. 论证的结论是否得到了适当的推理证实
  3. 总体论证过程能否形成主题
外部评审
第二稿、第三稿
终稿
麦克伊沃, 马奇. 怎样做文献综述——六步走向成功[M]. 上海:上海教育出版社. 2012.4

笔记 怎样做文献综述 第五章

第五章 文献批评——对研究进行阐释

一般文献综述目的:对有关主题的已有知识进行综合并总结出一个论点。
研究生学位论文的要求:超越已有知识,发现新问题,从而拓展某一领域内的知识,进行原创性的探究。“何种具有原创性的新知识能够扩展已有的知识领域?”

第一阶段:隐含推理

隐含推理是对论据进行逻辑阐释的过程,以便提炼论点,到处特定结论。
如果......那么......包含两个命题,两个命题彼此独立,需要分别加以论证,然后通过推理将两个命题在逻辑上联系起来。

第二阶段:二度论证

将文献研究中得出的诸多论点与文献批评相结合,得出一些列的结论,将这些结论进行连接,得出来的新结论便可以作为文献综述的主旨论点。
发现式论证(如果)————支持式论证(那么)
         {(R1...Rn->C1)+C1}->C2
   已有知识                       可以得出什么结论
   文献研究                             文献批评

第三阶段:论证模式

选择正确的论证模式的关键在于弄清研究问题所寻求的答案与文献研究得出的证据和前提之间的关系。

论证模式
逻辑规则
先决条件:  研究者必须标明...... ”
条件(保障)
从因到果
任何原因都必然导致某种结果
证据中包含造成某种结果的直接原因的资料
必须证明证据指向的是研究问题中界定的某种结果的原因
从果到因
任何结果都必然是由某种原因导致的
证据中包含研究问题的有关案例导致某种直接结果的资料
必须保证证据能够印证研究问题中所界定的情况可能导致的各种结果
预示
可辨识的征兆、信号或征象会先于事件与行为而出现
证据中包含某些征兆性资料,这些征兆预示着研究问题中某些行为或事件将会发生
必须证明在探究论证环节得出的前提证实研究问题所界定的案例的合理征兆、信号或提示
从个体到总体
对于个体成立的命题,对于总体也成立
证据中所选择的个体具有代表性,能够代表研究问题所界定的总体
论据主体中确认的个体必须确实能够代表研究问题所界定的总体
从总体到个体
对于总体成立的命题,对于个体也成立
研究问题所界定的个体具有代表性,能够代表证据中所指出的总体
必须证明在研究问题中界定的个体确实能够代表论据主体所确认的总体
平行案例
当存在两个相似案例时,对于第一个案例成立的命题,对于第二个案例也成立
证据中所提供的案例与研究问题所界定的案例足够相似,可以视为平行案例
必须证明论据主体与所确认的案例与研究问题所确认的案例具有相似性
类比论证
如果两个事物相似,对于其中一个事物的结论可以假定为另一事物也适用
证据中的案例A所具有的性质能够有助于解释和澄清研究问题的有关案例B中与之相似的性质
必须证明倘若将论据主体所确认的案例与相似的案例进行比较,那么就能够澄清与解释某些未知之处
权威论证
一个人对某个问题知道得越多,他对这个问题的论断就越真实
证据中所呈现的证词运用的是与研究问题所界定的案例相关的可信赖的专家的证词
必须证明论据主体对研究问题所提出的疑问提出了权威的解答
结果  途径
一个结果可以直接归因与某种特定行为的执行
证据中所提到的特定行为将导致研究问题中所界定的某种结果
必须证明文献检索的论据主体确认的行为是为了达成研究问题确认的结果而设计的

第四阶段:推理保障     

检查初始研究问题:论证所建立的前提是否为研究问题提供了令人满意的回答?
检查支持前提的论的性质:论据建立在何种模式之上?
展开批评性讨论: 对探究论证所得出的前提与论据主体进行分析与评价。

第五阶段:谬误论证

谨防谬误论证:草率定论和忽略其他解释
  1. 对他人观点的诋毁、谩骂
  2. 带有个人情感的观点
  3. 荒谬思维:因为未被证明是错误的,所以就一定是正确的
  4. 循环论证
  5. 不相关结论
  6. 众所周知
  7. 多重疑问

方案即一切!

麦克伊沃, 马奇. 怎样做文献综述——六步走向成功[M]. 上海:上海教育出版社. 2012.4

笔记 怎样做文献综述 第四章

第四章 文献研究——进行发现式论证

文献研究的目的是“发现关于研究问题我们已经知道些什么?”
文献研究由三个阶段组成:
研究阶段
任务
集中资料
分类记录有用的主要著作、期刊、文章等。列出作者名单,对引文进行分类。评估信息的质量和力度。建立一个总体的记录矩阵图。记录核心观点。
综合信息资料
根据作者、关键词和主题、年代、理论等对主要文献组织分类。
根据主题类型,建立核心观点图,列出提纲。
扩展当前的作者图谱、理论图表和书目卡片的摘要,记录流行的理论和原则等。建立简单论断。
分析资料类型
审查核心观点图和矩阵图,形成论证方案和推理式进而确定关于研究课题“人们知道什么”。
列出梗概。列出发现式论证的蓝图和提纲。进行复杂论证,作出主要论断。
就人们关于研究对象的现有知识写出一份发现报告。“讲述故事”

第一阶段: 集中收集到的资料

集中资料
通过集中资料,宏观的整体把握能让人看清楚资料背后的规律,从而便于对资料的组织分类。
建立一个中心控制文档来帮助自己对资料进行集中、组织和分析。
例如:
第一阶段 集中收集到的资料
第二阶段 综合信息
 第三阶段 分析资料类型
关键概念或关键词
引文或参考资料
主要观点
资料质量
证据分类
论证方式和简单论证
简单论断
论断的可接受性
简单论断(前提)
复杂论证
复杂论断
从图表和书目卡片中来
从图表和书目卡片中来
从图表和书目卡片中来
资料是否符合质量标准
将资料放在合适的位置作为证据
使一组证据所使用的论证方式
这条资料是这一论断的证据
论断是否符合可接受的标准
将简单论断作为主要论断的证据
用于证明复杂观点的论证方式
发现式论证的主题
作者

篇名
期号
记录资料
将文献查询阶段获得的信息综合起来并集中记录到中心文档中去,以便对资料进行后期审查和组织。
技巧:
  1. 使用简单的编码来指代在资料来源和中心文档中出现的内容。使用缩略词或关键词来记录文摘或者核心观点。
  2. 使用文献管理软件中的报告。
  3. 采用复制粘贴、截图的方法。

第二阶段: 综合信息

通过完成上述表格的第一阶段信息的填写,便将资料转变成证据的形式。
论据经过推理才能形成简单论断。
最基本的推理形式:
  1. 一对一推理:原因—推导—结论
  2. 并行推理:原因1,原因2,原因3...原因n—推导—结论
  3. 链式推理:(原因1—推导—结论1;结论1—推导—结论2;结论2—推导—结论3)—推导—结论4
  4. 联合推理:(原因1+原因2)—推导—结论
    原因不能独立证实结论,但两者结合起来就可以从逻辑上推导出结论
整合信息,建立论断
  1. 根据证据类型分析每一组资料,分析资料怎样联合在一起,把正确的推理形式运用到每一组证据中。
  2. 把每个资料小组的推理形式记录在第六栏。
  3. 从每一组证据中找到由此推导出的结论。用陈述句将结论记录下来,这就是论断。
  4. 在第七栏中写下依靠证据得出的论断或主张。
  5. 完成论断陈述后,评价每个论断的可接受性。
  6. 对论断进行评价并记录。

第三阶段:分析资料类型

这阶段的目的是:通过安排第七栏中的简单论断将论证发展成复杂论证。
通过对简单论断进行回顾,发现他们之间的逻辑关系形式,这个形式将以合理的顺 序——推理方案来呈现论断。
以论证方案为引导,列出论证的提纲或图表。
复杂推理:

发现式论证中常用的复杂推理方案有:
  1. 分歧推理:通过一组数据展示一个观点,然后引用另一组资料来展示一个相反的观点。用来看清对立双方的立足点和立场的关注点,并发现双方的强处和弱处。
  2. 对比推理:通过一组数据展示一个观点,然后引用另一组资料来展示一个并行的观点。用来检验资料组的相似点和不同点。
发现式论证制图
组织论断,并对相应论据重新分组,将重新分组后的论断计入第九栏。
分析第九栏中的前提条件,确定复杂论断的推理方案,进行发现式论证,在第十栏和第十一栏分别记录。
论证评价练习
评价复杂论证:
  1. 你的论题中的复杂论点是什么?
  2. 复杂论点由哪些前提条件构成?
  3. 这些前提条件是通过什么样的推理而归纳成论题的?
  4. 你的论证中的逻辑方案是什么?使用了什么推理形式?复杂论证是否有逻辑性?
  5. 有没有什么不合适的地方?有没有与论证无关的简单论断?
评价简单论证:
  1. 简单论断是否有扎实的推理?
  2. 是否每个论断都有合理的论据支持?
  3. 每一个简单论证是否由较好的推理形式证实,这些推理形式是否可以证实每一个论断?
  4. 有没有不相关的论断或证据陈述?他们是需要进一步推理还是应该舍弃?

麦克伊沃, 马奇. 怎样做文献综述——六步走向成功[M]. 上海:上海教育出版社. 2012.4

笔记 怎样做文献综述 第三章

第三章 展开论证——为文献综述建立论证方案

第一阶段:为文献综述建立论证方案

建立论证方案是指按照一定逻辑形式组织和安排一系列的论据,通过这些事实来证明研究课题中的中心论点。

一般用两类论证建立论证方案:
  1. 发现式论证:讨论并解释有关研究对象的已有知识
  2. 支持式论证:以发现式论证为基础,对发现式论证中通过资料整合而获得的知识进行分析和评论,并解决研究问题。结果是论文的主题陈述。

第二阶段:论证

论证就是逻辑地呈现论据并推导证明某个结论的过程。
论证就是通过推理将论据变成论断的过程。

有说服力的论证必须运用逻辑推理,它提出一系列理性的论据,用以证明一个结论,而所有的论证都必须建立在坚实的事实证据之上。

论证=论据a+论据b+......+论据n——>;结论

第三阶段:评价论证的基本要素

以几个问题为指导,检查论证是否有力:
  1. 结论是什么
  2. 支持结论的理由是什么
  3. 这些理由是否能够证实结论?
  4. 这些理由是否有资料支撑?
  5. 结论是否依据一定的逻辑从论据中推导得出?

第四阶段: 形成论断

论断是一个声明性的陈述,是论点的声明或主张,是被用来推动论证进行的。
论断可以分为五种类型:
论断的种类 类型 论证用途 论据
事实论断 关于人物、地点或者事件的陈述 陈述一个事实 数据核实资料
价值论断 对观点优劣、行为过程、行为或立场等作出评价和判断 评判行动过程,行为或者立场 专家类支持性资料
政策论断 确定准则或标准的论断 提出应该做什么 专家或轶事类支持性资料
概念论断 对主张、观点或者现象的定义或描述 下定义 专家支持性资料
解释性论断 为理解某种观点提供参考资料框架的论断 提供联系各个概念的框架 经过专家证实的文件、实证研究、统计研究、轶闻趣事研究
论断的四个评价标准:

1. 切中要点
2. 有说服力
3. 可支持
4. 可理解

论据是一系列支撑论断的资料。
  1. 资料与证据:论据是为某个目的而收集的资料,是有意图的资料。
  2. 资料的质量:指资料作为有利证据的力度和可信度
    准确
    精确
    可信
  3. 资料的相关性
    合适:符合论断语境的资料
    真切:对研究现象提供准确解释的资料
限定论断(qualifying the claim):
反对论断的资料通过否认或缩小论断来对论断加以限定。
  1. 否认性的资料:与正面资料相互矛盾的资料。
  2. 限定性的资料:限定了论断中提出的观点。(条件/范围)
推理是以逻辑形式呈现论据的过程,逻辑形式要能够说服读者认同论断的结论。
问自己“论证是怎样经过一步一步的推理把论述中的证据变成让人信服的论断的合理论据的?”

组织正式论证:

  1. 提供的证据是什么?
  2. 陈述的论断是什么?
  3. 回顾论证,背后的推理是什么?

第五阶段: 复杂论点的论证

复杂的论证由多个简单论断组成,这些论断成为证实主要论点论断的证据。

方法:
  1. 进行多个简单论证,利用资料作为论据,证实每一个简单论证的论断。
  2. 结合简单论证的论断得出新的论据,利用这些论据来证实复杂论证中的主要论断。

麦克伊沃, 马奇. 怎样做文献综述——六步走向成功[M]. 上海:上海教育出版社. 2012.4