情感分析与观点挖掘第一章笔记/SentimentAnalysis-and-OpinionMining by Bing Liu

情感分析（也称为观点挖掘）是一种研究领域，用于分析人们对诸如产品，服务，组织，个人，问题，事件，主题及其属性等实体的观点，情绪，评价，评估，态度和情感。它代表了很大的问题空间。名称也很多，任务也略有不同，例如sentiment分析，观点挖掘，观点提取，sentiment挖掘，主观性分析，affect分析，emotion分析，评论挖掘等。但是，它们现在都属于情感分析(sentiment analysis)或观点挖掘(opinion mining)。虽然在行业中，更常使用情感分析一词，但在学术界，情感分析和观点挖掘都经常使用。它们基本上代表了相同的研究领域。情绪分析一词最早出现在（Nasukawa和Yi，2003），而观点挖掘一词最早出现在（Dave，Lawrence和Pennock，2003）。但是，关于情感和观点的研究出现得较早（Das和Chen，2001； Morinaga等，2002； Pang，Lee和Vaithyanathan，2002； Tong，2001； Turney，2002； Wiebe，2000）。在本书中，我们可以互换使用术语情感分析和观点挖掘。为了简化介绍，在本书中，我们将使用“观点(opinion)”一词来表示opinion观点，sentiment情感，evaluation评估，appraisal评价，态度attitude和情感emotion。但是，这些概念并不等同。我们将在需要时对其进行区分。观点本身的含义仍然非常广泛。情感分析和观点挖掘主要关注表达或暗示正面或负面情绪的观点。

尽管语言学和自然语言处理（NLP）历史悠久，但是在2000年之前，关于人们的观点和情感的研究很少。从那时起，该领域成为了一个非常活跃的研究领域。有几个原因。首先，它几乎在每个领域都有广泛的应用范围。由于商业应用的激增，围绕情绪分析的行业也蓬勃发展。这为研究提供了强大的动力。其次，它提供了许多具有挑战性的研究问题，这是以前从未研究过的。本书将系统地定义和讨论这些问题，并描述解决这些问题的最新技术。第三，这是人类历史上的第一次在网络上的社交媒体中拥有大量含有观点的数据。没有这些数据，将无法进行大量研究。毫不意外，情感分析的开始和快速发展与社交媒体的相吻合。实际上，情感分析现在正处于社交媒体研究的中心。因此，情感分析研究不仅对自然语言处理有重要影响，而且对管理科学，政治学，经济学和社会科学都可能产生深远影响，因为它们都受到人们意见的影响。尽管情感分析研究主要从2000年初开始，但在隐喻，情感形容词，主观性，观点(view points)和情感(affects)的解释方面已有较早的工作（Hatzivassiloglou和McKeown，1997; Hearst，1992; Wiebe，1990; Wiebe，1994; Wiebe，Bruce和O’Hara，1999年）。这本书作为一个最新的和全面的介绍文本，以及对该主题的纵览。

1.1 情感分析的应用

意见对于几乎所有人类活动都是至关重要的，因为它们是影响我们行为的关键因素。每当我们需要做出决定时，我们都想知道别人的意见。在现实世界中，企业和组织始终希望找到有关其产品和服务的消费者或公众意见。单个消费者还希望在购买产品之前先了解产品现有用户的意见，并在政治选举中做出投票决定之前了解其他人对政治候选人的意见。过去，当个人需要意见时，他/她会问朋友和家人。当组织或企业需要公众或消费者的意见时，它会进行问卷调查，民意调查和焦点小组座谈。长期以来，获取公众和消费者意见一直是营销，公共关系和政治竞选公司的一项巨大业务。

随着社交媒体在网络上的爆炸性增长（例如，评论，论坛讨论，博客，微博，Twitter，评论和社交网站上的帖子），个人和组织越来越多地使用这些媒体中的内容进行决策。如今，如果想购买一种消费产品，不再局限于向朋友和家人征求意见，因为在Web上的公共论坛上有很多关于该产品的用户评论和讨论。对于组织而言，可能不再需要进行问卷，民意调查和焦点小组来收集公众意见，因为有大量此类信息可以公开获得。然而，由于各种网站的激增，在网上寻找和监测意见网站并从中提取信息仍然是一项艰巨的任务。每个网站通常都包含大量的观点文本，而在冗长的博客和论坛帖子中，这些文本并不总是容易被解读。一般的人类读者很难识别相关的网站，并提取和总结其中的观点。因此需要自动化的情绪分析系统。

近年来，我们目睹了社交媒体上的意见帖帮助重塑了企业，并影响了公众的情感和情绪，这对我们的社会和政治体系产生了深远的影响。这样的帖子也动员了群众进行政治变革，例如2011年在某些阿拉伯国家发生的政治变革。因此，在网上收集和研究意见已经成为一种必要。当然，含有观点的文档不仅存在于Web上（称为外部数据），许多组织还具有内部数据，例如，从电子邮件和呼叫中心收集的客户反馈或组织调查的结果。

由于这些应用，近年来工业活动蓬勃发展。情感分析应用几乎已遍及各个领域，从消费产品，服务，医疗保健和金融服务到社交活动和政治选举。我本人已经实现了一个名为Opinion Parser的情感分析系统，并在一家初创公司中从事所有这些领域的项目。仅在美国，至少有40-60家初创公司。许多大公司还建立了自己的内部功能，例如Microsoft，Google，HewlettPackard，SAP和SAS。这些实际应用和产业利益为情感分析研究提供了强大的动力。

除了实际应用外，许多应用型研究论文也得以发表。例如，在（Liu等人，2007）中，人们提出了一种情感模型来预测销售业绩。在（McGlohon，Glance和Reiter，2010年）中，评论用于对产品和商家进行排名。在（Hong和Skiena，2010年）中，研究了NFL投注线与博客和Twitter中公众舆论之间的关系。在（O’Connor等，2010）中，推特上的情绪与民意调查有关。在（Tumasjan等，2010）中，Twitter情绪也被用于预测选举结果。在（Chen等，2010）中，作者研究了政治立场。在（Yano和Smith，2010年）中，报道了一种预测政治博客评论量的方法。在（Asur和Huberman，2010； Joshi等，2010； Sadikov，Parameswaran和Venetis，2009）中，Twitter数据，电影评论和博客被用来预测电影票房收入。在（Miller等人，2011）中，对社交网络中的情感流进行了调查。在（Mohammad and Yang，2011）中，使用邮件中的情感来发现性别在情感轴上的差异。在（Mohammad，2011年）中，小说和童话中的情感得到了追踪。在(Bollen, Mao and Zeng, 2011)中，Twitter情绪被用来预测股票市场。在 (Bar-Haim et al.， 2011;(Feldman et al.， 2011)中，识别微博中的专家投资者，并对股票进行情绪分析。在(Zhang and Skiena, 2010)中，博客和新闻情绪被用来研究交易策略。(Sakunkoo and Sakunkoo, 2009)研究了网络书评的社会影响。在(Groh and Hauffa, 2011)中，情绪分析被用来描述社会关系。(Castellanos et al.， 2011)也报道了一个全面的情绪分析系统和一些案例研究。我自己的团队在Twitter上追踪了人们对电影的看法，并预测了票房收入，结果非常准确。我们只是简单地使用我们的Opinion Parser系统来分析关于每部电影积极和消极的意见，没有额外的算法。

1.2 情感分析的研究

如前所述，情绪分析之所以成为一个热门研究问题，广泛的现实应用只是部分原因。这也是一个极具挑战性的NLP研究课题，涵盖了许多新的子问题，我们将在后面看到。此外，在2000年之前，无论是NLP还是语言学方面的研究都很少。一部分原因是在此之前，几乎没有可用的数字形式的意见文本。自2000年以来，该领域迅速发展成为自然语言处理领域最活跃的研究领域之一。它在数据挖掘、Web挖掘和信息检索等领域也得到了广泛的研究。事实上，它已经从计算机科学扩展到管理科学(Archak, Ghose和Ipeirotis, 2007;陈和谢，2008;Das和Chen, 2007;Dellarocas, Zhang和Awad, 2007;Ghose, Ipeirotis和Sundararajan, 2007;胡，Pavlou和张，2006年;Park, Lee and Han, 2007)。

1.2.1 不同级别的分析

我现在根据现有研究的粒度级别，简要介绍主要研究问题。通常，情感分析主要从三个层面进行研究：

• **文档级别：**此级别的任务是对整个意见文档表达的是正面情绪还是负面情绪进行分类（Pang，Lee和Vaithyanathan，2002； Turney，2002）。例如，给定产品评论，系统确定评论是否表达对该产品的总体正面或负面意见。这一任务被称为文档级情感分类。此分析级别假设每个文档对单个实体（例如，单个产品）表达意见。因此，它不适用于评估或比较多个实体的文档。

• **句子级别：**这一级的任务是判断句子，并决定每个句子表达的是积极的、消极的还是中性的观点。中立通常意味着没有意见。这种分析水平与主观性分类（Wiebe，Bruce和O’Hara，1999）密切相关，主观性分类将表达事实信息的句子（称为客观句子）与表达主观观点的句子（称为主观句子）区分开。但是，我们应该注意，主观性和情感并不等同，因为许多客观的句子都可能暗示观点，例如，“我们上个月买了汽车，而雨刮器掉下来了。”研究人员还分析了clauses(子句?)（Wilson，Wiebe和Hwa，2004年），但clause级别仍然不够，例如，“苹果在这个糟糕的经济中表现很好。”

• **实体和方面级别：**文档级别和句子级别的分析都没有发现人们到底喜欢什么和不喜欢什么。方面级别执行更细粒度的分析。方面级别以前称为特征级别（基于特征的观点挖掘和摘要）（Hu和Liu，2004）。方面级别无需查看语言结构（文档，段落，句子，从句或短语），而是直接查看意见本身。它基于这样一种思想，即观点由情感（正面或负面）和目标（观点的）组成。没有确定目标的观点用途有限。认识观点目标的重要性也有助于我们更好地理解情绪分析问题。例如，尽管“虽然服务水平不是很好，但我仍然喜欢这家餐厅”这句话显然带有肯定的语气，但我们不能说这句话完全是肯定的。实际上，对餐厅的评价是肯定的（强调），而对餐厅的评价则是否定的（未强调）。在许多应用中，观点目标是由实体和/或其不同方面描述的。因此，此分析级别的目标是发现有关实体和/或其方面的观点。例如，“iPhone的通话质量很好，但电池寿命却很短”这句话评估了iPhone（实体）的通话质量和电池寿命两个方面。对iPhone通话质量的看法是正面的，但对电池寿命的看法却是负面的。iPhone的通话质量和电池寿命是人们关注的目标。基于此级别的分析，可以生成有关实体及其方面的意见的结构化摘要，该摘要将非结构化文本转换为结构化数据，并可以用于各种定性和定量分析。文档级别和句子级别的分类已经非常具有挑战性。方面级别甚至更加困难。它由几个子问题组成，我们将在第2章和第5章中讨论这些子问题。

为了使事情变得更有趣和更具挑战性，有两种类型的意见，即常规意见和比较意见（Jindal和Liu，2006b）。常规意见仅表达对特定实体或实体方面的看法，例如“可口可乐的味道很好”，表达了对可口可乐方面的正面看法。比较意见是根据多个实体的某些共同方面对多个实体进行比较，例如“可口可乐比百事可乐更好”，可口可乐和百事可乐根据它们的口味（一个方面）进行比较，并表示对可乐的偏爱（请参阅第8章）。

1.2.2 情感词典及其问题

毫不奇怪，情绪的最重要指标是情绪词，也称为观点词。这些是常用于表达正面或负面情绪的词。例如，好，奇妙和惊人(good, wonderful和amazing)是积极的情感词，而坏，穷和可怕(bad, poor和terrible)是消极情感的词。除了单个单词之外，还有一些短语和成语，例如" cost someone an arm and a leg(花了一大笔钱)"。很明显，情感词和短语有助于情感分析。这种单词和短语的列表称为sentiment lexicon情感词典（或opinion lexicon意见词典）。多年来，研究人员设计了许多算法来编译此类词典。我们将在第6章中讨论这些算法。

尽管情感词和短语对于情感分析很重要，但仅使用它们是远远不够的。问题要复杂得多。换句话说，我们可以说情感词典是必要的，但不足以进行情感分析。下面，我们重点介绍几个问题：

1. 正面或负面情绪词在不同的应用领域中可能具有相反的方向。例如，“suck”通常表示消极情绪，例如“This camera sucks”，但也可能表示积极情绪，例如“This vacuum cleaner really sucks”。

2. 包含情感词的句子可能不表达任何情感。这种现象在几种类型的句子中经常发生。问题（疑问句）和条件句是两种重要的类型，例如，“您能告诉我哪台Sony相机好吗？”和“如果我在商店里能找到好的相机，我会买的。”这两个句子都包含情感词“ good好”，但都没有对任何特定的相机表达肯定或否定的意见。但是，并非所有条件句或疑问句都没有表达情感，如"Does anyone know how to repair this terrible printer"和"If you are looking for a good car, get Toyota Camry."我们将在第4章中讨论这些句子。

3. 带有或不带有情感词的讽刺句子很难处理，例如，“多么棒的汽车！它在两天内停止工作。”嘲讽在消费者对产品和服务的评论中并不常见，但在政治讨论中却很常见，这使政治观点难以处理。我们将在第4章中讨论这些句子。

4. 许多没有情感词的句子也可能暗示观点。这些句子中有许多实际上是客观的句子，用于表达某些事实信息。同样，这种句子有很多类型。这里我们仅举两个例子。句子“该洗衣机使用大量水”表示对洗衣机的消极情绪，因为它使用了大量资源（水）。句子“在床垫上睡了两天之后，中间形成了一个山谷”，表示对该床垫持否定态度。这句话是客观的，因为它陈述了一个事实。所有这些句子都没有情感词。

这些问题都提出了重大挑战。实际上，这些只是一些困难的问题。更多内容将在第5章中讨论。

1.2.3 自然语言处理问题

最后，我们不要忘记情感分析是一个自然语言处理问题。它涉及NLP的方方面面，例如，共指消解，否定处理和词义消歧，这增加了更多的困难，因为这些在NLP中尚未解决。但是，认识到情感分析是一个高度受限的NLP问题也是很有用的，因为系统不需要完全理解每个句子或文档的语义，而只需要理解它的某些方面，即正面或负面情感和它们的目标实体或主题。从这个意义上说，情感分析为NLP研究人员提供了一个很好的平台，可以在NLP的各个方面取得切实的进展，并有可能产生巨大的实际影响。在本书中，我将介绍核心问题和当前的最新算法。我希望利用这本书吸引NLP其他领域的研究人员共同努力，共同解决这一问题。

在本书出版之前，有一本由Shanahan，Qu和Wiebe（2006）编辑的多作者著作《Computing Attitude and Affect in Text: Theory and Applications》，以及Pang和Lee（2008）的综述文章/书 。这两本书都有出色的内容。然而，它们是在该领域发展较早的时候出版的。从那时起，由于过去5年的积极研究，取得了重大进展。

现在，研究人员还对问题的整个范围，结构和核心问题有了更好的了解。已经提出了许多新的（正式的）模型和方法。研究不仅已经深化，而且也大大扩展了。该领域的早期研究主要集中在对文档或句子中表达的情感或主观性进行分类，这对于大多数现实应用而言是不够的。实际应用中经常需要更深入，更细粒度的分析。由于该领域的成熟，本书也以结构化的形式编写，这意味着现在可以更好地定义问题，并且围绕该定义统一了不同的研究方向。

1.3 垃圾信息检测

社交媒体的一个关键功能是，它使世界各地的任何人都可以自由表达自己的观点和见解，而无需透露自己的真实身份，也不用担心会遭受不良后果。因此，这些意见非常有价值。但是，这种匿名性也有代价。它使具有隐藏议程或恶意意图的人可以轻松地对该系统进行游戏，以给人以为他们是公众的独立个体的印象，并发布虚假的意见以推销或诋毁目标产品、服务、组织或个人，而不披露其真实意图或秘密为其工作的个人或组织。这些人被称为意见散布者，他们的行为被称为意见散布（Jindal和Liu，2008； Jindal和Liu，2007）。

垃圾信息已成为一个主要问题。除了在评论和论坛讨论中发表虚假观点的个人之外，还有一些商业公司正在为他们的客户撰写虚假评论和虚假博客。新闻报道了几起引人注目的假评论事件。检测此类垃圾邮件活动，以确保Web上的意见是有价值信息的可信任来源很重要。与提取正面和负面意见不同，意见垃圾信息检测不仅是NLP问题，还涉及对人们发布行为的分析。因此，这也是一个数据挖掘问题。第10章将讨论当前的最新检测技术。

1.4 未来发展

在本书中，我们探讨了这个有趣的话题。虽然本书处理的是通常称为非结构化数据的自然语言文本，但我还是采用结构化的方法来编写本书。下一章将正式定义问题，使我们能够看到问题的结构。从定义中，我们将看到情感分析的关键任务。在随后的章节中，将介绍执行任务的现有技术。由于我的研究、咨询和创业经验，本书不仅讨论了关键的研究概念，而且从应用的角度看待技术，以帮助该领域的从业者。但是，我必须道歉的是，在谈到工业系统时，我不能透露公司或其系统的名称，部分原因是我的咨询/商业协议，部分原因是因为情感分析市场发展迅速，而我当您阅读本书时，您可能知道他们的算法已经更改或改进。我不想为他们和我制造麻烦。

尽管我试图涵盖本书中的所有主要思想和技术，但这已成为不可能完成的任务。在过去的十年中，有关该主题的大量研究论文（可能超过1000篇）已经发表。尽管大多数论文发表在NLP会议和期刊上，但许多论文也发表在数据挖掘，Web挖掘，机器学习，信息检索，电子商务，管理科学和许多其他领域。因此，几乎不可能写一本涵盖每篇发表论文中思想的书。如果您的好主意或技巧被忽视了，我感到抱歉。但是，在Morgan＆Claypool的综合讲座系列中出版此书的一个主要优点是，由于印刷是按需的，因此作者可以始终向该书中添加新的或更新的材料。因此，如果您发现没有讨论一些重要的想法，请随时让我知道，我将很高兴加入其中。

最后，以下领域的背景知识将对阅读本书非常有帮助：自然语言处理（Indurkhya和Damerau，2010； Manning和Schutze，1999），机器学习（Bishop，2006； Mitchell，1997），数据挖掘（Liu） ，2006和2011）以及信息检索（Manning，Raghavan和Schutze，2008）。