情感的種類分為什么情感的種類可分為 _生活百科

隨著計算機科學的不斷發展，以及社會對個性化人機交互需求的不斷增強，情感計算在人機交互中的重要性日益凸顯，基于情感理解與表達的人機交互研究也受到了各領域的廣泛關注。情感計算對人的感知、推理、決策、規劃、創造、社會互動等許多活動起著不可或缺的作用。基于情感計算的研究在行為分析科學中具有重要意義。情感計算大致可分為單模態情感計算和多模態情感計算，如下圖所示。
單模態情感計算單模態情感計算主要包含文本、語音、視覺、生理信號等四種模態，下面將分別介紹其技術情況。
文本情感計算
文本就是人與人之間的交流因時空等限制而借助的媒介，也是記錄信息的一種載體。文本記錄了人的思維意識活動，其中一些文本一定帶有情感傾向，那么對這部分信息的挖掘、研究和應用就是文本情感計算的主要內容。
（1）研究背景和發展現狀
由于機器無法直接理解語言文字這種非結構化的數據，自然語言處理（Natural LanguageProcessing，NLP）應運而生。NLP 有兩個核心任務：一是自然語言理解（Natural Language Understanding，NLU）通過語法分析、句法分析與語義分析對句子、段落、語篇等長文本進行理解；二是自然語言生成（Natural Language Generating，NLG）將非語言格式的數據轉換成人可以理解的語言格式。NLP建立了人類與計算機溝通的橋梁。由于數據的龐雜，人工分析成本高且耗時耗力，運用大數據技術和人工智能技術對文本的情感進行分析可以極大地提高效率和準確率。因此，文本情感計算應運而生且成為 NLP 的一大研究熱點。
目前，文本情感計算屬于計算機語言學的研究范疇，主要研究情感狀態與文本信息的對應關系。文本情感的計算主要由文本情感特征標注、文本情感特征提取算法和文本情感分類技術組成。
計算機無法識別文本，需要先將文本轉為向量再進行分析。目前，常見的文本生成向量的方法有 CNN、RNN、長短期記憶網絡（Long Short-TermMemory，LSTM）等。
快速啟動RealOnePlayer的技巧：在Real的文件夾下搜索netid.smi和 getmedia.ini將其改名為：betid_bak.smi和getmedia_bak.ini，然后再打開試試，是不是快很多.
（2）數據集
NLP 數據集主要按語言種類進行生產。中文文本分類領域的相關數據集有根據新浪新聞 RSS 訂閱頻道 2005—2011 年的歷史數據篩選過濾生成的THUCNews 數據集、根據新浪微博生成的 weibo_senti_100k 和 simplifyweibo_4_moods、今日頭條新聞文本分類數據集、搜狗實驗室開發的全網新聞數據（SogouCA）和搜狐新聞數據（SogouCS）、騰訊云消息隊列 CKafka 上線的數據中心接入的服務模塊 DataHub 等。英文文本分類領域的相關數據集有亞馬遜評論數據集（Amazon Reviews Dataset）、安然電子郵件數據集（Enron Email Dataset）、包含 5萬余條電影評論的影評數據集（IMDB Dataset）、大型英文詞匯數據庫 WordNet 等。
（3）主要方法
文本情感分析的首要研究問題是情感分類，當前主流的情感分類方法大致有五種：通過構建帶有情感傾向的情感詞典再基于情感詞典進行比較分析的方法、基于機器學習的方法、基于情感詞典機器學習的方法、基于弱標注的方法、基于深度學習的方法。
基于傳統機器學習的情感分析方法主要有三類：監督學習、半監督學習和無監督學習。監督學習本質上是分類，通過已有的訓練樣本去訓練以獲得一個最優模型，再將全部的輸入映射為相應的輸出，對輸出進行簡單的判斷從而實現分類目的的方法。常見的監督學習方法有 K 最近鄰（K-NearestNeighbor，KNN）、樸素貝葉斯（Naive Bayes）、支持向量機（Support Vector Machine ， SVM）等。無監督學習沒有任何訓練樣本，需要直接對數據進行建模。常用的無監督學習方法有 K 均值聚類算法（k-means clustering algorithm，K-means）、主成分分析法（Principal Component Analysis，PCA）等。
半監督學習的方法是監督學習與無監督學習相結合的一種學習方法。
上述方法雖然簡單易懂也具有較高的穩定性，但是存在精度不高和依賴人工操作的缺陷。基于深度學習的分析方法彌補了這種缺陷。一方面，神經網絡的引入使模型的預測精度得到提高；另一方面，不需要額外構建字典，從而降低了工作復雜度，減少了對人工操作的依賴。例如， LSTM 能夠對前后文進行連貫性建模、BERT 能夠將全文作為訓練樣本抽取特征。
當人在閱讀一段文本時，都是基于自己已經擁有的對先前所見詞的理解來推斷當前詞的真實含義，也就是說，思想具有持久性。于是，循環神經網絡最先被應用到 NLP 中，保證了信息的持久化和前后信息的連貫性，其中比較經典的 RNN是 LSTM、門控循環單元（Gate Recurrent Unit，GRU）。隨著神經網絡在 NLP 中的應用逐漸深入，研究者發現組合神經網絡與單一的神經網絡相比往往有性能上的提升。例如，在 LSTM 的神經層后面接上捕捉局部特征的 CNN，能夠進一步提高精確度。但是，循環神經網絡也不是完美的，尤其是RNN 的機制會存在長程梯度消失的問題，對于較長的句子也很難寄希望于將輸入的序列轉化為定長的向量而保存所有的有效信息。為了解決由長序列到定長向量轉化而造成的信息損失的問題，注意力機制（Attention Mechanism）被引入。2018 年，谷歌公司推出的預訓練語言理解模型 BERT，通過大量無標注的語言文本進行語言模型的訓練，從而得到一套模型參數，利用這套參數對模型進行初始化，再根據具體任務在現有語言模型的基礎上進行精調來提高模型精度。
（4）問題和挑戰
由于語言的復雜性，目前文本提取仍面臨諸多挑戰，如文本隱含內容的提取、非標準化文本的出現、不同語言的文本情感分析等。鑒于文本情感分析應用范圍的復雜性，模型的適用范圍往往較為單一，很難在多個應用場景下均保持良好的表現。此外，有限的數據集也限制了文本情感分析在多元化場景中的應用。
雖然文本能獨立地表示一定的情感，但是人的交流總是通過信息的綜合表現來進行的。因此，多模態的情感分析更符合人對情感的感知，更符合人表達情感的模式。研究的結論也表明，相比單一的文本情感分析，多模式的情感分析效果更好。根據模態組合的常見方式，由文本情感分析衍生出兩大類多模態分析，即文本音頻分析和視頻文本分析。這也是目前研究者普遍關注的領域。
語音情感計算
（1）研究背景和發展現狀
傳統的語音處理系統僅僅著眼于語音詞匯傳達的準確性，隨著語音識別技術的迅速發展，如何識別語音中的情感已成為語音識別領域新興的研究方向。如今，物與人的交互變得更加頻繁和重要，人與人之間最自然的交互——語音交互，成為物聯網中較為理想的人機交互方案。
語音情感是指語音信號蘊含的說話者的情感，主要表現在兩個部分：一個是語音所包含的語言情感內容，另一個是聲音本身所具有的情感特征，如音調的高低變化等。與語音情感相關的計算稱為語音情感計算。語音情感計算的研究內容包括語音情感識別和語音情感合成。
（2）數據集
語音情感數據集是語音情感計算的重要組成部分。目前，數據集的主要分類方式有兩種：按照情感語音的生成方式、情感的描述模型進行分類。
根據語音的生成方式分類，語音情感數據集可被分為三類，分別是表演型、引導型、自然型；根據情感的描述模型分類，數據集可被分為兩類，分別是離散語音情感數據集、維度語音情感數據集。常用的代表性語音數據集如圖所示。
（3）主要方法
語音情感識別系統對給定語音的潛在情感進行分類的方法包括傳統方法、基于深度學習的方法。傳統的分類器有兩類：一類是基于統計的分類器，另一類是基于判別的分類器。基于統計的分類器主要包括隱馬爾可夫模型（Hidden MarkovModel，HMM）、高斯混合模型（Gaussian MixtureModel，GMM）和 KNN 。基于判別的分類器主要包括人工神經網絡（Artificial Neural Network，ANN）、決策樹（Decision Tree）和 SVM 。深度學習算法由于多層次的結構和高效的結果而被廣泛應用于語音情感識別領域，主要包括深度玻爾茲曼機（Deep Boltzmann Machines，DBM）、遞歸神經網絡、CNN、LSTM，以及引入注意力機制的 LSTM 。
（4）問題和挑戰
語音情感計算雖然具有廣闊的應用前景，但是尚未達到成熟階段。目前，語音情感計算尚待解決的問題包括缺少被廣泛認可的數據集、標注困難、語音的聲學特征與情感映射關系不清等。
視覺情感計算
（1）研究背景和發展現狀
在社交媒體時代，隨著具有拍照功能的移動終端的普及，各類圖片和視頻如潮水般涌入網絡，這為情感計算研究者提供了海量數據，人們嘗試用合適的模型來識別圖片和視頻所承載的情感信息。
目前，視覺情感計算的研究熱點主要包括基于面部表情的情感識別研究和基于肢體動作的情感識別研究。基于面部表情的情感識別研究主要通過傳統計算機視覺以及深度學習來理解面部特征和情感；基于肢體動作的情感識別主要通過人體肢體動作來獲取人的情感信息。肢體動作與面部相比具有更大的自由度，這使得它能夠通過更豐富的方式來表達更復雜的情緒甚至意圖，也有助于使機器具有理解更豐富、更細微情感的能力，進而挖掘個體內心更深層次的情感和意圖。
（2）數據集
視覺情感數據集可以分為圖片情感數據集和視頻情感數據集。
（3）主要方法
汽車保養燈亮了怎么消除？保養燈歸零大全圖解為了保證汽車正常行駛，廠家在生產汽車的時候，設置了一些提醒指示燈，到了一定行駛里程后，車主就要及時更換配件。
視覺情感計算主要研究從視覺信息感知和理解人的情緒，可以通過傳統機器學習方法與基于深度學習的方法對視覺情感計算進行研究。
傳統機器學習方法主要有方向梯度直方圖、支持向量機、K 最近鄰、隨機森林等。但是，當面對爆炸式增長的視覺內容數據量時，傳統機器學習方法難以快速、準確地處理多媒體內容數據的伸縮性、泛化性問題。
近年來，深度學習在許多領域均取得不錯的成績，尤其是在圖片分類、圖片識別、圖片檢索等計算機視覺領域。視覺情感計算的深度學習方法與傳統方法相比，具有更高的魯棒性與準確性，因此被廣泛應用于基于視覺的情感計算與分析領域。圖片情感計算方法以卷積神經網絡方法為代表，主要通過深度學習從大量圖像數據中自動學習有助于情感分類的有效特征或強特征，以進一步提升圖片情感計算或分類能力。視頻情感計算方法以循環神經網絡為主，該深度學習方法擅長處理視頻等序列輸入，被廣泛應用于計算機視覺任務。
（4）問題和挑戰
視覺情感計算在實際應用中面臨不少難題。一是語義鴻溝。語義鴻溝是由于計算機獲取圖片的視覺信息與用戶對圖片理解語義信息的不一致而導致的偏差。二是情感表述的準確性問題和標注困難問題。
生理信號情感計算
（1）研究背景和發展現狀
隨著高精確度、小型、便攜和低成本傳感器的普及，基于生理信號的情感計算快速發展。廣義而言，所有身體變化都可以視作生理信號。情感計算研究最常用的生理特征是腦電、心率和心率異變以及皮膚電流反應。
（2）常用生理信號
① 腦電信號
腦電信號與其他生理信號相比，具有直接客觀、難以偽裝、容易量化、特征多元的特點，并且與情感具有直接相關性，能夠表現出更高的情感識別精度，因此成為基于生理信號的情感識別中應用最廣泛的信號之一。在腦電信號預處理中最重要的過程是去除偽跡和噪聲，剝離與情感相關的腦電活動，從而提取多種特征：如事件相關電位（ERP）、信號統計量、不穩定指數、高階交叉特征、分形維數等時域特征；如功率譜密度、微分熵等頻域特征；如事件相關去同步（ERS）、事件相關同步（ERD）、時頻微分熵等時頻域特征；非線性動力學特征；空域特征。最后，將多種特征帶入分類器進行分類。卷積神經網絡、深度信念網絡、深度殘差網絡等深度學習的方法也被用于基于腦電信號的情感分類。
② 眼動信號
眼動信號主要通過眼動追蹤技術獲取，記錄人的眼球運動在時間和空間上的數據。這些數據主要包括注視時間、注視位置、瞳孔大小、眼電圖信號等，其中眼電圖信號是在眼動信號中應用比較廣泛的信號。眼電圖信號一般通過 Hjorth 參數、離散小波變換等多種方式提取特征，并將特征帶入分類器中進行分類。深度學習算法也逐步被應用于特征提取、特征融合、情感分類等多個情感識別過程，以提升情感計算的效果。
③ 肌電信號
肌電信號主要通過電極檢測肌肉收縮時產生的表面電壓，從而獲取肌電圖數據。肌電信號數據集主要包括 DEAP、DECAF、HR-EEG4EMO、BioVid Emo DB 等。肌電信號的特征一般包含時域和時頻域兩個方面。時域主要提取肌電信號的均值、標準差、最大值、最小值等統計學的特征。時頻域主要是通過小波變換對肌電信號進行分解，提取各層小波系數的均值、標準差等。肌電信號的預處理包括濾波、降噪等，通過基于時域、頻域以及二者相結合等進行特征提取，利用小波變換、獨立成分分析（ICA）算法等進行特征選擇與降維，從而將特征帶入基于傳統方法的分類器或深度學習算法中進行分類。
④ 皮膚電信號
皮膚電信號是一種常用的情感計算指標，依賴于人體的汗腺分泌，電導率隨著汗液離子填充汗腺而變化。皮膚電導可以在身體的任何地方測量，最常見的電極放置位置是在手的中指和食指末梢部位。皮膚電導水平（Skin Conductance Level，SCL）和皮膚電導反應（Skin Conductance Response，SCR）是兩個重要的情感計算特征。皮膚電信號數據集主要包括 CASE、DEAP、HR-EEG4EMO、BioVid EmoDB 等。皮膚電信號的預處理包括降噪、歸一化等，通過提取統計特征或算法優化的方式進行特征提?。?最后將特征放入合適的分類器中進行情感計算。
⑤ 心電信號
心電信號（ECG）是人體心臟搏動時心肌細胞產生的動作電位綜合而成的。心電信號能夠反映心臟的活動，情緒的變化也會直接導致心臟活動的變化，因此心電信號也能運用于情感識別領域。心電特征主要包括 PQRST（心電圖的 5 個波形）、心率、心率變異性（如 SDNN、SDANN、rMSSD、pNN50 等），公開的心電信號情感數據集較少，常用的是德國奧格斯堡大學情感生理數據集和 HR-EEG4EMO 數據集。
⑥ 呼吸信號
呼吸是人體重要的一個生理過程，隨著情感的起伏波動，呼吸系統的活動在速度和深度上會有所改變。因此，通過對呼吸信號的研究，可以用于判斷個體情感狀態的變化。常用的呼吸信號特征包括呼吸頻率、平均呼吸水平、連續呼吸之間的最長和最短時間、深呼吸和淺呼吸、相鄰呼吸波峰的間期、呼氣幅度的一階差分、二階差分等。常用的數據集是 DEAP 數據庫、HR-EEG4EMO 數據集和MIT 情感生理數據集。
（3）問題與挑戰
基于生理信號的情感識別技術雖然已經擁有諸多成功案例，但是存在許多未解決的科學問題。首先是信號的采集不便。測量生理信號是建立生理情感計算系統的第一步，而用于檢測信號的傳感器卻極大地受限于場地、環境、可操作性等，也面臨可穿戴性差和計算能力弱等困擾。其次是生理信號的通用性較低。例如，隨著年齡的變化或某些疾病的產生，生理信號數據會產生差異，即使是同一個人，隨著體力活動、交談或姿勢的變換，生理信號也會不同。這并不與情感的變化直接相關。再者是情感標注不精確、數據難以窗口化、采樣繁瑣、數據的處理與計算難度大，以及非情感和情感對生理影響存在多對一映射、用戶隱私泄露等問題。
多模態情感計算雖然人臉表情、肢體動作、語音等均能獨立地進行情感理解和表達，但是人的相互交流總是通過不同模態信息的綜合表現來進行的。多模態情感分析可以將不同模態之間的信息進行互補并用于消歧，使情感分析更準確，具有更高的魯棒性，也更貼合人類的自然表達。這讓多模態情感計算成為當下人工智能領域最熱門的話題之一。
研究背景和發展現狀
單模態的信息量不足且容易受到外界各種因素的影響，如面部表情容易被遮擋、語音容易受噪聲干擾等。此外，當個體主觀上對情感信號加以掩飾或者單一通道的情感信號受到其他信號影響時，情感分析性能就會明顯下降。人的情感通常以多種模態的方式呈現，大腦在整合多感官信息時存在多階段融合的現象。多模態情感分析能夠有效利用不同模態信息的協同互補來增強情感理解與表達能力。引入多模態情感計算是提高模型魯棒性等性能以及優越性的關鍵。
目前，對多模態情感計算的研究主要集中在對情感識別和理解的方法上。多模態情感計算的發展趨勢集中體現在四個方面：①融合語義信息多尺度對情感進行準確地理解，從多個維度進行多模態情感分析；②提高在復雜環境下情感計算的魯棒性，實現在非協作開放模式下，面向高維碎片化開源數據，實現目標對象情感狀態的精準識別；③與預訓練及多任務聯合訓練等方法結合，實現在更多場景下的多模態情感計算；④探索通用的多模態情感計算模型，通過適配多場景應用，實現多模態情感計算應用零成本遷移。
多模態數據集
針對多模態情感計算的迫切需求，美國卡內基梅隆大學提出了一個大規模的多模態對話情感計算數據集 CMU-MOSEI 。CMU-MOSEI 包含了視頻文本、用協同語音分析庫技術（COVAREP）抽取的聲學特征等。在標簽方面， CMU-MOSEI 數據集不僅具有情感標簽，而且對情感的強弱進行了標注，從而可以支撐細粒度的情感分析任務。目前，主流的生理信號類多模態情感計算資源主要采用音頻、視頻刺激方法誘發情緒，同步采集多模態生理信號，進而分析不同情緒下中樞神經系統和自主神經系統的反應，以實現基于多模態生理信號的情感識別。典型計算資源包括 DEAP、DECAF、HR-EEG4EMO 等數據集，包含腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等信號。實驗被試者根據自身感受從喚醒度、效價、偏好、支配度和熟悉度等維度進行評分。由于被試個體的性別、年齡等因素均會對情緒激發產生重要影響，考慮引入相關人口統計學信息并建模是非常必要的。
多模態融合策略
目前，新興研究方法大多基于多模態情感特征及融合算法創新，以提升情感分類的準確率。在情感計算中，每個模塊所傳達的人類情感的信息量大小和維度不同。在人機交互中，不同的維度還存在缺失和不完善的問題，因此情感計算應盡可能從多個維度入手，將單一不完善的情感通道補上，最后通過多結果擬合來判斷情感傾向。
在模態融合方面，多模態情感計算可分為模型無關和模型依賴兩種路線。模型無關包括特征級融合（前期融合）、決策級融合（后期融合）和混合式融合。特征級融合主要先通過構建特征集合或混合特征空間，再送入分類模型進行分類決策。決策級融合關鍵在于找出不同模態在決策階段的可信程度，再進行協調、聯合決策。混合式融合包含上述兩種融合。模型依賴的方法為多模態融合設計了特殊結構，基于核函數的融合和基于圖的融合常用于淺層模型，基于神經網絡的融合、基于張量的融合、基于注意力機制的融合等則多用于深層模型。模型級融合可以將不同模態特征分別輸入不同模型結構再進一步提取特征。決策級融合與特征級融合相比，更容易進行，但關鍵是要探究各個模態對情緒識別的重要程度。然而，模型級融合并不需要重點去探究各模態的重要程度，而是根據模態特性需要建立合適的模型，聯合學習關聯信息。總之，模型級融合相較于決策級融合和特征級融合最大的特點在于靈活地選擇融合的位置。近年來，有學者提出了多階段多模態情感融合，即先訓練一個單模態模型，將其隱含狀態與另一個模型特征拼接得到雙模態模型并進行再訓練，以此類推，得到多模態模型。
問題與挑戰
解決多模態情感計算問題需要更豐富的模態信息積累，以及不同模態之間的細粒度對齊，這無疑對多模態信息的提煉與整合提出了更高的要求。同時，受情感信息捕獲技術的影響，以及標記困難的問題，建立高質量多模態數據集是當下的主要挑戰之一。傳統多模態學習范式對特征之間的關聯關系信息和特征的高階信息的關注不夠，而深度多模態學習范式則缺乏大規模的情感數據資源，有關多模態特征融合的情感理解模型研究還有待深入，如融合語義信息進行多尺度情感準確理解、提高復雜環境下情感計算的魯棒性、探索通用的多模態情感計算模型等。這些技術的完善將進一步推動多模態情感計算的研究與發展。
【來源：之江實驗室】
【情感的種類分為什么情感的種類可分為】鮑魚，命喪優勢：鮑魚肉質鮮美，營養豐富，是珍貴的四大海味之一。由于天然產量很少，鮑魚的價格尤其昂貴。在利益的驅動下，人們對鮑魚進行捕捉。當然，鮑魚不會束手就擒，它自有一套保護自己的辦法。鮑魚的軟體部分，有一個寬大扁平的肉足。靠著這粗大的足，鮑魚爬行于礁...

情感的種類分為什么 情感的種類可分為

猜你喜歡

情感的種類分為什么情感的種類可分為