Аналіз тональності тексту

1. Класифікація за бінарної шкалою [ правити | правити код ]
2. Класифікація за многополосной шкалою [ правити | правити код ]
3. Системи шкалювання [ правити | правити код ]
4. Суб'єктивність / об'єктивність [ правити | правити код ]
5. Підходи до класифікації тональності [ правити | правити код ]
6. WordNet-Affect [ правити | правити код ]
7. SentiWordNet [ правити | правити код ]
8. SenticNet [ правити | правити код ]
9. Методи, засновані на правилах і словниках [ правити | правити код ]
10. Машинне навчання з учителем [ правити | правити код ]
11. Машинне навчання без вчителя [ правити | правити код ]
12. Метод, заснований на теоретико-графових моделях [ правити | правити код ]
13. Оцінка якості аналізу тональності [ правити | правити код ]

Аналіз тональності тексту (сентимент-аналіз, англ. Sentiment analysis, англ. Opinion mining [1] ) - клас методів контент-аналізу в комп'ютерної лінгвістики , Призначений для автоматизованого виявлення в текстах емоційно забарвленої лексики і емоційної оцінки авторів (думок) по відношенню до об'єктів, мова про які йде в тексті [⇨] .

Тональність - це емоційне ставлення автора висловлювання до деякого об'єкту (об'єкту реального світу, події, процесу або їх властивостями / атрибутам), виражене в тексті. Емоційна складова, виражена на рівні лексеми або комунікативного фрагмента, називається лексичної тональністю (або лексичним сентиментом). Тональність всього тексту в цілому можна визначити як функцію (в найпростішому випадку суму) лексичних тональностей складових його одиниць ( пропозицій ) І правил їх поєднання [2] .

Основною метою аналізу тональності є знаходження думок в тексті і виявлення їх властивостей. Які саме властивості будуть досліджуватися, залежить вже від поставленого завдання. Наприклад, метою аналізу може бути автор, тобто особа, якій належить думка.

Думки діляться на два типи [3] :

• безпосереднє думку;
• порівняння.

Безпосереднє думку містить висловлювання автора про один об'єкт. Формальне визначення безпосереднього думки виглядає так: "безпосереднім думкою називається кортеж з п'яти елементів (e, f, op, h, t) [2] , Де:

• (E ntity, f eature) - об'єкт тональності e (сутність, щодо якої висловлюється автор) або його властивості f (атрибути, частини об'єкта);
• o rientation або p olarity - тональна оцінка (емоційна позиція автора щодо згаданої теми);
• h older - суб'єкт тональності (автор, тобто кому належить ця думка);
• момент часу t ime, коли було залишено думку.

Приклади тональних оцінок [4] :

• позитивна;
• негативна;
• нейтральна.

Під «нейтральної» мається на увазі, що текст не містить емоційного забарвлення. Також можуть існувати й інші тональні оцінки

[⇨]

.

У сучасних системах автоматичного визначення емоційної оцінки тексту найчастіше використовується одновимірний емотивно простір: позитив або негатив (добре чи погано). Однак відомі успішні випадки використання і багатовимірних просторів [5] [6] .

Основним завданням в аналізі тональності є класифікація полярності даного документа, тобто визначення, чи є висловлена ​​думка в документі або пропозиції позитивним, негативним або нейтральним. Більш розгорнуто, «поза полярності» класифікація тональності виражається, наприклад, такими емоційними станами , Як «злий», «сумний» і «щасливий».

Класифікація за бінарної шкалою [ правити | правити код ]

Полярність документа можна визначати по бінарної в шкалі. У цьому випадку для визначення полярності документа використовується два класи оцінок: позитивна чи негативна. Одним з мінусів даного підходу є те, що емоційну складову документа не завжди можна однозначно визначити, тобто документ може містити ознаки як позитивної, так і негативної оцінки [4] . Ранні роботи в цій галузі включають в себе обов'язки Терні [7] і Панга [8] , Які застосовують різні методи розпізнавання полярності оглядів товару і відгуків про фільми відповідно. Це приклад роботи на рівні документа.

Класифікація за многополосной шкалою [ правити | правити код ]

Можна класифікувати полярність документа по многополосной шкалою, що було зроблено Панг [9] і Снайдером [10] (серед інших). Ними була розширена основне завдання класифікації кіноотзивов від оцінки «позитивний або негативний» в сторону прогнозування рейтингу по 3-х або 4-бальною шкалою. У той же час Снайдер провів поглиблений аналіз оглядів ресторанів, пророкуючи рейтинги їх різних властивостей, таких як їжа і атмосфера (за 5-бальною шкалою) [10] .

Системи шкалювання [ правити | правити код ]

Іншим методом визначення тональності є використання систем шкалювання, за допомогою чого словами, зазвичай пов'язаних з негативними, нейтральними або позитивними тональностями, ставляться відповідно числа за шкалою від -10 до 10 (від самого негативного до самого позитивного). Спочатку фрагмент неструктурованого тексту досліджується за допомогою інструментів і алгоритмів обробки природної мови , А потім виділені з цього тексту об'єкти і терміни аналізуються з метою розуміння значення цих слів. [11] .

Суб'єктивність / об'єктивність [ правити | правити код ]

Інша дослідницький напрямок - це ідентифікація суб'єктивності / об'єктивності [12] . Це завдання зазвичай визначається як віднесення даного тексту в один з двох класів: суб'єктивний або об'єктивний . Ця проблема іноді може бути більш складною, ніж класифікація полярності: суб'єктивність слів і фраз може залежати від їх контексту , А об'єктивний документ може містити в собі суб'єктивні пропозиції (наприклад, новинна стаття, що цитує думки людей). Більш того, як згадував Су [12] , Результати більшою мірою залежать від визначення суб'єктивності, вживати в рамках анотації текстів. Як би там не було, Панг [13] показав, що видалення об'єктивних пропозицій з документа перед класифікацією полярності допомогло підвищити точність результатів.

Модель більш докладного аналізу називається аналізом на основі функції / аспекту. Ця модель посилається на визначення думок чи настроїв, виражених різними функціями або аспектами сутностей, наприклад, у стільникового телефону, цифрової камери або банку. Властивість / аспект - це атрибут або компонент суті, досліджуваної на тональність, наприклад, екран стільникового телефону або ж якість зйомки камери. Ця проблема потребує вирішення низки завдань, наприклад, ідентифікації актуальних сутностей, вилучення їх функцій / аспектів і визначення, чи є думка, висловлена ​​по кожній функції / аспекту, позитивним, негативним або нейтральним. Більш докладні дискусії з цього приводу можуть бути знайдені в довіднику по NLP , В розділі «Аналіз тональності і суб'єктивності» [14] .

Підходи до класифікації тональності [ правити | правити код ]

Комп'ютери можуть виконувати автоматичний аналіз цифрових текстів, використовуючи елементи машинного навчання , Такі як прихований семантичний аналіз, метод опорних векторів , « мішок слів »І семантична спрямованість в цій області [7] . Більш складні методи намагаються визначити володаря настроїв (тобто людини) і мета (тобто сутність, щодо якої виражаються почуття). Щоб визначити думку з урахуванням контексту, використовують граматичні відносини між словами [15] .

Відносини граматичної пов'язаності отримують на основі глибокої структурної розбору тексту. Аналіз тональності може бути розділений на дві окремі категорії [16] :

• ручний (або аналіз тональності експертами);
• автоматизований аналіз тональності [⇨] .

Найбільш помітні відмінності між ними лежать в ефективності системи і точності аналізу. У комп'ютерних програмах автоматизованого аналізу тональності застосовують алгоритми машинного навчання, інструменти статистики і обробки природної мови, що дозволяє обробляти великі масиви тексту, включаючи веб-сторінки , Онлайн-новини, тексти дискусійних груп в мережі Інтернет, онлайн-огляди, веб-блоги та соціальні медіа .

існує ряд тезаурусов , Спеціально розмічених з урахуванням емоційної складової. Такі словники, описані далі, необхідні комп'ютерним програмам при аналізі тональності тексту.

WordNet-Affect [ правити | правити код ]

Прикладом для розробки WordNet-Affect послужило багатомовне розширення WordNet , Назване WordNet Domain [17] . У розширенні WordNet Domain кожному сінсету приписано не менше однієї послід предметної області (Англ. «Domain label»), наприклад: спорт, політика, медицина. Всього в ієрархічно організовану структуру було включено близько двохсот предметних послід [18] .

WordNet-Affect - це семантичний тезаурус, в якому поняття, пов'язані з емоціями ( «емоційні концепти», англ. «Affective concepts»), представлені за допомогою слів, що володіють емоційною складовою ( «емоційні слова», англ. «Affective words») [17] . WordNet-Affect складається з такого підмножини сінсетов [19] WordNet, де кожен сінсет, відповідний «емоційного концепту», може бути представлений за допомогою «емоційних слів» [17] .

Таким чином, WordNet-Affect був створений на основі WordNet для англійської мови (також існують версії WordNet-Affect і для інших мов [20] ) Шляхом вибору і віднесення наборів синонімів (сінсетов) до різних емоційних понять. Зокрема, сінсети дієслів, іменників, прикметників, прислівників, які представляють собою опис емоцій, були вручну розмічені за допомогою спеціальних емоційних міток (affective labels, A-labels) [21] . Ці емоційні мітки характеризують різні стани, що виражають настрої, емоційні відгуки або ситуації, які викликають емоції [21] . Приклади таких емоційних міток наведені в наступній таблиці [22]

Емоційна мітка Приклад Емоція (emotion) ім. гнів # 1, гл. боятися # 1 (fear) Настрій (mood) ім. ворожість # 1 (animosisy), дод. люб'язний # 1J (amiable) Особливість (trait) ім. агресивність # 1 (aggressiveness), дод. змагається # 1 (competitive) Когнітивний стан (cognitive state) ім. замішання # 2 (confusion), дод. вражений # 2 (dazed) Фізичний стан (physical state) сущ.хворь # 1 (llness), дод. видохнувшійся # 1 (all in) гедонических сигнал (gedonic signal) ім. біль # 3 (hurt), ім. страждання # 4 (suffering) Ситуації, що викликають емоції (emotion-eliciting situation) ім. незручність # 3 (awkwardness), ім. безпеку # 1 (out of danger) Емоційні відгуки (emotional responses) ім. холодний піт # 1 (cold sweat), гл. тремтіти # 2 (tremble) Вчинки (behaviour) ім. злочин # 1 (offense), дод. загальмований # 1 (inhibited) Ставлення, позиція (attitude) ім. нетерпимість # 1 (intolerance), ім. оборонна позиція # 1 (defensive) Почуття (sensation) ім. холод # 1 (coldness), гл. відчувати # 3 (feel)

Також в WordNet-Affect використовуються додаткові емоційні мітки для того, щоб розділяти сінсети відповідно до їх емоційної валентності. Для цього визначаються чотири додаткові емоційні мітки: позитивна, негативна, неоднозначна і нейтральна [21] . Перша відповідає позитивним емоціям, які визначаються як емоційні стани, що характеризуються наявністю позитивних гедонистических сигналів (або задоволення). Вона включає в себе такі сінсети як радість # 1 або захоплення # 1. Аналогічно негативна мітка ідентифікує негативні емоції, які характеризуються негативними гедоністичними сигналами (або болем), наприклад, гнів # 1 або печаль # 1. Сінсети, що представляють емоційні стани, валентність яких залежить від семантичного контексту (наприклад, здивування # 1) позначаються як неоднозначні. Нарешті, сінсети, що визначають психологічні стани і завжди розглядаються як неоднозначні, але при цьому не характеризуються валентністю, є нейтральними [21] .

Сінсети, помічені емоційними мітками, додатково переразмечаются шістьма емоційними категоріями: радість, страх, гнів, сум, відраза, подив. Таким чином, фізична структура WordNet-Affect складається з шести файлів: anger.txt, disgust.txt, fear.txt, joy.txt, sadness.txt, surprise.txt, де кожен файл являє собою опис будь-якої категорії [23] . На даний момент WordNet-Affect містить 2874 сінсетов і 4787 слів [24] .

вчені Технічного університету Молдови перевели сінсети WordNet-Affect з англійської на російську та румунську мови, виконали їх вирівнювання: англійська - румунський - російський [25] . Ресурс доступний онлайн для дослідницьких цілей [23] .

SentiWordNet [ правити | правити код ]

SentiWordNet - це лексичний семантичний тезаурус, перша версія якого була розроблена в 2006 році. [26] На даний момент самою останньою версією SentiWordNet є SentiWordNet 3.0 [26] , Використання якої дає більш ніж 20% приріст точності в порівнянні з першою версією [26] .

Дана система є результатом процесу автоматичного анотування кожного WordNet сінсета (набору синонімів) відповідно до його ступенем позитивності, негативності і об'єктивності [27] . Таким чином, кожному синонімічному ряду з WordNet присвоюється три чисельних оцінки, де кожна з цих оцінок відповідно визначає об'єктивну, позитивну або негативну складову сінсета [26] . Кожна з цих оцінок приймає значення в інтервалі від 0 до 1, і в сумі вони дають 1 (одиницю), тобто кожна з цих оцінок може мати нульове значення [26] . Терми, які можуть мати різні значення, можуть мати і різні значення оцінок [26] .

Процес навчання SentiWordNet складався з двох кроків: [28] .

1. На першому кроці розробки системи були використані методи машинного навчання зі слабким ( частковою участю вчителя (Semi-supervised learning)) для первинного наповнення. Спочатку було вибрано невелике безліч сінсетов, якому вручну були присвоєні чисельні оцінки. Потім на основі цього безлічі було навчено кілька класифікаторів, завданням яких є визначення ступеня позитивності, негативності, і об'єктивності сінсета. Після цього, через отримані моделі класифікаторів, були визначені чисельні оцінки для кожного WordNet сінсета. [28]
2. До даних, отриманих на першому кроці, була застосована модель випадкового блукання (Random-walk step), в результаті роботи якої були встановлені остаточні оцінки об'єктивної, позитивної або негативної складових кожного сінсета. Детальніше про це етапі ви можете прочитати в наступній роботі [29] .

SentiWordNet поширюється по ліцензії CC BY-SA 3.0 . Ця ліцензія дозволяє вільно використовувати SentiWordNet в комерційних і наукових цілях за умови вказівки імен авторів. [27] Будь-який бажаючий може самостійно завантажити файли SentiWordNet з офіційного сайту безкоштовно. Також можна завантажити невеликий Java клас, який демонструє роботу з SentiWordNet [27] .

SenticNet [ правити | правити код ]

SenticNet є ще один семантичний тезаурус для роботи з наборами емоційних понять. SenticNet є проектом, запущеним в медіа-лабораторії Массачусетського технологічного інституту в 2010 році [30] . З тих пір, проект SenticNet отримав подальший розвиток і застосовується для проектування інтелектуальних додатків, призначених для аналізу емоційної складової тексту і охоплюють спектр завдань від data mining до організації взаємодії людини з комп'ютером [30] . Головним призначенням SenticNet є спрощення процедури машинного розпізнавання концептуальної і емоційної інформації, переданої за допомогою природної мови [30] . Якщо порівняти інші лексичні тезауруси, такі як SentiWordNet і WordNet-Affect з SenticNet, то їх основною відмінністю буде те, що SentiWordNet і WordNet-Affect забезпечують зв'язування слів і емоційних понять на синтаксичному рівні, не дозволяючи виявляти смислове складову, наприклад, «досягнення мети »,« погане почуття »,« відсвяткувати особливий випадок »,« втратити самовладання »або« бути на сьомому небі від щастя », в той час як SenticNet пов'язує поняття на семантичному рівні [31] .

Останньою версією є SenticNet 2 [32] . На відміну від версії SenticNet 1 [32] , Яка просто привласнює значення тональності приблизно 5700 поняттями з корпусу OpenMind, SenticNet 2 забезпечує зв'язування семантики і «sentics» (тобто когнітивної і «емоційної» інформації) з більш ніж 14000 понять і дозволяє проводити більш глибокий і багатогранний аналіз тексту на природній мові по порівняно з SenticNet 1 [32] . SenticNet 2 побудований за допомогою «sentic-обчислень», парадигми, яка використовує методи ІІ і семантичної павутини для поліпшення розпізнавання, інтерпретації та обробки думок на природній мові [32] .

«Sentic-обчислення» представляють собою міждисциплінарний підхід до аналізу тональності тексту на перехресті між «Affect computing» і «common sense computing» [33] . Під терміном «common sense computing» мається на увазі ряд ініціатив, спрямованих на те, щоб в комп'ютерах були представлені знання про все на світі в тому вигляді, як їх розуміє людина, і щоб комп'ютери були в стані будувати логічні висновки на основі цих знань [34] . Такий міждисциплінарний підхід передбачає використання засобів інформаційних і соціальних наук для поліпшення розпізнавання, інтерпретації та обробки думок і почуттів [33] . Зокрема, Sentic обчислення припускають використання методів штучного інтелекту і семантичної павутини - для представлення знань і їх виведення; математику - для вирішення таких завдань як обробка графів і зниження розмірності ; лінгвістику - для дискурсивного аналізу і прагматики; психологію - для пізнавального і емоційного моделювання; соціологію - для розуміння динаміки соціальних мереж і соціального впливу; і нарешті етику - для розуміння природи розуму і створення емоційних машин. «Sentic-обчислення» дозволяють проводити аналіз документів не тільки на рівні цілих сторінок і текстів, а й на рівні пропозицій, що дозволяє оцінювати тексти на більш високому рівні деталізації [33] .

Для того щоб представіті дані SenticNet в машиночитаемом виде, зручне для ОБРОБКИ комп'ютерними програмами, дані кодуються в RDF -тріплеті з Використання синтаксису XML. Приклад XML-файла для концепту «love» можна подивитись на сайті проекту за Наступний ПОСИЛАННЯ [35] . Например, если в процесі роботи додатка зустрінеться таке Поняття, як «день народження», то SenticNet віднесе его до Поняття високого уровня «події» и зв'яже з набором семантично близьким зрозуміти, например, «солодкий», «дружній сюрприз» або « клоун »(Які могут буті вікорістані в якості джерела додаткової / контекстної информации, щоб поліпшіті результати поиска) [36] . SenticNet також зіставляє кожному поняттю «sentic-вектор» з чисельними значеннями таких величин, як Pleasantness (приємність), Attention (увага), Sensitivity (чуйність) and Aptitude (здатність) [37] , А також величину тональності (для таких завдань, як аналіз тональності тексту), основний і додатковий настрій, а також набір емоційно близьких понять, наприклад, «свято» або «особливий випадок» (для таких завдань, як визначення тональності тексту) [36] .

Будь-який бажаючий може вільно скачати SenticNet 2 з офіційного сайту [38] .

Методи, засновані на правилах і словниках [ правити | правити код ]

Цей метод заснований на пошуку емотивної лексики [39] (Лексичної тональності) в тексті по заздалегідь складеним тональним словників і правилам із застосуванням лінгвістичного аналізу. За сукупністю знайденої емотивної лексики текст може бути оцінений за шкалою, що містить кількість негативної та позитивної лексики. Даний метод може використовувати як списки правил, підставляються в регулярні вирази, так і спеціальні правила з'єднання тональної лексики всередині пропозиції. Щоб проаналізувати текст, можна скористатися наступним алгоритмом: спочатку кожному слову в тексті привласнити його значення тональності зі словника (якщо воно присутнє в словнику), а потім обчислити загальну тональність всього тексту шляхом підсумовування значення тональностей кожного окремого пропозиції [39] .

Основною проблемою методів, заснованих на словниках і правилах, вважається трудомісткість процесу складання словника. Для того, щоб отримати метод, що класифікує документ з високою точністю, терміни словника повинні мати вагу, адекватний предметної області документа. Наприклад, слово «величезний» по відношенню до обсягу пам'яті жорсткого диска є позитивною характеристикою, але негативною по відношенню до розміру мобільного телефону. Тому даний метод вимагає значних трудовитрат, так як для хорошої роботи системи необхідно скласти велику кількість правил. Існує ряд підходів, що дозволяють автоматизувати складання словників для конкретної предметної області (наприклад, тематика ресторанів або тематика мобільних телефонів) [40] .

Машинне навчання з учителем [ правити | правити код ]

У наш час найбільш часто використовуваними в дослідженнях методами є методи на основі машинного навчання з учителем. Суттю таких методів є те, що на першому етапі навчається машинний класифікатор (наприклад, байесовский [41] ) На заздалегідь розмічених текстах, а потім використовують отриману модель при аналізі нових документів. Наведемо короткий алгоритм [42] :

1. спочатку збирається колекція документів, на основі якої навчається машинний класифікатор;
2. кожен документ розкладається у вигляді вектора ознак (аспектів), за якими він буде досліджуватися;
3. вказується правильний тип тональності для кожного документа;
4. проводиться вибір алгоритму класифікації і метод для навчання класифікатора;
5. отриману модель використовуємо для визначення тональності документів нової колекції.

Машинне навчання без вчителя [ правити | правити код ]

В основі цього підходу лежить ідея, що терміни, які найчастіше зустрічаються в цьому тексті і в той же час присутні в невеликій кількості текстів у всій колекції, мають найбільшу вагу в тексті. Виділивши ці терміни, а потім визначивши їх тональність, можна зробити висновок про тональності всього тексту [41] .

Метод, заснований на теоретико-графових моделях [ правити | правити код ]

В основі цього методу використовується припущення про те, що не всі слова в текстовому корпусі документа рівнозначні. Якісь слова мають більшу вагу і сильніше впливають на тональність тексту. При використанні цього методу аналіз тональності розбивається на кілька етапів:

1. побудова графа на основі досліджуваного тексту;
2. ранжування його вершин;
3. класифікація знайдених слів;
4. обчислення результату.

Детальніше про пунктах 1 і 2 ви можете прочитати в роботі «Витяг термінів з російськомовних текстів за допомогою графових моделей» Д. А. Усталова [43] .

Для класифікації слів використовується тональний словник, в якому кожне слово співвідноситься оцінка, наприклад «позитивна», «негативна» або «нейтральна». Для отримання кінцевого результату потрібно обчислити значення двох оцінок: позитивної складової тексту і негативною. Для того, щоб знайти позитивну складову тексту необхідно знайти суму тональностей всіх позитивних термінів тексту з урахуванням їх ваги. Значення негативною складовою тексту знаходиться аналогічним чином. Для підсумкової оцінки тональності всього тексту потрібно обчислити відношення цих складових за формулою: T = P / N {\ displaystyle T = P / N} , Де T - підсумкова оцінка тональності, P - оцінка позитивної складової тексту і N - негативна складова тексту. Відповідно до статті Меньшикова [44] , Текст, в якому значення T близьке до одиниці, буде вважатися нейтральною, якщо трохи перевищує 1 - позитивним. Якщо сильно перевершує 1, то сильно позитивним. Зворотне вірно і для текстів негативної тональності [45] . Більш детально даний метод розглянуто в роботах Голдберга [46] і Пономарьової [47] .

Оцінка якості аналізу тональності [ правити | правити код ]

Точність і якість системи аналізу тональності тексту оцінюється тим, наскільки добре вона узгоджується з думкою людини щодо емоційної оцінки досліджуваного тексту. Для цього можуть використовуватися такі метрики як точність и повнота [48] . Формула для знаходження повноти:

R = correctly extracted opinions total number of opinions {\ displaystyle R = {\ frac {\ text {correctly extracted opinions}} {\ text {total number of opinions}}}}

де correctly extracted opinions - вірно певні думки, total number of opinions - загальна кількість думок (як знайдених системою, так і не знайдених) [48] . Точність обчислюється за формулою [48] :

P = correctly extracted opinions total number of opinions found by system {\ displaystyle P = {\ frac {\ text {correctly extracted opinions}} {\ text {total number of opinions found by system}}}}

де correctly extracted opinions - вірно певні думки, total number of opinions found by system - загальна кількість думок знайдених системою [48] . Таким чином, точність висловлює кількість досліджуваних текстів, пропозицій або документів, в оцінці яких думка системи аналізу тональності збіглося з думкою експерта. При цьому, згідно з дослідженням, експерти зазвичай погоджуються в оцінках тональності конкретного тексту в 79% випадків [49] . Отже, програма, яка визначає тональність тексту з точністю 70%, робить це майже так само добре, як і людина.

1. ↑ Pang, Lee, 2008 , P. 6.
2. ↑ 1 2 Bing Liu 2010 , P. 5.
3. ↑ Bing Liu 2010 , P. 2.
4. ↑ 1 2 Pang, Lee, 2008 , P. 16-17.
5. ↑ Bollen, Mao, J.Zeng 2010 .
6. ↑ Pang, Lee, 2008 .
7. ↑ 1 2 Turney, 2002 .
8. ↑ Pang, Lee, Vaithyanathan, 2002 .
9. ↑ Pang, Lee, 2005 .
10. ↑ 1 2 Snyder, Barzilay, 2007 .
11. ↑ Thelwall et al 2010 .
12. ↑ 1 2 Su, Markert, 2008 , P. 1.
13. ↑ Pang, Lee, 2004 , P. 7.
14. ↑ Bing Liu 2010 .
15. ↑ Turney, 2002 , P. 2-3.
16. ↑ Washington .
17. ↑ 1 2 3 Strapparava, 2004 , С. Тисячі вісімдесят три.
18. ↑ Magnini et al, 2000. .
19. ↑ Сінсет (synset) - набір синонімів.
20. ↑ Bobicev 2010 , С. 1.
21. ↑ 1 2 3 4 WordNet-Affect .
22. ↑ Strapparava, 2004 , С. 1086.
23. ↑ 1 2 WordNet-Affect ru .
24. ↑ Strapparava, 2004 , С. 1084.
25. ↑ Bobicev 2010 .
26. ↑ 1 2 3 4 5 6 Stefano Baccianella 2010 , С. 2200.
27. ↑ 1 2 3 SentiWordNet .
28. ↑ 1 2 Stefano Baccianella 2010 , С. 2201.
29. ↑ Stefano Baccianella 2010 , С. 2201-2202.
30. ↑ 1 2 3 SenticNet .
31. ↑ Erik Cambria, 2012 .
32. ↑ 1 2 3 4 Erik Cambria, 2012 , С. 202.
33. ↑ 1 2 3 Erik Cambria, 2012 , С. 203.
34. ↑ Erik Cambria 2009 2009 , С. 1.
35. ↑ SenticNet api love .
36. ↑ 1 2 Erik Cambria, 2012 , С. 205.
37. ↑ SenticNet api .
38. ↑ SenticNet main .
39. ↑ 1 2 Пазельская, 2011 , С. 512.
40. ↑ Chetviorkin, 2012 .
41. ↑ 1 2 Klecovina, Kotelnikov, 2012 , С. 81.
42. ↑ Klecovina, Kotelnikov, 2012 .
43. ↑ Втома, 2012 .
44. ↑ Меньшиков, 2012 , С. 1-3.
45. ↑ Меньшиков, 2012 , С. 3-4.
46. ↑ Goldberg, Zhu, 2006 .
47. ↑ Ponomareva, Thelwall, 2012 .
48. ↑ 1 2 3 4 Nozomi Kobayashi, 2006 , P. 4.
49. ↑ Ogneva .

• Stefano Baccianella. Sentiwordnet 3.0: An enhanced lexical resource for sentiment analysis and opinion mining (Англ.) // Proceedings of LREC: конференція. - 2010. - P. 2200-2204.
• Victoria Bobicev, Victoria Maxim, Tatiana Prodan, Natalia Burciu, Victoria Angheluş. Emotions in words: developing a multilingual WordNet-Affect (Англ.): CICLing 2010 Iaşi , Romania. - 2010. - P. 1-10.
• J.Bollen, H.Mao, X.-J.Zeng. Twitter mood predicts the stock market (Англ.) // JTechnical Report arXiv: 1010.3003, CoRR: журнал. - 2010 року.
• Erik Cambria. SenticNet 2: A semantic and affective resource for opinion mining and sentiment analysis (Англ.) // Proceedings of AAAI FLAIRS: конференція. - 2012. - P. 202-207.
• Erik Cambria, Amir Hussain, Catherine Havasi, and Chris Eckl. Common Sense Computing: from the Society of Mind to Digital Intuition and Beyond (Англ.) // Biometric ID Management and Multimodal Communication Lecture Notes in Computer Science: журнал. - 2009. - P. 252-259.

• Andrew Goldberg, Xiaojin Zhu. Seeing stars when there are not many stars: Graph-based semi-supervised learning for sentiment categorization (Англ.) // Proceedings of the First Workshop on Graph Based Methods for Natural Language Processing, Computer Sciences Department University of Wisconsin-Madison: конференція. - 2006. - P. 45-52.
• Minqing Hu, Bing Liu. Mining and Summarizing Customer Reviews (Англ.) // Proceedings of KDD: конференція. - 2004.
• Nozomi Kobayashi, Ryu Iida, Kentaro Inui, Yuji Matsumoto. Opinion Mining on the Web by Extracting Subject-Aspect-Evaluation Relations (Англ.) // Nara Institute of Science and Technology, Takayama, Ikoma, Nara 630-0192, Japan: конференція. - 2006. - P. 1-6. Читальний зал 2 лютого 2014 року.
• Bing Liu. Sentiment Analysis and Subjectivity // Handbook of Natural Language Processing (Англ.) / Під ред. N. Indurkhya і FJ Damerau. - 2010 року.
• Bernardo Magnini, Gabriela Cavaglia. Integrating subject field codes into WordNet (Англ.): LREC . - 2000.
• Bo Pang, Lillian Lee, Shivakumar Vaithyanathan. Thumbs up? Sentiment Classification using Machine Learning Techniques (Англ.) // EMNLP. - 2002. - P. 79-86.
• Bo Pang, Lillian Lee. A Sentimental Education: Sentiment Analysis Using Subjectivity Summarization Based on Minimum Cuts (Англ.) // Proceedings of the Association for Computational Linguistics (ACL): журнал. - 2004. - P. 271-278.
• Bo Pang, Lillian Lee. Seeing stars: exploiting class relationships for sentiment categorization with respect to rating scales (Англ.) // In Proceedings of the 43rd annual meeting of the Association for Computational Linguistics (ACL): журнал. - University of Michigan, USA, 2005. - No. June 25-30. - P. 115-124.
• Bo Pang, Lillian Lee. Opinion Mining and Sentiment Analysis (Англ.) // Foundations and Trends in Information Retrieval: журнал. - 2008. - No. 2. - P. 1-135.
• Natalia Ponomareva, Mike Thelwall. Do Neighbours Help? An Exploration of Graph-based Algorithms for Cross-domain Sentiment Classi fi cation (Англ.) // Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and omputational Natural Language Learning: конференція. - 2012. - P. 655-665.
• Benjamin Snyder, Regina Barzilay. Multiple Aspect Ranking using the Good Grief Algorithm (Англ.) // Proceedings of the Joint Human Language Technology / North American Chapter of the ACL Conference (HLT-NAACL): конференція. - 2007. - P. 300-307.
• Carlo Strapparava, Alessandro Valitutti. WordNet-Affect: an Affective Extension of WordNet (Англ.): LREC . - 2004. - Vol. 4. - P. 1083-1086. Читальний зал 3 березня 2016 року.
• Fangzhong Su, Katja Markert. From Words to Senses: a Case Study in Subjectivity Recognition (Англ.) // Proceedings of Coling, Manchester, UK. - 2008.
• Thelwall Mike, Buckley Kevan, Paltoglou Georgios, Cai Di, Kappas Arvid. Sentiment strength detection in short informal text (Англ.) // Journal of the American Society for Information Science and Technology: журнал. - 2010. - P. 2544-2558.
• Peter Turney. Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews (Англ.) // Proceedings of the Association for Computational Linguistics. - 2002. - P. 417-424. - arXiv : cs.LG / 0212032 . Читальний зал 3 лютого 2013 року.
• David Yarowsky. Unsupervised Word Sense Disambiguation Rivaling Supervised Methods (Англ.) // Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics. Cambridge: конференція. - тисяча дев'ятсот дев'яносто п'ять. Читальний зал 20 березня 2014 року.
• М. В. Клековкіна, Е.В. Котельников. Метод автоматичної класифікації текстів за тональністю, заснований на словнику емоційної лексики (Рос.) // RCDL-2012, Переславль-Залеський, Росія: конференція. - 2012.
• Ілля Меньшиков. Аналіз тональності тексту російською мовою за допомогою графових моделей (Рос.) // УрФУ, Єкатеринбург, Росія: конференція. - 2012. Читальний зал 15 грудня 2013 року.
• Анна Пазельская, Олексій Соловйов. Метод визначення емоцій у текстах російською мовою // The international conference on computational linguistics and intellectual technologies "Dialogue 2011": конференція. - Москва, 2011. - С. 510 - 522.
• Дмитро втоми. Витяг термінів з російськомовних текстів за допомогою графових моделей (Рос.) // УрФУ, Єкатеринбург, Росія: конференція. - 2012. Читальний зал 2 вересня 2013 року.
• Ilia Chetviorkin, Natalia Loukachevitch. Extraction of Russian Sentiment Lexicon for Product Meta-Domain (Англ.) // COLING: конференція. - 2012.

• Washington, Erin. Human Sentiment Analysis (Англ.). Growing Social Media (14-11-2013). Дата обігу 11 грудня 2013.