Dữ liệu huấn luyện để phân tích tình cảm

Question

Tôi có thể lấy một kho tài liệu đã được phân loại là dương/âm cho tình cảm trong miền công ty ở đâu? Tôi muốn có một kho tài liệu lớn cung cấp đánh giá cho các công ty, như đánh giá của các công ty được cung cấp bởi các nhà phân tích và truyền thông.

Tôi tìm các tập đoàn có bài đánh giá về sản phẩm và phim. Có một kho dữ liệu cho tên miền kinh doanh bao gồm các bài đánh giá của các công ty, phù hợp với ngôn ngữ của doanh nghiệp không?

Answer 1

http://www.cs.cornell.edu/home/llee/data/

http://mpqa.cs.pitt.edu/corpora/mpqa_corpus

Bạn có thể sử dụng twitter, với biểu tượng mặt cười của nó, như thế này: http://web.archive.org/web/20111119181304/http://deepthoughtinc.com/wp-content/uploads/2011/01/Twitter-as-a-Corpus-for-Sentiment-Analysis-and-Opinion-Mining.pdf

Hy vọng rằng sẽ giúp bạn bắt đầu. Có nhiều hơn trong tài liệu, nếu bạn quan tâm đến các công việc phụ cụ thể như phủ định, phạm vi tình cảm, v.v.

Để tập trung vào các công ty, bạn có thể ghép một phương pháp với phát hiện chủ đề hoặc giá rẻ một công ty nhất định. Hoặc bạn có thể nhận được dữ liệu của bạn được chú thích bởi Mechanical Turkers.

Answer 2

Tôi không biết bất kỳ kho lưu trữ nào như vậy đều có sẵn miễn phí, nhưng bạn có thể thử một số unsupervised method trên tập dữ liệu không được gắn nhãn.

Answer 3

Dưới đây là một vài tính năng khác;

http://inclass.kaggle.com/c/si650winter11

http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html

Answer 4

Nếu bạn có một số tài nguyên (các kênh truyền thông, blog, vv) về lĩnh vực bạn muốn khám phá, bạn có thể tạo corpus của riêng bạn. Tôi làm điều này trong python:

• sử dụng Súp đẹp http://www.crummy.com/software/BeautifulSoup/ để phân tích nội dung mà tôi muốn phân loại.
• tách biệt các câu đó có nghĩa là ý kiến ​​tích cực/tiêu cực về các công ty.
• Sử dụng NLTK để xử lý câu này, lời nói tokenize, gắn thẻ POS vv
• Sử dụng NLTK PMI để tính toán bigrams hoặc bát quái mos thường xuyên trong chỉ có một lớp

Tạo corpus là một công việc khó khăn của trước xử lý, kiểm tra, gắn thẻ, v.v., nhưng có lợi ích khi chuẩn bị mô hình cho một miền cụ thể nhiều lần tăng độ chính xác. Nếu bạn có thể nhận được tài liệu đã chuẩn bị sẵn sàng, chỉ cần tiếp tục phân tích tình cảm;)

Answer 5

Bạn có thể nhận được nhiều lựa chọn đánh giá trực tuyến từ Datafiniti. Hầu hết các đánh giá đều có dữ liệu xếp hạng, cung cấp chi tiết hơn về tình cảm hơn là tích cực/tiêu cực. Đây là số list of businesses with reviews và đây là số list of products with reviews.

Answer 6

Đây là danh sách tôi đã viết cách đây vài tuần, từ my blog. Một số bộ dữ liệu này gần đây đã được đưa vào nền tảng NLTK Python.

lexicons

• Opinion Lexicon bởi Bing Liu

  • URL: http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#lexicon
  • GIẤY TỜ: Mining and summarizing customer reviews
  .210
  • GHI CHÚ: Đã bao gồm nền tảng NLTK Python

• MPQA Tính chủ quan Lexicon

  • URL: http://mpqa.cs.pitt.edu/#subj_lexicon
  • GIẤY TỜ: Recognizing Contextual Polarity in Phrase-Level Sentiment Analysis (Theresa Wilson, Janyce Wiebe, and Paul Hoffmann, 2005).

• SentiWordNet

  • URL: http://sentiwordnet.isti.cnr.it
  • GHI CHÚ: Đã bao gồm nền tảng NLTK Python

• Harvard chung Inquirer

  • URL: http://www.wjh.harvard.edu/~inquirer
  • GIẤY TỜ: The General Inquirer: A Computer Approach to Content Analysis (Stone, Philip J; Dexter C. Dunphry; Marshall S. Smith; and Daniel M. Ogilvie. 1966)

• Linguistic Inquiry và Đếm Word (LIWC)

  • URL: http://www.liwc.net

• Vader Lexicon

  • URL: https://github.com/cjhutto/vaderSentiment, http://comp.social.gatech.edu/papers
  • GIẤY TỜ: Vader: A parsimonious rule-based model for sentiment analysis of social media text (Hutto, Gilbert. 2014)

---

Datasets

• MPQA Datasets

  • URL: http://mpqa.cs.pitt.edu

  • GHI CHÚ: Giấy phép công cộng GNU.

    • dữ liệu Chính trị Tranh luận
    • dữ liệu Tranh luận sản phẩm
    • Tính chủ quan Sense Chú thích

• Sentiment140 (Tweets)

  .210
  • URL: http://help.sentiment140.com/for-students
  • GIẤY TỜ: Twitter Sent classification using Distant Supervision (Go, Alec, Richa Bhayani, and Lei Huang)
  • URL: http://help.sentiment140.com, https://groups.google.com/forum/#!forum/sentiment140

• STS-Gold (Tweets)

  • URL: http://www.tweenator.com/index.php?page_id=13
  • GIẤY TỜ: Evaluation datasets for twitter sentiment analysis (Saif, Fernandez, He, Alani)
  • GHI CHÚ: Như Sentiment140, nhưng số liệu là nhỏ hơn và với annotators con người. Nó đi kèm với 3 tập tin: tweets, thực thể (với tình cảm của họ) và một tập hợp tổng hợp.

• xét khách hàng Dataset (đánh giá sản phẩm)

  • URL: http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • GIẤY TỜ: Mining and summarizing customer reviews
  • GHI CHÚ: Tiêu đề rà soát, sản phẩm Fea ture, nhãn tích cực/tiêu cực với sức mạnh ý kiến, thông tin khác (so sánh, độ phân giải đại từ, v.v.)

  Bao gồm trong các nền tảng NLTK Python

• Pros and Cons Dataset (Ưu điểm và nhược điểm câu)

  • URL: http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • GIẤY TỜ: Mining Opinions in Comparative Sentences (Ganapathibhotla, Liu 2008)
  • GHI CHÚ: Một danh sách các câu tagged <pros> hoặc <cons>

  Bao gồm trong các nền tảng NLTK Python

• câu so sánh (Nhận xét)

  • URL : http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • GIẤY TỜ: Identifying Comparative Sentences in Text Documents (Nitin Jindal and Bing Liu), Mining Opinion Features in Customer Reviews (Minqing Hu and Bing Liu)
  • GHI CHÚ: Câu, câu POS được gắn thẻ, các tổ chức, kiểu so sánh (không bằng nhau, equative, bậc, không gradable)

  Bao gồm trong nền tảng NLTK Python

• Sanders Analytics Twitter Sentiment Corpus (Twe ETS)

  • URL: tweets http://www.sananalytics.com/lab/twitter-sentiment

  5513 tay phân loại wrt 4 chủ đề khác nhau. Do ToS của Twitter, một tập lệnh Python nhỏ được đưa vào để tải xuống tất cả các tweet. Các phân loại tình cảm được cung cấp miễn phí và không hạn chế. Chúng có thể được sử dụng cho các sản phẩm thương mại. Chúng có thể được phân phối lại. Chúng có thể được sửa đổi.

• tweets Tây Ban Nha (Tweets)

  • URL: http://www.daedalus.es/TASS2013/corpus.php

• SemEval 2014 (Tweets)

  • URL: http://alt.qcri.org/semeval2014/task9

  Bạn PHẢI KHÔNG tái phân phối các tweets, các chú thích hoặc corpus thu được (từ tập tin readme)

• khác nhau Datasets (Bài đánh giá)

  • URL: https://personalwebs.coloradocollege.edu/~mwhitehead/html/opinion_mining.html
  • GIẤY TỜ: Building a General Purpose Cross-Domain Sentiment Mining Model (Whitehead and Yaeger), Sentiment Mining Using Ensemble Classification Models (Whitehead and Yaeger)

• khác nhau Datasets # 2 (Nhận xét)

  • URL: http://www.text-analytics101.com/2011/07/user-review-datasets_20.html

---

Tài liệu tham khảo:

• Keenformatics - Sentiment Analysis lexicons and datasets (blog)
• kinh nghiệm cá nhân