[프로젝트]HateSpeech Dataset(2019)

오늘은 HateSpeech Detection에 사용했던 HateSpeech Dataset에 대해 알려드리겠습니다.

 

원래 저희는 트위터에서 트윗을 추출하여 HateSpeech 문장들을 분류하고 Detection을 하는 것이 목표였습니다.

 

하지만 그전에! 바로 트위터에서 트윗을 추출하여 Detection을 하게 되면 저희가 분류한 문장들이 혐오표현인지 아닌지 정확도를 판단할 수 없고 비교할 대상이 없다는 문제점을 발견하게 되었습니다.

그래서 현재 인터넷에 공개되어있는 HateSpeech Data들을 먼저 수집하여 Detection을 해보는 것으로 방향을 잡았습니다.

 

저희는 'PLOSONE' 과학 저널 사이트에서 진행되었던 연구자료( 'Hate speech detection: Challenges and solutions')에서 데이터를 가져왔습니다.

Plosone_HateSpeech Dataset

출처 : https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0221152#abstract0

Hate speech detection: Challenges and solutions

저희는 여기에서 Origin Source가 Twitter, Language가 English로 작성된 데이터만 수집하였습니다.

=> HateBaseTwitter, Waseem, kaggle dataset

 

트위터로 작성된 데이터만 수집한 이유는 저희가 최종 구현할 목표가 트윗으로 작성된 데이터를 수집하여 분석하는 것이기 때문입니다. 또한 영어로 작성된 데이터만 수집하는 이유는 아직 저희가 영어가 아닌 다른 언어로 Detection을 하는 것이 어렵기 때문입니다.. 흑ㅠ

 

위에 나와있는 데이터들은 이미 인터넷에 공개가 된 상태입니다. 저희는 그 공개된 데이터들을 가지고 Detection을 해볼 것입니다.

 

위에 나와있는 모든 HateSpeech Data들은 여기에 다 정리되어 있습니다! http://hatespeechdata.com/

Hate Speech Datasets

수집한 데이터 : HateBaseTwitter, Waseem, kaggle dataset

 

1. Hatebase twitter
https://github.com/t-davidson/hate-speech-and-offensive-language

t-davidson/hate-speech-and-offensive-language

HateBase Twitter데이터는 Davidson이 제공한 약 24,000여 개의 트윗으로 구성된 데이터입니다.

 

먼저 HateBase에서 혐오 발언 어휘를 가져와 이 용어들이 들어 있는 트윗을 트위터에서 검색했고, 그 결과 약 3만 3천 여명의 사용자들 확인했습니다. 그다음 이 모든 사용자들로부터 약 8천5백만 개의 트윗을 가져왔습니다.  약 8천5백만 개의 트윗에서 25k 개의 트윗을 무작위로 추출했습니다.  crowdsourcing 하면서, 각각의 트윗을 hate speech, offensive (but not hate speech), or neither hate speech nor offensive로 주석을 달았습니다.

 

HateBase Twitter데이터 일부

 

2. Kaggle
https://www.kaggle.com/c/detecting-insults-in-social-commentary/data

Detecting Insults in Social Commentary

Kaggle은 insulting or not insulting으로 분류된 약 6천여 개의 소셜 미디어 코멘트로 구성되어있습니다.

 

Kaggle 데이터 일부

 

3. Wassem & Hovy
github.com/zeerakw/hatespeech

 

Waseem & Hovy는 약 만 6천여 개의 racist, sexist, or neither로 분류된 트윗으로 구성된 데이터입니다.

 

트위터에서 eligious, sexual, gender, and ethnic minorities와 관련된 약 136,000개의 트윗을 수집한 후에 스스로 약 만 6천여 개의 트윗에 주석을 달았습니다.

 

Waseem & Hovy 데이터 일부

 

수집한 HateSpecch Dataset 정리

 

 

오늘은 인터넷에 공개되어있는 HateSpeech Dataset에 대해 알려드렸습니다.