https://github.com/msang/hateval
Raw File
Tip revision: edeecf5efae3884cf1889b4298101d1e52c99efb authored by Valerio Basile on 15 November 2019, 14:53:52 UTC
Update README.md
Tip revision: edeecf5
annotation_guidelines.md
# 1. English language against immigrants         

## Introduction
    

Welcome, and thank you for choosing to participate in this task.

You're asked to read a given set of tweets in English having immigrants and migration issues as the main topic, and, for each tweet, answer some questions regarding the presence or not of hate speech (HS) and other HS-related aspects.\
Hate Speech is commonly defined as any communication that disparages a person or a group on the basis of some characteristic such as race, color, ethnicity, gender, sexual orientation, nationality, religion, or other characteristics.

More specifically, HS against immigrants may include:

- insults, threats, denigrating or hateful expressions

- incitement to hatred, violence or violation of rights to individuals or groups perceived as different for somatic traits (e.g. skin color), origin, cultural traits, language, etc.

- presumed association of origin/ethnicity with cognitive abilities, propensity to crime, laziness or other vices

- references to the alleged inferiority (or superiority) of some ethnic groups with respect to others

- delegitimation of social position or credibility based on origin/ethnicity 

- references to certain backgrounds/ethnicities as a threat to the national security or welfare or as competitors in the distribution of government resources

- dehumanization or association with animals or entities considered inferior

HS identification is a challenging task that can be subject to individual biases, especially considering the fact that there is no single distinctive factor in drawing the line between HS and not-HS, but a set of variables that the should be considered case by case. Therefore, while answering our questions,  we advise you to CAREFULLY READ THE GUIDELINES provided in the next section.

Guidelines
   =

Below are some instructions on the questions you have to answer for this job.

Hate Speech\
While answering the question "Is this tweet hateful?",  you must take into account the following aspects:

1.  the tweet content MUST have IMMIGRANTS/REFUGEES as main TARGET, or even a single individual, but considered for his/her membership in that category (and NOT for the individual characteristics) 

2. we must deal with a message that spreads, incites, promotes or justifies HATRED OR VIOLENCE TOWARDS THE TARGET, or a message that aims at dehumanizing, hurting or intimidating the target

The joint presence of both elements in a tweet is considered essential to determine whether the tweet has hateful contents, therefore if both of them occur, your answer will be 'Yes'.

In case even just one of these conditions is not detected, HS (at least against immigrants) is assumed not to occur, then your answer will be 'No'.

Here a list of other aspects that are NOT considered hate speech in our study:

- HATE SPEECH AGAINST OTHER TARGETS

- offensive language

- blasphemy

- historical denial

- overt incitement to terrorism

- offense towards public servants and police officers

- defamation

##Target Type and Aggressive Language

If the answer to the first question is 'Yes', then TWO further distinctions (expressed with two different questions) must be drawn, namely on the following aspects:

1.  the target type: the first question is on whether  the text includes hateful messages purposely sent to a specific target (then you will answer 'Single person'), or it refers to hateful messages posted to many potential receivers (then the answer will be 'Whole group'), bearing in mind that the target at issue must always be immigrants.

2. the presence of aggressive language: the second one is on whether the tweet is aggressive or not. A message is considered aggressive (then you are supposed to answer 'Yes'), if: 

-  it implies or legitimates discriminating attitudes or policies against the given target (immigrants/migrants/refugees)

- there is an allusion to a potential threat posed by the presence of the target, or its alleged outnumbering with respect to the native population

- there is a sense of dissatisfaction and frustration, which may also result in overt hostility, due to the (perceived) privileged treatment granted to the target group by the government

- there is the reference (whether explicit or just implied) to violent actions of any kind perpetrated against the given target of the message

 If none of these conditions hold, then your answer will be 'No'.

##Examples
   

- HATEFUL but NOT AGGRESSIVE tweet,the target is the WHOLE GROUP:\
*@united**how about donating flights to deport the Invaders back to their homeland. **#DeportThemAll*

- HATEFUL and AGGRESSIVE tweet, the target is the WHOLE GROUP:\
*WTH??? Sent them back home and DON'T let them back into Europe!  The German Government Pays for 3 Week Vacation for Refugees to Go Home (?)*

- HATEFUL, but NOT AGGRESSIVE tweet, the target is a SINGLE PERSON:\
*You are a scrounger/soldier coming to create a caliphate or create chaos. Go home, look after your girlfriends/wives/kids. The last thing you are, are a refugee! Bugger off! Bye, bey, cheers....*

- NOT HATEFUL tweet:

1. It does not incite hatred*:  Hundreds of Syrian refugees started crossing the border from Lebanon on Saturday. *

2. It does not have immigrants/refugees as main target*:  * *@campaignforleo Ireland is a neutral and independent country which is NOT part of any military alliance. Please do not     forget that and act like Ireland is a vassal state of the UK or the EU. PLEASE DO NOT ENGAGE IN STUPID and DAMAGING ACTIONS AGAINST RUSSIA. Keep good relations with Russia!*

# 2.English language against women
         

##Overview
   

This job aims at labelling English misogynous tweets shared by users in online social media.

##Steps
  

The first step is about

-   **Misogyny Labelling:** you have to decide if a tweet is misogynous or not.

If the tweet has been labelled as *misogynous*, then other two questions will be asked:

-   **Aggressive Language Labelling:** you should indicate if the misogynous contents is aggressive or not.
-   **Target Labelling: **you should indicate if misogynous contents is towards an individual target or a social group.

##Rules & Tips
    

**Misogyny Labelling**

-   ***Misogynous***: a text that expresses hating towards women in particular (in the form of insulting, sexual harassment, threats of violence, stereotype, objectification and negation of male responsibility).
-   ***Not Misogynous***: a text that does notexpress hating towards women in particular.

**IMPORTANT(!)**: a tweet is MISOGYNOUS only if it is related to woman/women.

**Aggressive Language Labelling**

-   **Aggressive**: a message is considered aggressive if it (implicitly or explicitly) presents, incites, threatens, suggests or alludes to:

-   attitudes, violent actions,  hostility or commission of offenses against women;
-   justify or legitimize an aggressive action against women.

-   **Not Aggressive**: If none of the previous conditions hold.

**IMPORTANT(!)**:  In order to recognize "aggressivity" please take into account that it can be **moderate** or **severe**. For example: "social isolation" is  **moderate**, while "killing" is considered **severe**.

**Target Labelling**

-   ***Individual***: unwelcome and offensive messages purposely sent to a specific individual person.
-   ***Generic***: messages intentionally posted to many potential victims belonging to a social group (e.g. feminists, women in politics, women in online games).

##Examples
   

-   Misogynous and Aggressive tweet, the target is individual:

-   *@BarbeeDani You ain't shit bitch shut your whore mouth*
-   *Punch that girl right in the skank*

-   Misogynous and Aggressive tweet, the target is generic:

-   *Fucking clueless women should stay in the kitchen and not ruin a good man's name. - A United fan after reading this, probably*
-   *Women are all harassed? And it's also all men unless we prove other wise? **You're a clueless cunt**👍*

-   Misogynous and Not Aggressive tweet, the target is individual:

-   *The only hoe I trust is that bitch Nina.*
-   *@xXKristyP Ok hoe or whore you choose sweetie?*

-   Misogynous and Not Aggressive tweet, the target is generic:

-   *sucking my own dick cause women are stupid*
-   *not all men are trash. but if you always pick the ones who are trash, or treat you like trash, then ya you'll learn to hate them for sure!*

-   Not Misogynous:

-   *Ex-Teacher Pleads Not guilty To Rape Charges https://t.co/D2mGu3VT5G*
-   *You couldn't possibly value a girl if you still refer to women as "bitch" **😒*

* * * * *

# 3. Spanish language against immigrants
            

##Introducción
    

Bienvenido y gracias por  participar en esta tarea.

Se le pide que lea un conjunto de tweets en español que tienen como tema principal los inmigrantes y las migraciones. Para cada tweet, debe responder algunas preguntas sobre la presencia o no de discurso de odio ("hate speech", HS) y otros aspectos relacionados con el HS.\
El discurso de odio se define comúnmente como cualquier comunicación que menosprecia a una persona o un grupo en función de la raza, el color, la etnia, el género, la orientación sexual, la nacionalidad, la religión u otras características.\
No se  confundan tweets *clasistas y racistas* con tweets de odio contra inmigrantes.

Más específicamente, HS contra los inmigrantes puede incluir:

- insultos, amenazas, denigrantes o expresiones de odio;

- incitación al odio, la violencia o la violación de los derechos de individuos o grupos percibidos como diferentes por los rasgos somáticos (por ejemplo, el color de la piel), el origen, los rasgos culturales, el idioma, etc.

- asociación de la origen/etnia con deficiencias cognitivas, propensión al delito, pereza u otros vicios;

- referencias a la supuesta inferioridad (o superioridad) de algunos grupos étnicos con respecto a otros;

- deslegitimación de la posición social o credibilidad basada en el origen/etnia;

- referencias a ciertos background/etnicidades como una amenaza para la seguridad o el bienestar nacional o como competidores en la distribución de recursos publicos;

- deshumanización o asociación con animales o entidades consideradas inferiores.

La identificación del HS es un desafío, que puede estar sujeto a sesgos individuales, considerando que no existe una uníca manerade trazar la línea entre HS y no-HS, sino un conjunto de variables que deben considerarse caso por caso. Por lo tanto, al responder nuestras preguntas, le aconsejamos que lea detenidamente las pautas proporcionadas en la siguiente sección.

##Líneas guía
    

A continuación hay algunas instrucciones sobre las preguntas que debe responder para este trabajo.

Discurso del odio\
Al responder a la pregunta "*¿Este tweet expresa odio contra los inmigrantes/refugiados?*", debe tener en cuenta los siguientes aspectos:

- el contenido del tweet debe tener como objetivo principal a los inmigrantes, o incluso a un solo individuo,  si considerado como membro de eso grupo (y NO por sus características individuales);

- tratamos con un mensaje que propaga, incita, promueve o justifica el odio o la violencia hacia el objetivo, o un mensaje que apunta a deshumanizar, herir o intimidar al objetivo.

La presencia conjunta de ambos elementos en un tweet se considera esencial para determinar si el tweet tiene contenido de odio. Por lo tanto, si ambos ocurren, tu respuesta será 'Sí'.

En caso de que no se detecte siquiera una de estas condiciones, se asume que HS (al menos contra inmigrantes) no ocurre, entonces su respuesta será 'No'.

Elencamos aquí otros aspectos que NO se consideran discurso de odio en nuestro estudio:

- solo ofensividad;

- blasfemia;

- negación histórica;

- abierta incitación al terrorismo;

- ofensa a servidores públicos y policías;

- difamación.

No se  confundan tweets *clasistas y racistas* con tweets de odio contra inmigrantes.

Tipo de objetivo y lenguaje agresivo

Si la respuesta a la primera pregunta es 'Sí', se debe responder DOS preguntas adicionales, en los siguientes aspectos:

1. tipo de objetivo: se le pregunta si el texto incluye mensajes de odio deliberadamente enviados a un objetivo específico (entonces la respuesta será 'Persona'), o se refiere a mensajes de odio enviados a muchos receptores potenciales (entonces la respuesta será ' Grupo '). Tenga en cuenta que el objetivo en cuestión siempre debe ser los inmigrantes.

2. presencia de lenguaje agresivo: se le pregunta si el tweet es agresivo o no. Un mensaje se considera agresivo (entonces la respuesta será 'Sí'), si:

- implica o legitima actitudes o políticas discriminatorias;

- hay una alusión a una amenaza potencial planteada por la presencia del objetivo, o su supuesta superioridad numerica con respecto a la población nativa;

- hay una sensación de insatisfacción o frustración, que también puede dar lugar a hostilidad manifiesta, debido al tratamiento privilegiado (percibido) que el gobierno le otorga al grupo objetivo;

- hay referencia (explícita o implícita) a acciones violentas de cualquier tipo.

 Si no se cumple ninguna de estas condiciones, su respuesta será 'No'.

##Ejemplos
   

- Tweet con odio peró no agresivo, el objectivo es un grupo:\
*Los extranjeros indeseables en España no son los que saltan la valla de Melilla. https://t.co/pDNl4MUKtZ vía @elmundoes*

- Tweet con odio y agresivo, el objectivo es un grupo:\
*No soy racista pero QUE ASCO DAN LOS PUTOS MOROS. COMO DEPENDIESE DE MI QUE ENTRASEN EN ESPAÑA LO LLEVABAN CLARO ESTOS IMPRESENTABLES GUARROS Y MAL OLIENTES*

- Tweet con odio peró no agresivo, el objectivo es una persona:\
*Pablito indocumentado de mierda*

- Tweets sin odio:\
*Cientos de niños inmigrantes se le escapan a la Junta de Andalucía  Al menos 400 menores sin papeles se han fugado de un albergue de Granada, como está ocurriendo en otras provincias #EleccionesYa https://t.co/CELzxrtXCk*

*Ahora resulta que un sudaca va a enseñarme a mi de tés**

*Es una peli de un negrata macarra matando blancos idiotas*

*El juez rechaza una denuncia contra 602 inmigrantes que saltaron la valla de Ceuta https://...*\
*

# 4.Spanish language against women
          

##Tarea
  

* * * * *

La tarea consiste en identificar si el texto mostrado puede ser considerado o no misógino.

Para comprender qué es la misoginia, se sugiere la lectura de la página correspondiente de la [Wikipedia](https://es.wikipedia.org/wiki/Misoginia), de la que se extraen los siguientes fragmentos:

"La misoginia se define como la aversión y también el odio hacia las mujeres o las niñas."

"De acuerdo con el sociólogo Allan G. Johnson, "la misoginia es la actitud cultural de odio hacia las mujeres, por el hecho de que son mujeres". 

Los diccionarios definen la misoginia como el "odio a la mujer",  "odio, aversión o desconfianza a la mujer", o  "prejuicios arraigados contra la mujer".

Si un texto se considera misógino, se debe identificar (de manera independiente):

-   Si el texto es agresivo, si incita al odio. Se puede considerar que un texto incita al odio si fomenta o promueve, directa o indirectamente, el odio, la hostilidad, la discriminación o la violencia contra una mujer o un grupo de mujeres, sólo por hecho de ser mujer/mujeres.
-   Si el texto misógino se refiere a un individuo concreto (una mujer en particular), o contra un colectivo (todas las mujeres, mujeres de un determinado grupo, etc.).

##Ejemplos

* * * * *

- MISÓGINO: Cállate puta zorra y chúpame la polla.

- AGRESIVO: SI, porque está insultando y denigrando gravemente a una mujer.

- INDIVIDUAL, porque se lo dice a una mujer en concreto.

--



- MISÓGINO:  ¿Cómo le das más libertad a una mujer? Ampliándole la cocina.

- AGRESIVO: NO, está haciendo un chiste.

- COLECTIVO, porque se burla de todas las mujeres.

--

- NO MISÓGINO: Mi novia es la mujer más hermosa que he visto en mi perra vida.

--

- NO MISÓGINO:  No se puede minimizar o relativizar la violación o el acoso sexual.

--

- NO MISÓGINO: No entiendo a las mujeres que defienden el machismo.

--

- NO MISÓGINO: Me cago en mi puta vida.
back to top