Das Codebuch

Um unsere Toxizitäts- und Hassrede-Classifier zu bauen, mussten zuerst tausende Beiträge von speziell geschulten wissenschaftlichen Mitarbeitenden manuell klassifiziert werden. Das heisst, dass sie bei jedem Beitrag sagen mussten, ob er Hass, Toxizität oder keines der beiden enthält; diese Annotationen flossen dann in unsere Classifier ein (siehe Details zu unserem Algorithmus). Damit alle Annotator:innen unter “Hassrede” und “Toxizität” dasselbe verstehen, wurde ein eigenes Codebuch von den ETH-Expert:innen entwickelt, um die Konzepte detailliert aufzuschlüsseln und konkrete Beispiele zu geben. Dieses Codebuch beinhaltet folgende Anweisungen:

Allgemeine Hinweise zur Annotation

Bitte richte Deine Annotationen immer nach den Anweisungen im Codebuch. 

• Annotiere nicht länger als 1 Stunde am Stück. Sag jemandem im Team Bescheid, wenn Du Dich überfordert fühlst.
• Lies jeden Kommentar zweimal, bevor Du eine Anmerkung machst.
• Analysiere den Text nicht. Wenn das Vorhandensein des Konzepts nach zweimaligem Lesen immer noch unklar ist, kodiere das Konzept als NICHT VORHANDEN.
• Annnotiere die Kommentare ausschliesslich anhand der Definitionen im Codebuch und verwende keine anderen Definitionen für diese Konzepte oder dein eigenes "Bauchgefühl".

Toxizität

Oberbegriff für eine Vielzahl von Formen bösartiger und beleidigender Kommunikation.

• Drohungen: Hinweise darauf, dass man der Zielperson Schaden zufügen wird, oder Aufforderungen an andere, dies zu tun.
• Beleidigungen: Beschimpfungen, einschliesslich leichterer Beleidigungen wie "Idiot" oder "dumm".
• Verleumdung: "ein Angriff auf den Ruf oder die Integrität von jemandem". Die Bezeichnung der Zielperson als Lügner:in, Korrupte:r oder Verräter:in.
• Vulgarität: Verwendung von Schimpfwörtern, z. B. "Scheisse".
• Erniedrigende oder abwertende Sprache: Sprache, die den Zielpersonen negative Eigenschaften unterstellt (z. B. "das würde sogar ein Fünfjähriger verstehen"), um sie zu beschämen und ihr Ansehen in den Augen anderer zu mindern.
• Böswilligkeit: den Zielpersonen Schaden wünschen, z. B. "Du solltest dich umbringen".
• Ausschluss: Anderen sagen, dass sie den Mund halten sollen und dass sie nicht willkommen sind, ihre Meinung in einer Debatte zu vertreten.

Hassrede

Hassrede ist i) toxische Rede (siehe vorheriger Abschnitt), die ii) auf eine Person oder eine Gruppe in der Gesellschaft aufgrund ihrer Identitätsmerkmale abzielt.
Hassrede ist nicht zwingend eine schwerwiegendere Form von Toxizität!

Zielgruppen

• Nationalität
• Ethnie / Hautfarbe
• Migrantenstatus
• Religion
• Geschlecht
• Sexuelle Orientierung
• (Schwere) Behinderung
• Alter

Implizites Targeting

Anspielungen auf Gruppen können implizit sein, was es schwierig machen kann zu beurteilen, ob sie als Hassrede gelten. Wir sehen die folgenden Aussagen als Hassrede an:

• Kommentare, in denen klassische Schimpfwörter für Identitätsgruppen verwendet werden (z. B. "Ostküste" stellvertretend f. Juden).
• Kommentare, die eindeutig abwertende Aussagen über eine ganze Identitätsgruppe machen, auch wenn sie wörtlich nur für eine Teilgruppe gelten (z. B. "Islamisten" als Beschreibung für alle Muslime).
• Kommentare, die Identitätsgruppen als Beleidigung verwenden, auch wenn die Beleidigung nicht direkt an diese Gruppe geht ("das ist schwul", "Du Mongo").