第一次数据统计：（147条标注，10月2号以前）

1. 用百度API检查关键词基本辨别不出隐式毒性，说明数据质量还可以

1. 在用户三个月历史UGC中找与热搜（hashtag）相关的post，这样满足条件的用户有95个

1. 用户之间都是弱联系：
   1. 没有 @关系 的情况出现
   2. 对毒性语言（隐式加显式）， 用户→关注建图，5746个节点，6352条边，没有强联通分量，454组有共同关注

数据解耦

第一阶段数据标注

‣

一致性检验

• kappa:

  每个人取50条由syy和lyq二次标注， 计算kappa：

  num:
         cbw    chx    dst    lyq    syy    tt    wd    xyf    yhl    zq
  ---  -----  -----  -----  -----  -----  ----  ----  -----  -----  ----
  cbw     40      0      0     40     40     0     0      0      0     0
  chx      0    119      0     46     49     0     0      0      0     0
  dst      0      0    120     50     50     0     0      0      0     0 
  lyq     40     46     50    452    429    12    50     50     50    50
  syy     40     49     50    429    479    39    37     45     50    50
  tt       0      0      0     12     39    39     0      0      0     0
  wd       0      0      0     50     37     0   113      0      0     0
  xyf      0      0      0     50     45     0     0     53      0     0
  yhl      0      0      0     50     50     0     0      0     53     0
  zq       0      0      0     50     50     0     0      0      0   117
  
  toxicity:（是，否）
             cbw        chx        dst       lyq       syy         tt         wd        xyf        yhl         zq
  ---  ---------  ---------  ---------  --------  --------  ---------  ---------  ---------  ---------  ---------
  lyq   0.777778   0.378378   0.798061  1         0.596585   0.75       0.766355   0.585062   0.641148   0.851632
  syy   0.717314   0.120718   0.785592  0.596585  1          0.731034   0.723192   0.657236   0.715447   0.788732
  
  implicit:（显式，隐式，混合，无毒）
             cbw        chx        dst       lyq       syy         tt         wd        xyf        yhl         zq
  ---  ---------  ---------  ---------  --------  --------  ---------  ---------  ---------  ---------  ---------
  lyq   0.531532   0.055805   0.569954  1         0.384734   0.387755   0.369266   0.341352   0.355828   0.178532 0.353
  syy   0.391226   0.152817   0.633596  0.384734  1          0.470588   0.481122   0.362778   0.472296   0.352052 0.411
  

  • 把混合的去掉：
  • 不一致数据分析：

  其他中文数据集：

  中文：

  1. COLD（Deng J, Zhou J, Sun H, et al. Cold: A benchmark for chinese offensive language detection[J]. arXiv preprint arXiv:2201.06025, 2022.）：尚未开源，5323条中文text， 来自关键词搜索，数据集没有区分显隐式，二分类kappa：0.819
  2. Ciron（Xiang R, Gao X, Long Y, et al. Ciron: a new benchmark dataset for Chinese irony detection[C]//Proceedings of the 12th Language Resources and Evaluation Conference. European Language Resources Association, 2020: 5714-5720.）：8.7K条短文本，中文反讽数据集，五分类，kappa0.470

  英文：

  1. IHC： For the second-stage annotation (Section 4.2.2), we observed the following per-category kappa scores at the beginning/middle: (threatening, 1.00/0.66), (stereotypical, 0.67/0.55), (grievance, 0.61/0.63), (incitement, 0.63/0.53), (not hate, 0.55/0.54), (inferiority, 0.47/0.41), and (irony, 0.40/0.31)

统一标准

选出有争议的100条数据（tt 10, xyf:20, cbw:15, yhl: 17,wd:11,dst:10,zq:17）投票划定标准

• 100条kappa（虽然没用）
• 100条的krippendroff（也没什么用）：0.2972716681568185

正式标注流程：

Perspective API检测