项目介绍:
数据集:风险事件分类的训练集规模是10000+,包含10个一级标签和35个二级标签;大规模无标注的文本规模是亿级,可供选手选择用来进行语言模型训练。数据性质均为新闻资讯数据,并且进行了字符编码(保留了句子划分的标点符号),文中的字符会转换成唯一的ID,ID之间使用空格进行分割。
数据集:
https://download.csdn.net/download/qq_38735017/87371238
import pandas as pd
from sklearn.model_selection import train_test_split
df_train = pd.read_csv("/home/datafountain/datasets/datagrand_2021_train.csv")
df_test = pd.read_csv("/home/data