Method

将数据集丢入embedding模型，丢入embedding前可以加入prompt加强效果，然后获取k-means聚类的中心向量来作为需要的蒸馏embeddings，然后使用vec2text模型还原成原始文本。

Result

Q：

这里有一点不清楚：

1. 聚类中心的embedding是怎么转换成原来的文本的，如果是不同的embedding模型，那各自的representation space不同，怎么通过一个vec2text model还原。