背景

开发中遇到了不显示的零宽字符造成话题归一化出现问题

引用

零宽度字符隐写（CTF）
python - 字符串总结
Unicode零宽度控制字符表

已确定零宽字符

0x200B~0x200F：0xe2 0x80 0x8b ~ 0xe2 0x80 0x8f
0x202A~0x202E：0xe2 0x80 0xaa ~ 0xe2 0x80 0xae
0xFEFF：0xef 0xbb 0xbf

unicode符号查询网址

https://unicode-table.com/cn/
https://symbl.cc/cn/

含零宽字符文本在线展示

https://icyberchef.com/

测试用例

面部微调整形“幼态脸”‍♀️
‎chaeunwoo‬
游泳‍♀️
变美实力派•点阵祛痣➕1 ——江南娜慕上海集团技术助力 ”点阵+湿性修复“冲起来‍♀ 快速恢复/精准治疗/改善加倍
无‮料阴‬;采集缅老柬法科类植物以及三种国家法术密咒进行,
设计师陈欢‍ ┊久┊ 辰陈设空间设计创始人 ┊坐┊每一位久坐者都值得尊敬 ╰者╯ 为全世界久坐的人们
博士‮中妍‬药面部熏蒸 ※干‮粗燥‬糙↘️
博‮妍士‬中药面‮熏部‬蒸 ※粉刺痘痘➡️
盐‮婚城‬礼
每日‎一善
乐π低创伤吸脂术 采用专利local fine吸脂针 ‍⚕️深层抽吸浅层雕刻 ✅一次拥有心仪的体态
summerccici讲印第安纹‎ ͏
玛格·极-高‮级全‬案定制
罗云熙江心白
手艺人‍ 你就当着我的面掉皮儿~ 我一手艺人,我能惯着你? 还剩两个字母,你继续掉,我继续整. 争取从定制版整成限量版