TokenizeForge

BPE 分词可视化：在语料上训练字节对合并规则，对任意文本切分子词并着色展示，离线可用。 · 单文件 · 零依赖 · 本地优先

训练语料（空格分词） low low low low lower lower lowest newest newest newest wider wide widest 合并次数 待切分文本