大模型的输入与输出（一）：从文本到 Token —— Tokenizer 与多模态输入

字节对编码/BPE 标签

2026

08-22

大模型的输入与输出（一）：从文本到 Token —— Tokenizer 与多模态输入