标签: Tokenizer | 折翼天使

互动

最近评论

标签

寻找感兴趣的领域

文章

Tokenizer 1 分词 1 DiskPart 1 exFat 1 分区管理 1 Linux 2 双系统 2 GRUB 1 Arch 1 Garuda 1 vps 1 ssh 1 annotationProcessor 0 docker compose 1 EditorConfig 0 证书签发 1 SSL 1 acme.sh 1 Jupyter 1 Python 1 HuggingFace 4 Conda 1 LLM 11 NLP 11 WSL2 2 Intellij 1 小米 1 SubModule 1 Xray 1 Ubuntu 2 Git 2 Windows 5 Jimmer 1 React 1 Kotlin 0 Java 0 KAPT 0 KSP 0 Gradle 0 Winget 1 Rime 1 Windows 11 4 IBM Informix 1 IBM Db2 LUW 1 DB2 iSeries (AS400) 1

通用 Tokenizer 评估方案——从项目专用到任务无关

AI 未读

通用 Tokenizer 评估方案——从项目专用到任务无关

引言数语觅类（我的第二个项目，数据库列语义分类）里写了一个 verify 函数，用来评估 tokenizer 的词表大小是否合理。核心逻辑是对样本做编码，统计平均 token 数，然后给建议： # 评估建议（基于样本） if avg_length > 20: print(f"⚠️ 建议:

LLM NLP 分词 Tokenizer 最近