尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

中文 NLP 数据标注工具 Chinese-Annotator:标注、训练、导出全流程

中文 NLP 数据标注工具 Chinese-Annotator:标注、训练、导出全流程 中文 NLP 数据标注工具 Chinese-Annotator标注、训练、导出全流程【免费下载链接】Chinese-AnnotatorAnnotator for Chinese Text Corpus (UNDER DEVELOPMENT) 中文文本标注工具项目地址: https://gitcode.com/gh_mirrors/ch/Chinese-Annotator手上有 5000 条未标注的客服对话要喂给分类模型最现实的路径是先把文本标干净。中文文本标注过去多半靠人在记事本里逐行改效率低、格式错误也多。Chinese-Annotator 是一个面向中文语料的开源标注工具用主动学习算法做预标注再配一个 Web UI 让人只管处理拿不准的样本。下面按实际操作顺序把 NLP 数据标注的完整走一遍起环境、建任务、标实体、看配置。支持哪些标注任务项目内置四类任务命名实体识别人名、地名、机构名、文本分类、关系抽取判断两个实体间的关系如 located on (ORGANIZATION, LOCATION)、词性标注。每类任务都在chi_annotator/user_instance/examples/下有一份现成的示例配置classify、ner、pos_tagger、re 四个目录改改字段就能跑不用从零写。三步启动标注环境有 Docker 的话仓库里自带 compose 文件一步起服务git clone https://gitcode.com/gh_mirrors/ch/Chinese-Annotator cd Chinese-Annotator docker-compose up -dcompose 会把 mongodb、后端 API、nginx 一起拉起来前端页面走 80 端口。仓库里还带了样例数据执行bash scripts/init_db.sh导入数据库打开浏览器就能看到待标注的文本。标注工作流拆解建任务。任务类型由配置文件定义直接抄chi_annotator/user_instance/examples/ner/instance_config.json这类示例改成自己的数据集和用户 ID 即可命令入口在 任务中心。打开 Web UI。服务起来后选对应任务界面一次只推一条待标注数据标完自动加载下一条。标一个实体。以 NER 为例操作就是选中一段文字 → 指定类型。界面右侧有快捷键映射A 对应人工制品B 是事件D 是地点E 是机构F 是人名回车确认。不用切鼠标一段实体两下键盘就完成。判一个关系。关系抽取任务里系统会给出候选关系如 located on (ORGANIZATION, LOCATION)并在证据句里高亮相关词标注员选有关系 / 无关系 / 跳过就行。背后的架构一句话能说清Task Center 是中枢一边调度 Algo Factory 里的在线/离线算法在线用 SVM 这类快模型即时更新离线攒够数据再上更准的模型一边对接 Web UI 和数据库。两个值得知道的入口配置方面系统级参数集中在 sys_config.json就是数据库地址、端口、任务类型几项新手改任务时基本只用动示例配置。扩展方面算法侧走组件注册机制。想加自己的预处理或分类算法继承 Component、注册、然后在配置里按名字调用即可from chi_annotator.algo_factory.components import Component class MyFeaturizer(Component): name my_featurizer def process(self, message): # 从 message 里取文本提特征后写回 message return message训练和预测复用同一条消息管道数据变成 Message依次穿过各组件最后输出标签或实体。适合谁用下一步做什么Chinese-Annotator 适合手里有中文语料、又没现成标注流程的团队客服、医疗、法律这类垂直领域或者要快速产出一版种子标注集做实验的场景。建议第一步就用上面的命令把 Docker 环境拉起来拿 NER 示例标 10 句话体验一下机器先标、人只管确认的节奏再决定要不要把数据集接进来。【免费下载链接】Chinese-AnnotatorAnnotator for Chinese Text Corpus (UNDER DEVELOPMENT) 中文文本标注工具项目地址: https://gitcode.com/gh_mirrors/ch/Chinese-Annotator创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表