当前位置: 首页 > 学院新闻 > 正文
学院新闻

首创!我院研发的全国首个古籍大语言模型正式发布

来源: 发布时间 : 2023-12-06 点击量:

12月2日,我院信息管理科学系王东波教授研究团队在北京发布“荀子”古籍大语言模型。“荀子”古籍大语言模型是在国家社科基金重大项目“中国古代典籍跨语言知识库构建及应用研究”的支持下,联合中华书局古联公司推出的专门进行古籍处理与研究的智能工具。该模型包含《四库全书》在内的绝大多数传世古籍文献,拥有超过20亿字的大型语料库。

“荀子”古籍大语言模型以古籍智能化研究为目的,为古籍智能处理而设计,在推动我国古籍研究与保护工作创新发展、提高中华传统文化传承的效率与质量、实现大语言模型与古籍处理的深度融合上提供重要支撑。该模型作为开源公益研究成果已在GitHub、ModelScope等网站发布,用户可免费下载部署使用。

据介绍,王东波教授研究团队在南京农业大学高算力基础设施支持下,持续10年深耕古籍文献数字化研究,同时依托中华书局提供的应用场景,在古籍开源大语言模型上实现AI人工智能垂直细分领域的全国首创。该开源模型包括两个部分:基座模型XunziALLM与对话模型XunziChat。其模型亮点包括:智能标引,能够对古籍中的内容进行高质量主题标引,帮助研究人员快速了解文章主题;信息抽取,能够自动从古籍中抽取关键信息,如人物、事件、地点等,大大节省了信息整理时间;诗歌生成,能够根据给定的主题或关键词,自动生成符合语法规则和韵律要求的古诗,为诗词爱好者提供创作灵感;高质量翻译,对于难以理解的古籍文献,能够进行精准的现代文翻译,帮助研究人员更好地理解原文含义;阅读理解,能够对给出的古文文本进行分析解释,实现对古籍文本的自动阅读;词法分析,可以完成古籍文本的自动分词和词性标注,有效提升研究效率;自动标点,可以快速完成古籍文本的断句和标点,提升使用者对古籍文本的阅读体验。此外,同时发布的基座模型,用户也可以根据自己的需求,使用本地的训练语料微调“荀子”基座模型,使其在古籍下游处理任务上取得更优越的处理性能。

发布会现场,研究团队进行了包括词法分析、实体识别、关系抽取、文本分类与匹配、文本翻译等古籍处理场景的模型演示。国内高校、出版界和互联网头部企业的众多专家学者参加了发布会,与会者亲身体验了模型的实用性和直观效果,并给予了高度评价。

模型链接https://github.com/Xunzi-LLM-of-Chinese-classics/XunziALLM


相关报道链接如下:

1、央广网:https://tech.cnr.cn/techph/20231204/t20231204_526507321.shtml

2、光明日报:https://baijiahao.baidu.com/s?id=1784504231779883752&wfr=spider&for=pc

3、人民网:http://finance.people.com.cn/GB/n1/2023/1213/c1004-40137833.html

4、学习强国:https://www.xuexi.cn/lgpage/detail/index.html?id=10833744631313130863&item_id=10833744631313130863

5、荔枝网:http://news.jstv.com/a/20231211/b0bdce470bab4fb0b64b951b06343e6d.shtml?curchannel=%E7%8E%B0%E5%9C%BA

6、新浪网:http://k.sina.com.cn/article_2810373291_a782e4ab02002k11u.html

7、搜狐网:http://news.sohu.com/a/743625298_119038

8、腾讯网:https://new.qq.com/rain/a/20231211A08OKM00

9、扬子晚报:https://baijiahao.baidu.com/s?id=1784980519995822265&wfr=spider&for=pc

10、澎湃新闻:https://www.thepaper.cn/newsDetail_forward_25614220?commTag=true

11、南京农业大学新闻网:http://news.njau.edu.cn/2023/1206/c18a127132/page.htm

关闭