“过马路时，你要矜重看车！”
“我目表翌日去车展看车。”
这两句话里的“看车”是一个酷爱吗？战胜不少东谈主要会心一笑，名义上看是兼并个词组，但其含义因语境不同发生了变化。
这即是中文里常见的“一词多义”样式。东谈主工智能大模子是一种与东谈主类讲话密切关联的技能，要让大模子深入剖释这相同式，离不开中文数据的连接供给。
当今，国内多数模子历练使用的数据，中文数据占比仍是超越60%，有的模子达到80%。大模子历练中，中文数据占比普及有何酷爱？中文高质料数据为何连接加多？怎样进一步加多中文数据的开辟与供给？记者进行了采访。
数据就像大模子的“常识讲义”
不同讲话的数据对大模子性能有奈何的影响？“数据就像大模子的‘常识讲义’，讲义的讲话属性不同，会对模子的常识体系产生不同影响。”清华大学策动社会科学与国度贬责实验室引申主任、老师孟庆国暗示。
从常识开首看，当年我国大模子常面对“数据依赖”风险——英文数据在民众互联网的占比拟高，如前沿科技论文、行业范例、文化图书等多以英文呈现，民众高质料标注数据也多以英文为主。
“讲话类大模子一般需要苦守一定的讲话俗例。”工业和信息化部信息通讯经济各人委员会委员盘和林以为，中文数据占比提高，既便捷了用户剖释其输出终结，又不错保险和普及我国在大模子上的研发才调。
“若中文数据占比低，模子在要道技能迭代中易受‘数据授权限度’‘更新蔓延’等影响。”孟庆国说，中文数据占比提高，助力我国在“数据安全”“技能自主”上迈出要道设施，故意于我国掌抓大模子发展主动权。
“中文数据中独到的文化俗例、隐喻抒发、战略术语等在英文数据中难以取得体现。模子恒久学习英文数据，所造成的‘英文式贯通逻辑’，在剖释中文特有的念念维神色时容易出现偏差。”科大讯飞消费者AI交互业务部总司理赵艳军先容，中文数据比重的普及，增强了大模子对中中语化及中国场景的剖释才调。比如中医问诊时，“上火”“潮湿”等主张需要中文语境才能准确推理。
从常识传承看，中文数据承载着我国数千年的文化蕴蓄，中文数据占比提高，能让大模子推动中中语化的数字化传播。“中文数据占比高的模子能老师‘文言文虚词用法’‘诗词平仄规矩’等。比如，在讲解注解‘之乎者也’时，聚拢《论语》《孟子》等中文图书案例，让传统文化扶植壮盛动。”孟庆国说。
中文高质料数据供给才调不断增强
中文世俗数据和中文高质料数据有何区别？世俗数据多为未经审核的收集文本、非专科践诺，易出现事实空虚或主张轻侮。而高质料数据需经过“事实核查、专科审核”，语义准确且开首可追念。
本事悟中文高质料数据的进军性，可从医疗会诊这一专考场景讲起。本年8月，中文临床医学常识图谱“磐医常识图谱”在浙江台州发布。“现时，一些大模子学习的医学常识，开首于互联网公开数据，而这些公开数据，有的不严谨、有的存在矛盾、有的更新滞后，这些情况皆会对大模子生成的终结产生负面影响。”浙江省全省医疗智能决议重心实验室主任林辉暗示，“磐医常识图谱”中的数据均由医学各人审核，每个常识点皆有明确开首，且动态更新医学进展。
大模子性能的普及，体现了中文高质料数据的价值。成绩于一系列身分的协力助推，中文高质料数据的供给才调不断增强——
战略有扶直。从《“数据要素×”三年当作标的（2024—2026年）》冷落“打造高质料东谈主工智能大模子历练数据集”，到国度数据局布局诞生数据标注基地，战略利好下，大批中文高质料数据集加速诞生。
技能有冲破。中文数据因“歧义多、语境依赖强”，早期标注老本是英文数据的1.8—2.5倍，跟着技能不断首先，开辟难度也在镌汰。举例，国内某“中文语义标注系统”已可自动辩认“打毛衣”“打电话”中“打”的含义，让标注成果普及了3倍，且老本灵验镌汰。
行业有共鸣。国内垂直场景对“中文适配”大模子的需求不断升温，推动中文数据从“辅助补充”变为“中枢资源”，更多企业参与到中文数据的开辟之中。如中国移动已建成狡饰超30个行业、超3500TB（太字节）的通用高质料数据集。
协同建范例，细分多场景
Token（常常所说的“词元”）是处理文本的最极少据单位。数据剖释，2024岁首，我国日均Token的破钞量为1000亿，收尾本年9月底，我国日均Token破钞量已冲破40万亿。这些数字背后，是中文数据资源的快速蕴蓄和价值开释。
怎样进一步增强中文数据的开辟和供给？各人学者带来了念念考和建议。
首先是建范例。现存的中文数据中，访佛的践诺多、质料高的少，尤其是在医疗、工业等垂直领域，高质料数据更是稀缺。比如医疗数据，有的病院纪录病历只写“发热”，有的会写“发热38.5摄氏度、伴咳嗽2天”，若无范例的“尺子”判断数据质料，进一步的开辟难以鼓吹。
“明确了不同领域的中文标注范例后，才更故意于诞生和完善评价、激发机制。”孟庆国以为，应加速盘问制定中文数据分级范例，从而开释中文数据的供给活力。
其次是强技能。高质料数据集的诞生过程中仍不行幸免会遭遇大批数据孤岛和合规贫寒，比如，不同机构的数据因为遁藏安全等合规要求，难以跨域领路，导致各机构访佛开展数据标注，既奢靡资源，又无法造陈规模效应。
“可膨大欺骗新一代标注技能，在原始数据不出域且保证遁藏安全的条目下，完成跨机构协同标注，从而整合多机构力量，幸免访佛劳动。”赵艳军说。
此外要补场景。我国产业体系完备，其广度和深度决定了需要更多细分场景的中文数据。“比如，在元天地等新兴场景中，中文数据使用量仅为英文的1/5；又如，中医、非遗等传统场景数字化进程低，大批真贵信息尚未升沉为可用数据资源。”孟庆国暗示，可推动政产学研用协同，专项鸠集各式垂直场景中文数据，激活产业欺骗。
鼓吹文化和科技和会
“十五五”经兴修议冷落，“鼓吹文化和科技和会”。探索文化和科技和会的灵验机制，需要用互联网念念维和信息技能校正文化创作坐蓐经过，推动文化诞生数智化赋能、信息化转型。
“文化IP+科技体验”，重塑文旅产业生态。通过线上数字平台与线下千里浸场景的聚拢，多地打造数字文旅空间、开辟“旅游+智能体”新欺骗等，结束文化和科技双向赋能。“文化创作+东谈主工智能”，拓展产业和会场景。现时，以大模子为代表的AI技能，与影视、文博等领域深度和会，催生出AI短剧、博物馆数字文创等新家具，不仅丰富了文化抒发神色，也培育出更多文化消费新场景。“性情文化+数字技能”，助力乡村全面振兴。通过数字技能，将地标农家具、乡村非遗武艺融入微短剧等践诺创作，省略进一步普及性情文化家具的创意才妥洽确认力，为乡村全面振兴注入新动能。
——北京大学文化产业盘问院学术委员会主任 陈少峰