中国在中文训练数据上遇到瓶颈：新的障碍不是芯片

**中国在人工智能（AI）竞赛中面临新的瓶颈：中文训练数据的短缺。尽管芯片问题占据了讨论的中心，专家警告称，中文内容仅占全球网络内容的1.3%，这可能会阻碍该国AI模型的发展。

• 中文仅占全球网络内容的1.3%，而英语占49%。
• 北京计划在2028年前建立经过验证的国家数据集，以推动AI发展。
• 华夏等出版机构已经禁止使用其内容来训练AI。

中国在人工智能（AI）领域的竞争面临一个新的限制，这个限制与半导体无关。尽管美国对先进芯片的出口管制引起了广泛关注，但中国正在面临高质量中文训练数据的短缺。这种短缺同样可能成为限制因素，与硬件不同的是，没有简单的技术解决方案。

根据互联网追踪器W3Techs的数据，中文仅占全球网络内容的1.3%。相比之下，英语几乎占据了一半，西班牙语占6%，日语占5%。这种不平衡直接影响到中国开发先进语言模型的能力。

全球数据壁垒

数据短缺并非中国所独有，但这个问题在中国表现得尤为严重。Epoch AI估计，全球高质量公共文本的供应可能在六年内完全耗尽。OpenAI的联合创始人安德烈·卡尔帕西（Andrej Karpathy）警告称，可能在本十年末出现“数据壁垒”。

中国开发者为有用的token支付的费用已经高于他们的西方同行。原因很简单：他们的模型必须使用更少的母语材料，这增加了训练成本。在复杂任务中，中国模型的表现与美国模型的差距显而易见。

问题的严重性还在于中国的数字生态系统是封闭的。像微信和抖音这样的平台不与外部开发者共享数据，导致AI实验室只能使用质量较低的来源。与西方相比，西方有更多的公共社交媒体和论坛数据可供访问，而中国则面临内部障碍。

这种情况使专家们认为，数据短缺问题与芯片限制同样严重。没有硬件解决方案可以解决中文文本的短缺。这个问题是结构性的，需要长期战略来应对。

中国政府的回应

北京已经将数据视为战略基础设施。今年6月，国家数据管理局提出了一项国家计划，计划在2028年前建立经过验证的AI训练数据集。这些数据集将涵盖制造、能源、健康、金融、农业、自动驾驶和集成AI等领域。

中国信息通信科技集团（中国信息通信研究院）主席余晓辉表示：“在AI时代的竞争中，不仅仅是模型和计算能力的竞争，还有高质量数据供应系统的竞争。”这一观点反映了官方对问题严重性的认识。

清华大学的计算机科学家孙茂松呼吁当局数字化历史档案、古代手稿、科学文献和地方方言。这些迄今为止未被充分利用的来源可能会显著扩大可用于训练AI模型的语料库。

然而，数字化历史材料是一个成本高昂且缓慢的过程。并非所有内容都以数字格式提供，许多内容需要特殊处理。尽管政府在努力，但短期内与英语的差距仍将巨大。

另一个障碍是出版行业的抵制。例如，华夏出版社最近在一部新翻译作品中添加了一条警告：“禁止使用本书内容进行人工智能训练。违反者将承担法律责任。”这一措施被其他出版商效仿，进一步减少了可用的来源。

美国的优势与巴拿马计划案例

在美国，情况截然不同。创建Claude的公司Anthropic启动了巴拿马计划，购买并销毁了数百万本实体书，以扫描它们并用作训练数据。这一激进的策略与中国面临的稀缺形成鲜明对比。

这种比较说明了数据获取如何成为关键的竞争优势。美国拥有庞大的英语语料库，而中国仅占其语言的1.3%的网络内容。这一差异导致西方的模型更强大、训练更好。

数据非常明确：英语占网络内容的49%，而中文仅占1.3%。为了达到与英语相当的数据量，中国需要将其数字存在扩大近40倍。这是一项艰巨的任务，无法一蹴而就。

专家指出，除了数量，内容的质量也至关重要。互联网上可用的中文文本通常在多样性和质量上低于英语。这影响了模型在推理、理解和文本生成任务中的表现。

数据稀缺也带来了经济影响。中国开发者必须投入更多资源进行数据清理和策展，从而增加了成本。同时，数据的缺乏限制了在医学或工程等新兴领域的创新能力。

对中国人工智能未来的影响

中文数据的稀缺不仅影响人工智能实验室，还影响国家在全球舞台上的竞争力。如果中国无法克服这一障碍，其模型在复杂任务中将继续落后于美国。这可能会阻碍人工智能在经济关键领域的应用。

中国政府意识到这一挑战，因此启动了建设国家数据库的计划。然而，解决方案需要数年才能实现。与此同时，中国企业正在寻找替代方案，如生成合成数据或收购拥有大量文本语料库的公司。

另一条途径是开发多语言模型，利用其他语言的数据。但对中文的关注对于本地应用至关重要，因为语言的准确性至关重要。中文特定数据的缺乏将继续成为模型个性化和适应的障碍。

这则新闻由The Next Web报道，强调了一个常被忽视的观点：人工智能不仅依赖算法和计算能力，还依赖数据。当数据稀缺时，即使是技术强国也会遭遇挫折。中国正在以最艰难的方式学习这一点。

总之，中文训练数据的稀缺是一个结构性问题，没有快速解决方案。与可以通过投资和时间制造的芯片不同，数据是一种有限且难以创造的资源。中国在人工智能主权之路上面临着一堵无法通过工厂或法令打破的墙。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。