欧易

您数字货币与 Web3的直通车

数字货币交易和 Web3 - 为您轻松实现

欧易交易所
当前位置:首页-资讯-详情

英伟达推出Nemotron-CC数据库,助力大语言模型训练

1月13日,英伟达通过官方博客宣布推出一款名为Nemotron-CC的全新大型英文AI训练数据库,总计包含6.3万亿个Token,其中1.9万亿为合成数据。英伟达表示,这款数据库将为学术界和企业界提供有力支持,推动大语言模型的训练进程,弥补现有公开数据库在规模和质量上的不足。

随着大语言模型的不断发展,训练数据的质量和规模对模型的表现起着至关重要的作用。然而,现有的公开训练数据库在这方面存在一定的瓶颈。尽管像Common Crawl这样的开源数据集为开发者提供了大量数据,但这些数据的质量参差不齐,且在规模上无法满足越来越复杂的大语言模型的需求。英伟达的Nemotron-CC数据库的推出,正是为了解决这些问题,提供一个高质量且大规模的训练数据集。

根据英伟达的介绍,Nemotron-CC包含6.3万亿个Token,这些Token涵盖了来自全球各类来源的丰富信息,其中1.9万亿Token来自合成数据,这为大规模训练提供了更多的灵活性和多样性。在数据来源上,Nemotron-CC基于知名的Common Crawl网站的数据,经过严格的数据筛选和处理后,提取出一个高质量的子集——Nemotron-CC-HQ。该高质量子集确保了训练数据不仅在数量上达到要求,在质量上也达到了行业领先水平。

在性能表现方面,英伟达对比了Nemotron-CC和目前业界领先的公开英文训练数据库DCLM(Deep Common Crawl Language Model)。结果表明,使用Nemotron-CC-HQ进行训练的模型,在MMLU(Massive Multitask Language Understanding)基准测试中的得分提高了5.6分,显著优于现有的主流数据集。此外,使用Nemotron-CC训练的80亿参数模型,在多个基准测试中也表现出色。在MMLU基准测试中,Nemotron-CC训练的模型分数提升了5分,在ARC-Challenge基准测试中提升了3.1分,在10项不同任务的平均表现中提高了0.5分,超越了基于Llama 3数据集开发的Llama 3.1 8B模型。

英伟达的Nemotron-CC数据库在提高模型训练精度和效率方面的表现,得到了业内的高度评价。通过提供更加优质的大规模数据集,Nemotron-CC将极大推动大语言模型的训练与应用,特别是在自然语言理解、自动化问答系统、机器翻译等领域。这意味着,未来的AI模型将能够更加精准地理解复杂的语言任务,并为企业和学术界提供更加可靠的技术支持。

综合来看,Nemotron-CC数据库不仅填补了目前AI训练数据集在规模和质量上的空白,还通过其高质量的数据集成和性能优化,推动了大语言模型的进一步进化。随着AI技术的不断发展,像Nemotron-CC这样的训练数据库将成为推动行业前进的重要力量,帮助AI模型不断突破瓶颈,实现更广泛的应用。

相关报道

JuCoin上线三款热门Meme币,链上优选专区拓展资产配置选择 2025-07-24

JuCoin上线三款热门Meme币,链上优选专区拓展资产配置选择

2025年7月24日,JuCoin官方宣布,其链上交易模块“Selection优选专区”已正式上线三款市场关注度极高的Meme币资产:memecoin、PYTHIA和AOL Coin。

Read More
Bitget Wallet上线多元消费支付功能 支持京东、Steam等平台 2025-07-24

Bitget Wallet上线多元消费支付功能 支持京东、Steam等平台

Bitget Wallet 近日宣布,正式上线涵盖多个日常消费场景的加密货币支付功能。

Read More
Coinbase Ventures支持AI代理平台Bankr,推动Base生态智能化发展 2025-07-24

Coinbase Ventures支持AI代理平台Bankr,推动Base生态智能化发展

Coinbase Ventures于7月24日宣布,将通过Base生态系统基金投资支持AI代理平台Bankr。

Read More
美国银行家协会反对稳定币公司国家信托银行牌照申请 2025-07-24

美国银行家协会反对稳定币公司国家信托银行牌照申请

近期,美国银行家协会(ABA)向美国货币监理署(OCC)发出正式函件,表达了对包括Circle、Fidelity Digital Assets、Protego Trust和Ripple四家公司申请国家信托银行牌照的强烈反对。

Read More
Dexari自托管交易App上线,开启多重奖励计划 2025-07-24

Dexari自托管交易App上线,开启多重奖励计划

Dexari近日宣布,其自托管交易应用现已正式上线iOS和安卓平台,用户无需邀请码即可自由注册使用。

Read More
Lion Group加码加密资产 持仓总额接近千万美元 2025-07-24

Lion Group加码加密资产 持仓总额接近千万美元

根据美国证券交易委员会(SEC)近期披露的文件,纳斯达克上市公司 Lion Group(狮子集团)再次扩大了其在加密资产领域的布局,最新增持了SUI代币。

Read More

立即创建 账号,开始交易!

创建账号