上海AI实验室开源工具箱XTuner 8GB显卡就可训练大模型

极客号(Daydx.com)9月20日 消息:近日,上海人工智能实验室发布了一款面向大模型训练的开源工具箱XTuner,通过支持多种硬件适配,大幅降低了企业进行大模型训练的门槛,尤其是对中小企业具有重要意义。

上海AI实验室开源工具箱XTuner 8GB显卡就可训练大模型

XTuner为各类开源模型提供了多样的微调框架

XTuner支持与多款开源大模型的无缝衔接,可执行增量预训练、指令微调等任务类型。开发者仅需使用8GB消费级显卡,就可以训练出适用于具体业务场景的“专属大模型”。这极大地降低了进行大模型训练的“真金白银”成本。

XTuner还具备支持多种数据集格式适配、结合社区主流开源训练框架、一键式标准化训练流程等功能。这些“黑科技”令开发者可以更专注于数据本身,而其余训练流程可完全交给XTuner自动化完成。

通过XTuner,开发者可以轻松为大模型添加新功能,例如赋予颜色识别、搜索引擎等能力。这有助于根据具体业务需求,对通用预训练模型进行快速定制优化。

XTuner的发布再次巩固了上海AI实验室在大模型研发与应用领域的全链条开源布局。该实验室此前已开源发布多项大模型工具,并提供免费商用。业内人士表示,这将推动我国在人工智能核心领域的技术进步。

开源链接:

https://github.com/InternLM/xtuner

本文内容及图片均整理自互联网,不代表本站立场,版权归原作者所有,如有侵权请联系admin#jikehao.com删除。
(0)
极客号的头像极客号
上一篇 2023年 9月 20日
下一篇 2023年 9月 20日

相关推荐

合作联系:1152QQ041010