国产 1400 亿参数知未智能 KDF 大模型发布,聚焦金融和商业垂直领域

更新日期:2023-07-25

来源:系统之家

【本站】7月25日消息,近日,北京知未智能科技有限公司在上海举行发布会,正式推出知未智能 KDF 大模型,以及一系列基于该模型研发的金融行业工具,为相关行业的产业发展助力。

知未智能 KDF 大模型是一款专注于金融和商业领域的中文模型。在其训练数据中,以中文为主,融合了大量的金融数据,从而大幅提升了模型在商业和金融问题处理方面的能力。

值得一提的是,为了保证模型的通用能力,训练数据还融合了部分英文和代码数据,以确保模型具备处理多种任务的能力。在训练过程中,知未智能 KDF 大模型采用了基于 PyTorch 优化的 GELU 非线性激活函数,这种优秀的激活函数有助于更精确地捕获复杂数据特征,保障了整个开发、训练和部署过程的高效运行。

国产 1400 亿参数知未智能 KDF 大模型发布,聚焦金融和商业垂直领域

为了在保证效果的同时提高可扩展性,开发团队对模型的网络结构进行了深度优化。与 LLaMA 模型相比,知未智能 KDF 大模型在每一层使用更少的参数,有效降低了计算需求和内存占用。与此同时,网络深度也得到了加强,从而让模型具备了更强大的表示能力,能够学习到更为复杂的数据特征。

据本站了解,在训练过程中,开发团队还重新调整了注意力层的 Bias,并引入了 Flash Attention 技术,以节省显存并提高模型训练和推理速度。得益于这项技术的应用,知未智能 KDF 大模型在有限的硬件资源下也能实现更高效的运行。

基准测试结果显示,知未智能 KDF 大模型在七个自然语言处理任务中展现出稳定的性能。在一些任务中,如 iFlytek 和 CMNLI,其表现相对出色。在 ExamQA 和 OCNLI 测试中,各模型的表现大致相同,凸显了该模型处理不同类型文本和领域知识方面的能力。

CEO 段清华表示,现有通用大模型在具体行业应用性和中文能力方面存在局限性,因此知未智能选择从零开始训练 KDF 大模型,以提升其中文能力和行业适用性。他强调,在打造这款“功能强大、性能优越”的中文模型过程中,开发团队深入理解技术细节,并将持续推动公司产品的开发创新。

目前,知未智能 KDF 大模型已在Hugging Face上开源,并将不限制商业使用,为行业发展和应用提供更多可能性。