系统之家 > IT资讯

国产 1400 亿参数知未智能 KDF 大模型发布，聚焦金融和商业垂直领域

更新日期：2023-07-25

来源：系统之家

【本站】7月25日消息，近日，北京知未智能科技有限公司在上海举行发布会，正式推出知未智能 KDF 大模型，以及一系列基于该模型研发的金融行业工具，为相关行业的产业发展助力。

知未智能 KDF 大模型是一款专注于金融和商业领域的中文模型。在其训练数据中，以中文为主，融合了大量的金融数据，从而大幅提升了模型在商业和金融问题处理方面的能力。

值得一提的是，为了保证模型的通用能力，训练数据还融合了部分英文和代码数据，以确保模型具备处理多种任务的能力。在训练过程中，知未智能 KDF 大模型采用了基于 PyTorch 优化的 GELU 非线性激活函数，这种优秀的激活函数有助于更精确地捕获复杂数据特征，保障了整个开发、训练和部署过程的高效运行。

国产 1400 亿参数知未智能 KDF 大模型发布，聚焦金融和商业垂直领域

为了在保证效果的同时提高可扩展性，开发团队对模型的网络结构进行了深度优化。与 LLaMA 模型相比，知未智能 KDF 大模型在每一层使用更少的参数，有效降低了计算需求和内存占用。与此同时，网络深度也得到了加强，从而让模型具备了更强大的表示能力，能够学习到更为复杂的数据特征。

据本站了解，在训练过程中，开发团队还重新调整了注意力层的 Bias，并引入了 Flash Attention 技术，以节省显存并提高模型训练和推理速度。得益于这项技术的应用，知未智能 KDF 大模型在有限的硬件资源下也能实现更高效的运行。

基准测试结果显示，知未智能 KDF 大模型在七个自然语言处理任务中展现出稳定的性能。在一些任务中，如 iFlytek 和 CMNLI，其表现相对出色。在 ExamQA 和 OCNLI 测试中，各模型的表现大致相同，凸显了该模型处理不同类型文本和领域知识方面的能力。

CEO 段清华表示，现有通用大模型在具体行业应用性和中文能力方面存在局限性，因此知未智能选择从零开始训练 KDF 大模型，以提升其中文能力和行业适用性。他强调，在打造这款“功能强大、性能优越”的中文模型过程中，开发团队深入理解技术细节，并将持续推动公司产品的开发创新。

目前，知未智能 KDF 大模型已在Hugging Face上开源，并将不限制商业使用，为行业发展和应用提供更多可能性。