广电五舟基于银河麒麟操作系统的DeepSeek大模型解决方案
方案背景
Programme background
在人工智能技术迅猛发展的今天,大型语言模型(LLMs)已经在各行业中崭露头角,扮演着关键角色。2024年1月5日,杭州深度求索发布了第一个DeepSeek LLM大模型,DeepSeek LLM包含670亿参数,从零开始在一个包含2万亿token的数据集上进行了训练,数据集涵盖中英文。2025年1月20日,DeepSeek正式发布 DeepSeek-R1 模型,并同步开源模型权重。DeepSeek-R1在后训练阶段大规模使用了强化学习技术,极大提升了模型推理能力。
方案概述
Overview of the solution
广电五舟基于DeepSeek和麒麟系统,打造出性能卓越、易于使用的产品方案。该方案在高性能计算、大数据和AI技术等领域表现尤为突出,能够适用于多种复杂场景。无论是气象、生物信息学等大规模计算任务,还是金融、医疗行业的数据分析与决策工作,亦或是交通管理、安防监控等 AI 驱动场景,该产品方案都能凭借强大的性能和高安全性,为科研机构与企业提供坚实的技术支撑。
技术路线
Technical route
芯片架构:昇腾、英伟达、海光
整机硬件:S800K3、S800K2、S627G5、S627H5
操作系统:银河麒麟高级服务器操作系统 V10、银河麒麟桌面操作系统 V10
基础软件:MindIE、Vllm
应用软件:openweb UI、oneapi
方案架构
Scheme architecture
方案优势
Solution advantage
基于银河麒麟操作系统对推理引擎深度优化,推理性能吞吐大幅度提升;
支持一键部署免去大量算力适配环节;
应用场景
Application scenarios
本方案主要应用于数字政府业务智能系统协同银河麒麟高级服务器操作系统V10,结合上层智能化调度平台,实现一站式大模型训练推理调度开发,从而实现各种开放式能力服务。
成功案例
Success case
案例名称:某市某政府单位大模型项目
建设内容:基于麒麟系统的deepseek大模型推理
案例价值:采用昇腾算力服务器,在银河麒麟高级服务器操作系统V10上快速构建大模型推理应用,实现多个智能场景应用,例如:智能客服,,大数据分析总结,文档智能生成审查等场景,大量减少重复性工作。