2022年 第23卷 第6期
《信息与电子工程前沿（英文）》 >> 2022年 第23卷 第6期 doi: 10.1631/FITEE.2100016
面向高性能计算的自部署运行环境
国防科技大学计算机学院，中国长沙市，410073
下一篇 上一篇
摘要
传统高性能计算系统提供了标准的预置环境来支持科学计算。然而，高性能计算的发展需要为越来越多应用提供支持，如人工智能、大数据等。标准的预设环境已无法满足这些多样化的要求。如果用户仍然在高性能计算系统上运行这些新兴应用程序，他们需要手动维护应用程序的特定依赖项（库、环境变量等），这增加了用户的开发和部署负担。此外，多用户模式也带来用户之间的隐私问题。像Docker和Singularity这样的容器可以封装作业的执行环境，但是在高度定制的高性能计算系统中，Docker和Singularity的跨环境应用部署是受限的。容器镜像的引入也给系统管理员增加了维护负担。针对上述问题，本文提出一种适用于高性能计算的自部署执行环境（SDEE）。SDEE结合了传统虚拟化和现代容器的优点，为用户提供了一个独立、可定制的环境（类似于虚拟机）。该用户是此环境中的根用户。用户开发和调试应用程序，并在此环境中部署其特殊的依赖项，然后可以通过传统高性能计算系统的作业管理系统，直接将作业加载到计算节点。作业及其依赖项将被自动分析、打包、部署和执行。该过程实现了透明、快速的作业部署，不仅减轻了用户负担，而且保护了用户隐私。实验表明，SDEE引入的开销可忽略不计，比Docker和Singularity都要低。
京公网安备 11010502051620号
