英特尔：2023云原生产业大会-构建可信AIGC云原生应用-16页

构建可信的AIGC云原生应用刘秉伟2023年12月1日英特尔软件与先进技术事业部系统软件高级总监构建可信AIGC云原生应用机密容器（ConfidentialContainers)构建可信AIGC应用英特尔®平台的可信AIGC能力容器运行时安全的演进CNCF沙箱项目-ConfidentialContainers(CoCo)状态•广泛的业界支持•2022年3月成为CNCF沙箱项目•完整的安全特性•应用场景驱动机密计算•利用HardwareTEE保护应用/模型/数据•基于远程证明构建信任•把基础设施服务提供者排除在可信计算基（TCB）之外•提供安全上云的新范式云原生•容器和K8S生态•聚焦应用•弹性•高密设计原则•易用无需应用修改•容易部署和运维•非常容易和各种云服务集成•Pod级TCB，IT运维人员天然不可信•端到端零信任覆盖运行时/存储/网络/secretsCoCo项目的技术路线图https://github.com/confidential-containers基于硬件TEE的安全加固构建可信AIGC云原生应用机密容器（ConfidentialContainers)构建可信AIGC应用英特尔®平台的可信AIGC能力英特尔®高级矩阵扩展(AdvancedMatrixeXtensions)第四代英特尔®至强®CPUMaxIntel®ExtensionforPyTorch*的大语言模型优化•针对大语言模型做了大量定制的优化•更高效的LLM定制化GEMM内核来充分发挥AMX和DDR5的性能•IndirectaccessKVcache优化了LLM的MHA计算瓶颈•更激进的面向LLM典型结构的算子融合算法•多种低精度数据类型支持来更好的满足各种应用场景•BF16,INT8,INT4•内置多CPU/多节点扩展支持，弹性扩展性能和性价比EcosystemLibrariesoneDNNoneMKLoneCCLSYCLIntel®ExtensionforPyTorchPyGTritonTorchvisionTorchServeDeepLearningFram...