电子行业“AI的裂变时刻”系列报告3：为什么H20的推理性价比高？-240317-广发证券-14页

[Table_Page]行业专题研究电子2024年3月17日证券研究报告“AI[Table_Title]的裂变时刻”系列报告3为什么H20的推理性价比高？分析[T师ab：l王亮分析师：耿正分析师：任思儒e_Author]SAC执证号：S0260519060001SAC执证号：S0260520090002SAC执证号：S0260524030001SFCCE.no:BFS478021-38003658021-38003660021-38003660rensiru@gf.com.cngfwangliang@gf.com.cngengzheng@gf.com.cn请注意，耿正,任思儒并非香港证券及期货事务监察委员会的注册持牌人，不可在香港从事受监管活动。[Table_Summary]核心观点：⚫根据推算，H20推理性能超过H100，L20推理性能比肩L40S。NVIDIAH20和L20是NVIDIA为中国市场定制的算力芯片产品，为满足美国出口管制条例要求，两款产品的核心算力参数均大幅阉割；如H20的FP16、INT8等主要算力参数仅为A100的不足1/2，更是仅为H100的约1/7；L20的主要算力参数相较于L40、L40S分别下降约1/3、2/3。较低的算力参数使得市场对两款产品的性能表现、性价比持悲观或怀疑态度。但是我们根据理论推算，在多数推理场景下，H20的推理速度明显优于A100、甚至优于H100；取三组测试场景（单GPU,Llama2-13B，BS=16，FP16，ISL/OSL分别为128/3968、512/3584、2048/2048）平均值，H20推理性能是A100的1.8倍、是H100的1.1倍。而L20在三组测试场景（单GPU,Llama2-7B，BS=16，FP16，ISL/OSL分别为128/3968、512/3584、2048/2048）中，推理性能也基本与L40S和L40持平。⚫Prefill是算力密集场景，H20受算力制约性能表现较弱。Prefill阶段算力负载体现在对用户所有输入Tokens进行一次并行计算；显存带宽负载主要体现在参数量从HBM向算...