【信息科学与工程学】计算机科学与自动化——第三百零五篇 数据中心 Scale-Up、Scale-Out、Scale-Across 17
大语言模型(LLM)、多模态大模型(MMLM)、机器学习/深度学习(ML/DL)、计算机图形图像模型(CGI)、语音大模型(Speech) 在数据中心Scale Up(单机多卡)、Scale Out(多机多卡)、Scale Across(跨数据中心/混合扩展) 场景的关键问题。编号 6833Scale/领域链路: 计算机图形图像模型 - Scale Up(神经辐射场的体渲染并行)问题: 光线采样点的批量计算与内存优化逐步推理的数学表达式及参数列表、常量及变量每条光线采样 Ns个点,每点计算 MLP 得到颜色和密度。总点数 N=Nrays⋅Ns,MLP 计算量 C=N⋅(2d2+4d)FLOPs(假设单层 MLP)。批量大小 B受显存限制:Mper=B⋅(d⋅4+output⋅4)≤Mavail。参数:Nrays,Ns,d,显存容量 Mavail。常量:FP32 4 字节。数值范围和数值分析和极限和边界条件和范围典型值:Nrays=105,Ns=64,d=256→ N=6.4×106。MLP 计算量约 6.4×106×(2×2562+4×