LingBot 全流水线分析：首轮报告（持续补充）

生成时间：2026-09-10T16:50:03.582468+08:00

当前结论只覆盖已核验的数据。完整计划尚未完成；所有局部 Attention 结果均不代表整模型优化已经通过。

首页摘要：16项验收状态与证据入口

验收表生成时间 2026-09-10T08:45:13.764688+00:00（UTC）；full_plan_complete=False。状态只来自 analysis/plan_acceptance_audit.json，本摘要不会把部分完成升级为通过。完成路线见 completion_plan_20260910.md（2026-09-10 用户确认：16项全部通过或有边界闭合；源码统一冻结Case D；数值验收在eager模式对exact参考按既定门槛；H1–H5每个候选一个experiment_id）。

已知负结果（保留，不重试同口径）：

• 两种编译模式（default、reduce-overhead）跨启动重复均 0/40 通过门槛；eager 跨启动逐位一致，是候选判定的唯一参考。
• cuDNN cross 与 SDPA Flash cross 候选：局部通过，整模型 0/40 通过门槛；不接受。
• 两个含全部转换成本的 VAE channels-last 局部 A/B：逐值一致但分别慢 22.42%、14.82%；不接受。
• 长尾 6 次运行仅 epoch0/1 保存完整输出，其余不可补回；最终验收长尾将重跑并保存全部输出。
• 704×1280 稳态约 4.89 FPS，与 12 FPS 目标差约 2.46 倍；480×832 约 14.4 FPS 已高于 12。

唯一局部正结果：输出转换 Triton 融合，20 份真实输入与 775 个取整边界值逐字节一致，含 D2H 局部耗时降低 23.76%/31.84%；尚未集成整模型验收。

当前可用结论

首轮固定报告包已在2026-09-10 08:40（北京时间）交付，以下为持续补充的在线版本；完整研究计划仍未全部完成。

• Attention：12个配置的代表上下文共尝试1008个回放点，1004个通过审核，4个SDPA math点显存不足；并非所有模型层完整覆盖。
• 硬件证据：59种真实线性/卷积/转换代表输入共183次NCU kernel记录（含一项调度异常备注），以及同卡FA2/FA3对照已审核；原始输入、计数器和输出证据可复用。
• 同卡参考：计算与连续读写带宽校准已完成，12个算子纳入经验参考图；这不是整模型MFU或理论硬件峰值。
• 优化验收：cuDNN cross候选未通过整模型误差门槛；含全部转换成本的VAE局部channels-last候选反而慢约22.42%，不认领加速。SDPA Flash cross整模型候选40份输出也全部未通过门槛；新参考40份逐值一致，失败证据与单次耗时见末节。
• 性能边界：现有交付计时主要到CPU-ready uint8；编码、网络、客户端播放、背压与取消仍未建立完整证据。
• 数据限制：六次长尾运行保存了逐次计时/哈希，但后续轮次未保留完整输出；已缺失的完整输出不能从哈希恢复。所有新实验继续保存独立目录和校验清单。

后文保留历史失败、诊断与各次补充，均按测量范围解释；旧阶段的限制如已解决，以对应更新章节为准。

首轮固定版本报告包：下载tar.gz（10.54MB） · SHA256校验文件。包含报告、图表、下载数据、脚本和索引；不包含约326GB完整原始实验文件。解压后的README_CN.md说明离线查看方式和原始数据位置。在线报告继续更新，固定包保留打包时点内容。

首轮报告：当前可确认的结论

以下结论优先于后文按实验阶段保留的历史记录。完整计划尚未完成。

新增七次短运行每次仅四个稳态计时间隔，不能作尾延迟或稳定性证明。计时复算脚本：scripts/reproduce_execution_control_pilot_timings.py；验证结果：analysis/execution_control_pilot_timing_reproduction.txt。详细数值、范围和证据路径见下文。

原计划逐项验收状态

首轮报告已交付，完整研究计划仍未通过验收。以下保留原计划全部工作包，不将已完成的微基准或时间线核对替代全流水线归因。

下载逐项验收表及证据SHA256。此表是审核时点快照；引用文件之后可能继续更新，快照中的哈希用于识别当时版本。首版报告交付不等于所有要求通过。

历史记录：旧时间线窗口与尾部限制

此前整模型诊断记录中，最后一个具名FA3 kernel早于按当前公式映射的最后DiT结束时间数秒。此现象尚不能证明时钟公式错误，也可能涉及CUDA Graph采集覆盖或日志边界含其他工作。这些旧记录的measured/steady窗口归属不用于完整阶段性能结论。完整时间线中的具名kernel存在性不依赖此窗口转换。四份时间线均已检查进程末尾：部分DiT记录提前结束，退出日志存在worker超时终止记录。旧时间线的稳态kernel归属也暂列待核验；已记录事件数不代表真实调用覆盖100%。这不改变独立CPU-ready计时数据。后续定时写出补采仍缺少部分尾部；再后的worker显式写出v2已通过独立时钟锚点和各worker末块存在性检查，详见下方v2结果。该通过结果不修复本节旧记录。证据：analysis/integrated_window_consistency_review.json、analysis/trace_tail_audit_v1.json；补采任务：raw/flush_trace_workflow_v1.json。

本机计算校准任务

状态：completed_pending_audit。在时间线补采之后，普通用户通过gpu run申请一张卡，运行三次独立进程；各测4096、8192、12288方阵的BF16、FP32禁用TF32和FP32允许TF32配置。每项20次预热、100次CUDA event样本，实际kernel另行记录。审核结果见单卡大矩阵计算校准实测一节；这只提供单卡大矩阵的实测参考，不是硬件规格峰值，也不是模型MFU。证据：raw/calibration_workflow_v1.json。

单卡大矩阵计算校准实测

审核状态：passed。三次独立进程，每个配置20次预热、100次CUDA event样本。表中为三次运行各自中位时长换算的TFLOP/s范围，2MNK为算法FLOPs。实际kernel另行采集，未混入计时。

物理设备：_CudaDeviceProperties(name='NVIDIA L20X', major=9, minor=0, total_memory=143166MB, multi_processor_count=132, uuid=006eb78c-23cb-f37d-eb7c-0ccb578b8f11, pci_bus_id=8, pci_device_id=0, pci_domain_id=0, L2_cache_size=60MB)。仅校准这张卡，不将其当作所有GPU或所有shape的上限。允许TF32与禁用TF32必须分开解释；BF16独立Attention的有效FLOP吞吐也不能直接等同大GEMM利用率。尚未完成硬件规格上限核验及DRAM/L2字节测量，不生成完整roofline或模型MFU结论。下载校准CSV与完整kernel名称。证据：analysis/local_gemm_calibration_audit.json。

未插桩基线扩样安排

状态：六次运行均已结束并通过计时审核。在前序采集/校准之后，两种分辨率各三次独立启动，每次1轮预热+250个reset session，目标1000个稳态交付间隔。基于原始参考实现，不表示rebase或cuDNN候选已通过数值验收。受GPU等待和08:30截止限制，未完成时保留实际样本数，不宣称大样本验收通过。状态与完整命令：raw/tail_baseline_workflow_v1.json。

480×832三次独立运行的差异

三次均完成250个测量session、1000个稳态间隔，并通过独立时间戳复核。FPS范围14.379–14.550，最高相对最低高1.19%；P99范围837.774–865.680 ms，相差3.33%。每次最大间隔范围881.423–1028.816 ms。

这里满足本分辨率三次独立启动、每次1000稳态样本的数量要求；范围仅描述这三次观测，没有合并样本缩小置信区间，也不能将观测最大值作为未来延迟上限。首轮GPU0–3，后两轮GPU4–7；启动状态与设备影响尚未隔离。输出跨启动数值门槛未通过，不能据此接受优化候选。高分辨率重复实验另行报告。

证据：analysis/tail_480_three_launch_summary.json，包含各次metrics文件SHA256。

704×1280三次独立运行汇总

三次均完成250个测量session、1000个稳态交付间隔，并通过原始时间戳独立复核。均使用GPU4–7；CPU-ready uint8边界，不含编码和网络。

这些范围只描述三次启动，没有预设稳定性通过阈值，也未合并样本缩小置信区间。观测最大值不是未来上限。保存输出跨启动未通过原数值门槛，不接受优化候选。退出清理阶段有worker及共享资源警告，完整日志保留。

第三轮逐次计时CSV · 第三轮分布图。证据：analysis/tail_704_three_launch_summary.json，含各次metrics校验和。

大样本基线：已审核结果

CPU审核状态：terminal_runs_audited；目前通过完整性审核的独立运行数：6。仅将成功结束且审核通过的运行列入下表；运行中和失败任务不计为有效完成。

图保留全部稳态样本和最大停顿，不进行尾部裁剪；仅代表本次独立启动。

tail_original_480x832_r0_v1：P99的进程内session分组bootstrap 95%区间为836.430–842.137 ms；不是独立启动之间的置信区间。

下载tail_original_480x832_r0_v1全部逐块计时CSV。CSV保留非稳态块并提供steady标记；最终稳态统计仅使用每个测量session的间隔5–8，原始时间戳另行重算审核通过。

图保留全部稳态样本和最大停顿，不进行尾部裁剪；仅代表本次独立启动。

tail_original_480x832_r1_v1：P99的进程内session分组bootstrap 95%区间为853.742–885.880 ms；不是独立启动之间的置信区间。

下载tail_original_480x832_r1_v1全部逐块计时CSV。CSV保留非稳态块并提供steady标记；最终稳态统计仅使用每个测量session的间隔5–8，原始时间戳另行重算审核通过。

图保留全部稳态样本和最大停顿，不进行尾部裁剪；仅代表本次独立启动。

tail_original_480x832_r2_v1：P99的进程内session分组bootstrap 95%区间为845.721–861.729 ms；不是独立启动之间的置信区间。

下载tail_original_480x832_r2_v1全部逐块计时CSV。CSV保留非稳态块并提供steady标记；最终稳态统计仅使用每个测量session的间隔5–8，原始时间戳另行重算审核通过。

图保留全部稳态样本和最大停顿，不进行尾部裁剪；仅代表本次独立启动。

tail_original_704x1280_r0_v1：P99的进程内session分组bootstrap 95%区间为2497.196–2703.041 ms；不是独立启动之间的置信区间。

下载tail_original_704x1280_r0_v1全部逐块计时CSV。CSV保留非稳态块并提供steady标记；最终稳态统计仅使用每个测量session的间隔5–8，原始时间戳另行重算审核通过。

图保留全部稳态样本和最大停顿，不进行尾部裁剪；仅代表本次独立启动。

tail_original_704x1280_r1_v1：P99的进程内session分组bootstrap 95%区间为2513.651–2753.144 ms；不是独立启动之间的置信区间。

下载tail_original_704x1280_r1_v1全部逐块计时CSV。CSV保留非稳态块并提供steady标记；最终稳态统计仅使用每个测量session的间隔5–8，原始时间戳另行重算审核通过。

图保留全部稳态样本和最大停顿，不进行尾部裁剪；仅代表本次独立启动。

tail_original_704x1280_r2_v1：P99的进程内session分组bootstrap 95%区间为2471.552–2481.631 ms；不是独立启动之间的置信区间。

下载tail_original_704x1280_r2_v1全部逐块计时CSV。CSV保留非稳态块并提供steady标记；最终稳态统计仅使用每个测量session的间隔5–8，原始时间戳另行重算审核通过。

每次目标250个reset session、1000个稳态间隔；它们来自同一模型进程，不等于1000次独立启动。原始每块计时及session整组bootstrap区间保存在每个analysis/*_timing目录，重复运行之间仍需分别比较。P99不代表客户端SLA，边界仍为CPU-ready uint8。证据：raw/tail_timing_audit_workflow_v1.json。

相同GPU组的跨启动输出控制

r1与r2均分配GPU4–7，源码、冻结脚本、输入哈希、计时边界和profiler模式一致。保存的epoch0/1共40项对应输出全部完成比较，均未通过原数值门槛。该结果说明跨启动差异不能仅用GPU组不同解释；仍不能确定启动状态、随机数或算法选择中的具体原因。输出比较与计时审核是独立检查；三轮计时结果见扩样表，计时通过不表示输出数值门槛通过。

证据：analysis/tail_480_r1_r2_saved_output_comparison.json（逐文件哈希与误差）、analysis/tail_480_r1_r2_output_summary.json（身份检查）。这些是同版本控制，不是后端优化收益或感知质量认证。

704×1280第二、三次运行的保存输出对比

已比较40个保存张量，40个未通过冻结数值门槛。范围仅为epoch 0、1的latent与像素输出，不能推广到全部250个测量session。

• latent相对L2范围：0.029937–0.403371。
• 归一化像素RMSE范围：0.017613–0.291942。

这是原始模型跨启动控制，数值差异原因尚未定位；不能据此接受优化或放宽正确性门槛。逐文件误差与哈希保存在analysis/tail_704_r1_r2_saved_output_comparison.json。

704×1280两次原始模型运行的保存输出对比

已比较40个保存张量，40个未通过冻结数值门槛。范围仅为epoch 0、1的latent与像素输出，不能推广到全部250个测量session。

• latent相对L2范围：0.036485–0.309353。
• 归一化像素RMSE范围：0.019445–0.212082。

这是原始模型跨启动控制，数值差异原因尚未定位；不能据此接受优化或放宽正确性门槛。逐文件误差与哈希保存在analysis/tail_704_r0_r1_saved_output_comparison.json。

第二轮长尾样本的时间戳分解

第二轮1000个稳态间隔也通过非负与分段求和检查。最大样本位于epoch=32、chunk=8，交付间隔1010.481 ms。其中latent-ready到发出解码为180.323 ms，该段全样本中位数为4.817 ms；该样本DiT区间675.661 ms，decoder计算区间130.184 ms。

本轮最大样本的额外间隔与首轮所在位置不同，不能将所有长尾归因于同一个阶段。这里仅定位主机标记之间的间隔，没有CPU采样和逐事件关联，不能确认具体函数、调度抢占或通信原因。

下载第二轮1000个间隔分解CSV。证据：analysis/tail_original_480x832_r1_v1_components/summary.json。

第三轮长尾样本的时间戳分解

第三轮1000个稳态间隔通过非负与分段求和检查。最大样本位于epoch=162、chunk=6，交付间隔881.423 ms；DiT主机区间687.571 ms，decoder计算区间131.408 ms。DiT结束到latent-ready为18.194 ms，该段中位数为0.115 ms。

这些数值是同一节点主机时间标记之间的区间，不能证明GPU kernel或CPU调度的具体原因，也不能把不同样本各段最大值相加。

下载第三轮1000个间隔分解CSV。证据：analysis/tail_original_480x832_r2_v1_components/summary.json。

704×1280第三轮长尾时间戳分解

1000个稳态间隔均通过非负与分段求和检查。最大交付间隔位于epoch=163、chunk=5，总长2711.041 ms。

该样本latent-ready到发出解码为262.391 ms，该段中位数6.849 ms；DiT与decoder区间接近各自中位数。没有CPU采样证据，不能确定具体原因。这是主机标记区间分解，不是逐kernel硬件归因；各段中位数不能相加作为总间隔中位数。

下载高分辨率第三轮1000个间隔分解CSV。证据：analysis/tail_original_704x1280_r2_v1_components/summary.json。

704×1280第二轮长尾时间戳分解

1000个稳态间隔均通过非负与分段求和检查。最大交付间隔位于epoch=11、chunk=7，总长2980.876 ms。

该样本在DiT区间、发出解码前的间隔及decoder区间均有增加，不能把长尾归于单一阶段。这是主机标记区间分解，不是逐kernel硬件归因；各段中位数不能相加作为总间隔中位数。

下载高分辨率第二轮1000个间隔分解CSV。证据：analysis/tail_original_704x1280_r1_v1_components/summary.json。

704×1280首轮长尾时间戳分解

1000个稳态间隔均通过非负与分段求和检查。最大交付间隔位于epoch=217、chunk=6，总长2899.883 ms。

该样本在DiT区间、发出解码前的间隔及decoder区间均有增加，不能把长尾归于单一阶段。这是主机标记区间分解，不是逐kernel硬件归因；各段中位数不能相加作为总间隔中位数。

下载高分辨率首轮1000个间隔分解CSV。证据：analysis/tail_original_704x1280_r0_v1_components/summary.json。

首轮长尾样本的时间戳分解

对1000个稳态交付间隔使用连续主机时间戳分解，各段均非负且相加等于交付间隔。最大样本位于epoch=129、chunk=7，总长1028.816 ms。各段中位数来自不同样本，不能相加当作整体中位数。

最大样本的主要额外间隔位于主机收到上一块之后、下一块DiT开始之前（199.510 ms，通常中位数2.902 ms）；DiT为670.074 ms、decoder计算为134.991 ms，接近各自通常水平。这定位到需要进一步观察的控制流程间隔，但没有CPU采样或调度证据，不能归因为某个Python函数、抢占或GPU kernel。

下载1000个间隔的完整分解CSV。原始证据及检查：analysis/tail_original_480x832_r0_v1_components/summary.json、raw/tail_original_480x832_r0_v1/out/summary.json。

扩样两次启动的保存输出对照

r0与r1保存的epoch0/1共40项完整输出均完成比较，均未通过既定数值门槛。源码提交、冻结脚本、输入文件哈希和计时模式一致；GPU分配分别为0–3与4–7，不能把差异归因于某一后端，也不能单独归因为进程随机性。第二次计时运行的完整样本审核独立进行。

像素先归一化到[-1,1]再计算RMSE；latent使用相对L2及原allclose门槛。没有临时放宽阈值。这是同源重复运行的数值差异，性能重复不构成数值等价证明；不同GPU组也是后续性能比较需保留的条件。证据：analysis/tail_480_r0_r1_saved_output_comparison.json与tail_480_r0_r1_output_summary.json。

六轮扩样：进程内输出哈希一致性

六次独立运行分别检查epoch 1–250的10个chunk：latent与解码输出共120组，每组250条，测量epoch完整且每组只有一个哈希。源码中哈希来自对应CPU张量的完整字节；预热epoch 0不计入该检查。

这支持每次启动内部对应chunk的记录输出重复一致；不同启动保存张量仍未通过原数值门槛。不能把进程内一致性当成跨启动或后端间等价，也不能据此确定随机数、算法选择或启动状态中的具体原因。未保存的完整输出无法从哈希还原或计算逐像素误差。

证据：analysis/tail_six_launch_hash_repeatability.json，保留每个chunk的哈希、计数及六份原始summary的SHA256；复核脚本scripts/audit_tail_hash_repeatability.py。

跨启动差异：随机状态与条件张量诊断

两次独立诊断采用480×832、原始参考代码、seed42、四卡Ulysses4，每次3个session。只保存各rank前12次block调用的条件、相机、文本嵌入、显式生成器状态、全局CUDA随机状态、四份噪声和输出；同步及保存会改变耗时，不计入干净性能基线。

manifest状态不是进程存活证明。第一版钩子因继承的分辨率条件未启用，退出0但没有随机状态数据，已明确判为采集失败并保留原始目录。第二版修正入口，结束后要求四个rank都有记录；完整张量校验与两次比较结果见诊断结果节；若该节尚未生成，则比较仍待完成。

当前不能确定跨启动差异原因；全局随机状态不同本身也不能证明显式生成器产生的噪声不同。证据：analysis/rng_diagnostic_protocol.json、analysis/rng_diagnostic_r0_v1_capture_failure.json。

跨启动诊断结果：已记录输入一致，block输出不同

两次诊断均返回0，使用相同源码提交、冻结脚本、输入哈希和物理GPU4–7。每次四个rank各12个block、11类张量，共528个保存张量，逐一通过形状、dtype、有限值与内容哈希检查。以下逐位比较不使用放宽阈值。

48组block输出相对L2范围0.016396–0.189984；首个block的四个rank即出现差异。相机、图像条件、文本嵌入、显式生成器前后状态及四份噪声全部相同。全局CUDA随机状态不同，但已采噪声相同，因此不能归因为输入噪声不同。

差异位于已记录的block输入到输出之间。模型权重、缓存、调度参数和逐步中间激活没有全部逐项比较；不能仅凭此归因于某个kernel、编译器或随机状态。该诊断仅覆盖480×832的两次启动及每rank前12个block，不追溯证明历史运行的输入相同，也不是优化候选验收。

原始张量：raw/rng_diagnostic_r0_v2/rng_capture与raw/rng_diagnostic_r1_v2/rng_capture。完整逐张量误差、路径和哈希：analysis/rng_diagnostic_v2_comparison.json。

细化诊断：加载权重一致，首次Transformer输出不同

两次480×832诊断均完成，各保存1728个张量（四rank×12 block×36类），所有文件通过内容哈希、形状、dtype与有限值检查。每个rank的1267项Transformer参数及buffer共5068对，跨启动形状、dtype、SHA256全部一致。

首次Transformer输出相对L2范围0.006816–0.145771。首个block的四个rank也已不同；随后Transformer调用的hidden_states不同，符合差异沿后续步骤传播的观察。

差异范围缩小到首次Transformer调用：已记录权重和四类张量输入一致，输出不同。cache对象、非张量参数及全部内部执行状态未完整比较，不能据此证明具体kernel、编译器或缓存是根因。前向钩子和CPU保存可能改变编译与执行，该结果仅用于诊断，不用于速度结论，也不代表历史基线全部同样。退出阶段worker超时与共享资源清理警告已保留。

证据：analysis/rng_diagnostic_v3_comparison.json、analysis/rng_diagnostic_v3_cross_launch_weights.json；原始张量在raw/rng_diagnostic_r0_v3与raw/rng_diagnostic_r1_v3。

逐层诊断v4：第0层输出首次出现差异

两次480×832四卡诊断均退出0，各2732份张量记录通过内容哈希、形状、dtype及有限值校验。加载参数和buffer共5068对哈希一致。新增层边界仅覆盖首个已捕获Transformer调用，不代表全部调用。

进入第0层前的patch及相机投影模块输入、输出全部逐位一致。arg0为隐藏状态，arg2为时间步投影，arg3为相机状态；两个rotary记录是旋转位置编码。第0层输出在四rank均不同。

差异定位到第0层内部或其读取的状态，尚未定位到具体kernel。缓存对象及非张量参数未记录；文本K/V在进入本次捕获调用前生成，所以没有text_embedding钩子事件。不能把已记录输入相同当作全部执行状态相同。退出清理超时警告已保留，钩子和CPU保存会改变执行，该诊断不作为性能基线或优化验收。

证据：analysis/rng_diagnostic_v4_comparison.json、analysis/rng_diagnostic_v4_cross_launch_weights.json、analysis/rng_diagnostic_v4_cache_source_review.json；原始数据：raw/rng_diagnostic_r0_v4与raw/rng_diagnostic_r1_v4。

第0层内部诊断v5：self-attention输出出现差异

两轮各2852份张量均通过内容哈希、形状、dtype及有限值检查；5068对参数及buffer哈希一致。首个已捕获Transformer调用的第0层中，norm1输入输出一致，self-attention已记录输入一致而输出不同。

其余已记录缓存张量与逻辑标量参数在四rank也一致；相机分支各模块输入输出一致。self-attention之后的norm3、cross-attention及FFN输入已经不同，不能把它们的输出差异当作独立根因。

该模块包含QKV投影、归一化、旋转位置编码、通信、分页Attention及输出投影。尚未逐一比较这些内部边界，完整key_pool/value_pool也未保存，因此不能直接归因于Attention kernel。编译跟踪、重新编译及退出清理警告已保存；钩子和CPU写出会改变执行，该结果只用于诊断，不作为性能基线。

证据：analysis/rng_diagnostic_v5_comparison.json、analysis/rng_diagnostic_v5_cross_launch_weights.json、analysis/rng_diagnostic_v5_cross_launch_cache_metadata.json。原始数据：raw/rng_diagnostic_r0_v5与raw/rng_diagnostic_r1_v5。

内部边界诊断v6：插桩后差异移至第1层

两轮各2908份张量通过内容哈希、形状、dtype及有限值校验。此次新增第0层self-attention内部钩子后，该层输出和分页接口输出逐位一致，但四rank的首次层输出差异均出现在第1层。最终48组block输出仍全部不同；没有解决跨启动差异。

该观察表明差异定位对插桩敏感。新增钩子改变编译边界、执行和同步，不能把v5的self-attention输出差异直接归因于其Attention kernel，也不能把v6的局部一致解释成修复成功。

分页接口返回后的有效K/V相同，不证明kernel读取瞬间的内存状态。5068对记录权重哈希与四rank逻辑缓存标量参数一致。后续应采用预先固定的编译/执行对照，验证未插桩跨启动重复性；本节不给出性能加速结论。

证据：analysis/rng_diagnostic_v6_comparison.json、analysis/rng_diagnostic_v6_cross_launch_weights.json、analysis/rng_diagnostic_v6_cross_launch_cache_metadata.json。原始数据：raw/rng_diagnostic_r0_v6与raw/rng_diagnostic_r1_v6。

未加诊断钩子的执行模式对照

最近记录状态：four_runs_completed; eager_40_of_40_exact; compiled_0_of_40_pass。固定480×832、TP1/SP4、seed42，每次两轮，按eager、compiled、compiled、eager顺序独立启动；只通过gpu run顺序使用四卡。

eager同时关闭模型编译和CUDA Graph预热路径，所以这是组合模式对照，不能单独归因于编译器。分别比较同模式跨启动和不同模式输出；属于小样本重复性检查，不宣称大样本性能结论。证据：analysis/execution_control_protocol_v1.json；raw/execution_control_*_v1。

执行模式首组比较：跨模式数值检查未通过

eager r0与compiled r0均结束，源码、输入哈希、冻结脚本、overlay及物理GPU分配一致。40对完整latent/uint8输出均完成比较，通过原定阈值的数量为0/40。

这只是不同执行模式之间的差异；两种模式各自的跨启动重复性见同模式对照节，不能仅凭本跨模式结果判断哪种模式正确或稳定。暂不把两种输出当作数值等价，也不提出可接受的加速结论。证据：analysis/execution_control_eager0_compiled0_comparison.json与analysis/execution_control_first_pair_provenance.json。

Compiled模式跨启动重复检查

两次未加诊断钩子的compiled运行均结束，40对完整输出全部完成比较，逐位一致0/40，原定数值阈值通过0/40。源码、输入哈希、脚本、overlay、物理GPU及执行模式已核对一致。

这复现了该compiled配置的跨启动数值差异，仍不证明编译器是单独根因；eager跨启动结果见四次对照汇总。证据：analysis/execution_control_compiled_repeat_comparison.json、analysis/execution_control_compiled_pair_provenance.json。

四次执行模式对照完成：eager可重复，compiled仍有差异

按eager、compiled、compiled、eager顺序完成四次独立启动，每次两轮，固定480×832、TP1/SP4、seed42和GPU4–7；没有诊断张量钩子或profiler。每次40份完整latent/uint8输出保留。

eager的40对输出最大绝对误差为0。该小样本控制将差异范围缩小到编译/CUDA Graph组合执行路径相关行为；enforce_eager同时改变两项，不能单独归因于编译器或CUDA Graph，也不能证明其他形状、模型或更多启动都稳定。跨模式输出已未通过原定阈值，不能把eager当作与compiled数值等价的替代，更不能直接据此宣称可接受加速。

证据：analysis/execution_control_eager_repeat_comparison.json、analysis/execution_control_compiled_repeat_comparison.json及两个pair_provenance.json；运行与全部输出：raw/execution_control_*_v1。

保留编译、关闭CUDA Graph配置的补充对照

最近记录状态：both_completed; default_repeat_0_of_40_pass; disabling_cudagraph_configuration_not_sufficient。采用compile mode=default，并显式设置TORCHINDUCTOR_CUDAGRAPHS=0，仍编译模型且不加诊断钩子；计划两次独立启动，每次两轮。

本机PyTorch模式定义中，reduce-overhead相对default增加triton.cudagraphs=True。已有compiled日志确认模型没有rollout预热请求，因此此前不能把该预热视为已实际执行。该补充对照检验CUDA Graph配置与跨启动差异的关系；配置不等于逐kernel运行时追踪证明。源码快照：raw/compile_mode_source_review_v1；协议：analysis/execution_control_default_protocol_v1.json。

Eager与default编译首组输出比较

40对完整输出全部完成比较，原定数值阈值通过0/40。源码、输入、冻结脚本和GPU分配已核对一致。

关闭CUDA Graph配置并不自动使compiled输出与eager数值等价。default模式自身的跨启动重复性见补充对照结果；本跨模式结果不能替代该检查。证据：analysis/execution_control_eager0_default0_comparison.json、analysis/execution_control_eager_default_pair_provenance.json。

关闭CUDA Graph配置后仍有跨启动差异

两次default编译运行均结束，40对完整输出全部比较，逐位一致0/40，原定阈值通过0/40。四进程日志确认mode=default，运行环境显式TORCHINDUCTOR_CUDAGRAPHS=0。

这说明关闭CUDA Graph配置不足以消除该案例的跨启动差异，不能将问题仅归因于reduce-overhead的CUDA Graph路径。当前小样本中eager可逐位复现，两个编译模式均未通过跨启动阈值；具体编译变换、算子实现或状态交互仍未定位，也未用本次运行时trace证明所有CUDA Graph调用缺席。

证据：analysis/execution_control_default_repeat_comparison.json、analysis/execution_control_default_pair_provenance.json；完整运行：raw/execution_control_default_r0_v1与raw/execution_control_default_r1_v1。

Eager参考下的cuDNN cross-attention整模型验证

最近记录状态：completed; 40_of_40_outputs_failed_original_threshold; candidate_not_accepted。已验证eager参考两次启动40对完整输出逐位一致，现在只更换cross-attention为CUDNN_ATTN，保持self-attention、480×832、TP1/SP4、seed42和两轮协议。

先核对后端实际分派，再比较完整输出。沿用原定阈值，不因算子回放通过而宣称整模型等价；数值检查通过前不接受速度优化结论。证据：analysis/cross_candidate_eager_protocol_v1.json；raw/cross_candidate_eager_r0_v1。

Eager整模型cuDNN cross候选未通过数值验收

候选运行退出0，四rank日志选择CUDNN_ATTN，脚本仅改变cross后端配置。与已验证可重复的eager参考比较，40对完整输出逐位一致0/40、原定阈值通过0/40。 latent相对L2范围为0.034454–0.261386。

候选不能按当前标准接受。算子回放的局部误差通过没有转化为整模型数值等价，不能将本候选宣称为有效加速。后端选择日志不代替本次逐kernel trace；原始输出、计时和日志全部保留以便继续分析。证据：analysis/cross_candidate_eager_r0_comparison.json、analysis/cross_candidate_eager_r0_provenance.json；raw/cross_candidate_eager_r0_v1。

执行模式与候选：小样本计时记录

每次仅取epoch1的CPU-ready交付间隔5–8，共4个间隔；排除编码和网络。没有profiler或诊断钩子，但仍有正常基准记录和输出保存。这里只报告实测，不计算小样本p99或宣称稳定加速。

跨模式/候选数值验收未通过，所以表中较快结果不能作为可接受优化收益。DiT时间和交付间隔具有不同边界，不能相加。完整逐间隔数据、源summary路径和哈希：analysis/execution_control_pilot_timings.json。

扩样输出的保存范围

当前冻结计时协议保存预热epoch=0和首个测量epoch=1的完整输出：共20个latent及20个uint8像素张量，文件已核对存在。后续epoch保留逐块latent哈希与计时日志，成功结束的summary还包含解码哈希与计时，但没有保存每轮完整latent/像素张量。

因此后续可重算已记录计时、检查哈希是否一致，并比较前两轮完整输出；不能从哈希恢复其他轮次图像或补算其逐像素误差。若需要所有轮次完整输出，需要额外采集。当前运行没有中途加入磁盘写入改变计时协议。证据：analysis/tail_output_persistence_scope.json。

历史记录：定时写出v1尾部仍不完整

NVTX时钟锚点与原映射偏差约-67.84微秒，锚点偏移范围约59.85微秒。最后一块仅一个DiT进程有具名Attention记录，其余三个没有；因此本次定时写出未解决覆盖问题，不采用其稳态kernel统计作为完整归因。原始报告及流文件均已保存。后续worker显式profiler stop的v2已完成并通过时钟与尾部存在性检查，详见v2专节；本节v1仍不用于完整稳态归因。证据：analysis/original_nsys_flush_v1_anchor_audit.json；后续任务：raw/worker_flush_trace_workflow_v2.json。

Worker显式写出补采：尾部覆盖审核结果

状态：clock_and_tail_checks_passed。独立NVTX锚点与会话映射偏差-34.75微秒，锚点偏移范围77.28微秒。各worker在末块同步后显式profiler stop，本次最后一块记录如下。

四进程最后块均有记录，解决本次补采的尾部缺失检查；这不追溯修复旧报告，也不证明全部层/shape的每次调用完整。退出仍有worker超时警告，不能仅凭退出状态推断采集质量。额外同步及写出使本次属于诊断采集，不能作为未插桩性能或与旧时间线直接比较加速。物理GPU明细在analysis/nsys_worker_flush_v2_physical生成；证据：analysis/original_nsys_worker_flush_v2_anchor_audit.json、raw/original_nsys_worker_flush_v2/pipeline.nsys-rep。

新时间线：逐块覆盖与物理GPU活动

两轮共20块×4个DiT进程，80个进程/块组合均有400次具名Attention记录，且每块映射到四张不同物理GPU。此项检查通过：True。它验证逐块记录存在与映射，尚非逐层shape完整性证明。完整记录共1091749次kernel，包含初始化与预热。

以下窗口为epoch=1的CPU-ready交付间隔5–8，合计约3.411秒；属于插桩诊断。各列为同卡区间并集或交集，不能跨列或跨卡直接相加为墙钟。

非NCCL kernel包含计算、转换等，不能全部称为计算；交集不证明SM资源同时执行或净收益。未记录活动不能直接归因为CPU瓶颈。

字节数属于与窗口相交的完整调用，不按边界截断；累计拷贝时间不是墙钟。原始Nsight、SQLite及逐kernel gzip明细均保留。证据：analysis/worker_flush_v2_block_coverage.json、analysis/nsys_worker_flush_v2_physical/summary.json与kernel_invocations.jsonl.gz。

新时间线的提交调用关联

按完整进程编码前缀加correlationId关联，共1091749条已记录kernel，各有唯一提交API匹配，无歧义或缺失匹配。这个分母只包含已记录事件，不表示真实执行的所有kernel必定被采集。

同一次CUDA Graph提交可对应很多kernel；表中是kernel数量，不能当作API调用次数。API持续时间不是GPU执行时间、排队时间或关键路径阻塞时间。该关联提供后续逐调用归因入口，不包含融合kernel的完整shape。证据：analysis/worker_flush_v2_runtime_link_summary.json与analysis/nsys_worker_flush_v2_physical/kernel_runtime_links.jsonl.gz。

新时间线的主要累计耗时类别

按完整名称规则分类，窗口仍为epoch=1交付间隔5–8。分母是四卡累计kernel时间，包含跨卡及同卡重叠；不是3.411秒墙钟，也不是硬件利用率。名称分类不能替代源码层及shape关联。

按这一诊断口径，矩阵乘与Attention是最大的两个累计耗时类别，可优先补齐对应shape及NCU证据；尚不能据此认定计算受限或给出端到端加速上限。索引/拷贝kernel与CUPTI memcpy记录不同；NCCL可能与其他活动重叠，不能把其累计时长全部当作可消除等待。完整名称成员及规则见analysis/worker_flush_v2_kernel_families.json与scripts/summarize_kernel_families.py。下载分类CSV。

VAE精度口径：FP32张量不等于严格FP32计算

本报告的FP32 VAE指模型/输入张量精度。新诊断稳态窗口包含1680次、7种名称明确含TF32的cuDNN卷积kernel；独立真实VAE算子回放记录cudnn_allow_tf32=true，同时matmul_allow_tf32=false。这两项策略不能混为一谈。

因此当前VAE不能描述为“全部使用严格IEEE FP32计算”。也不能推断每个VAE操作都使用TF32；其他算子仍有不同路径。报告没有做禁用cuDNN TF32的整模型对照，不能量化其速度或输出差异。计算上限及后续NCU分析必须匹配实际算术路径，不能套用FP32 IEEE GEMM校准值。证据：analysis/vae_precision_evidence.json，含完整kernel名称。

VAE逐块记录覆盖

20次decode的start到CPU-ready窗口×4个VAE进程，共80个组合，均记录到具名cuDNN卷积相关kernel（包含工作区初始化），并映射到每轮四张不同物理GPU。8个组合记录114次，其余72个记录111次；这些是名称筛选后的调用数，不等于全部VAE算子数。该项验证逐块卷积记录存在，不能证明全部层shape完整或数值正确。证据：analysis/worker_flush_v2_decode_coverage.json。

历史记录：高分辨率纯DiT v1保存额度不足

704×1280 TP1/SP1纯DiT完成十块生成，但代表输入仅保存3/12个。补采协调脚本漏传原矩阵使用的12 GiB额度，触发采集器默认2 GiB上限；这次未进行回放，不能增加审核点数。后续v2已显式设置12 GiB，在独立目录保存并审核通过12/12代表输入；旧记录保留。实测元数据表明六个self代表输入合计约9.52 GB，另需保存cross输入。证据：analysis/dit_capture_budget_failure_v1.json；后续状态：raw/dit_recovery_workflow_v2.json。纯DiT成功不等于此前含VAE的流水线失败已解决。

修复后的算子输入采集

v2已经保存66条实际算子输入记录，工作负载状态：completed。这是输入证据，不能当作硬件分析完成。

完整性审核：通过。

普通用户单卡回放状态见raw/operator_replay_workflow_v2.json；NCU计数器采集仍受调度身份问题限制。证据：analysis/operator_capture_v2_inventory.json。

真实算子单卡回放结果

证据审核状态：evidence_checks_passed。共18项rank0代表输入，输入哈希、有限值和实际GPU kernel均已核对。非逐位一致输出数：0。这些是原ATen调用的回放，不是新实现验收，也没有NCU硬件计数器。

下载输入形状、完整kernel名称与证据路径 CSV。Profiler时长不能当作未插桩算子性能；这些输入仍需硬件计数器才能支持对应的计算/访存瓶颈归因。

真实算子回放与模型kernel的候选关联

18项独立算子输入中，14项至少有一个kernel在整模型记录中匹配完整名称、grid、block、每线程寄存器数和共享内存大小。8项linear全部找到匹配，8项VAE卷积中的6项找到匹配，2项uint8转换均未找到同名匹配。

这比只匹配名称提供更多线索，但同一启动配置仍可能对应多个输入shape，因此没有给整模型事件填入“确定输入shape”。未匹配也不代表整模型缺少该操作，编译融合或算法选择差异尚待进一步关联。此结果用于筛选后续归因对象，不能计算为完整shape覆盖率。全部候选与原始启动参数见analysis/operator_model_launch_candidates.json。

保存额度修复后的高分辨率输入

v2实际保存12/12个代表输入，完整性审核通过。旧v1的额度不足记录保留；新输入的后端回放需单独审核，不能仅凭采集成功增加已核验点数。证据：raw/capture_dit_only_704x1280_tp1_sp1_v2/capture_audit.json。

Attention执行失败记录

以下为保存结果中的失败尝试，包含历史运行，不等于最终矩阵失败点数。运行中的结果仍会增加。OOM表示该输入与实现组合在本次显存条件下失败，不表示所有后端或整模型均不支持。失败没有有效计时，不参与最快后端比较。

完整报错、输入哈希和证据路径：analysis/attention_execution_failures.json。缺失这些组合的有效计时，会限制全后端比较；其他通过审核的组合仍可单独分析。

高分辨率长KV的显存边界

704×1280 TP1/SP1中，Q长度10560、40个head。SDPA math在self K=10560时完成，在K=42240和63360时，denoise与commit共4点OOM；相同输入的其他六接口全部通过独立回放审核。cross K=512的math也完成。因此这是本次长KV与math实现组合的容量失败，不能泛化为整组配置不支持。

矩阵大小按H×Q×K×4计算，只解释稠密表示的规模，不是测得的峰值，也未证明报错申请对应哪一个中间张量。K=42240时失败申请16.62 GiB，与单份分数矩阵66.47 GiB不同，更不能将一次申请当作总显存。容量失败点不参与七接口完整排名；其他接口成功也不证明含VAE整流水线可运行。证据：analysis/attention_capacity_boundary.json，包含完整错误与输入哈希。

实验身份与口径

算子采集v1没有生成矩阵乘、VAE卷积或输出转换输入，不能视为硬件分析完成。CPU诊断确认旧过滤器遗漏了推理模式下的aten.linear、aten.conv3d和aten.to.dtype复合调用，修复后的过滤器已在v2实际GPU运行中生成输入，完整性及回放状态见下方。证据：analysis/operator_capture_v1_failure.json。v2补采由raw/operator_recovery_workflow_v2.json记录；高分辨率纯DiT补采由raw/dit_recovery_workflow_v1.json记录，均串行等待、不预约GPU。

高分辨率TP1/SP1采集在2026-09-09 20:12出现显存分配失败警告。20:14现场记录DiT与一个VAE进程共享物理GPU，分别占用136936 MiB和5906 MiB；当时任务尚未退出。这是运行中显存现场，不是终态OOM判定或独立算子峰值。证据：analysis/highres_tp1_sp1_memory_observation.json及其原始日志；该次任务随后于20:17失败退出（返回码1）：VAE NCCL超时后子进程SIGABRT，未完成完整输入采集及回放。终态证据：analysis/highres_tp1_sp1_failure.json。不能据此宣称所有TP1/SP1 Attention运行都不支持。

原始源码 b9cdea7b6da42d51cd5772548c616655fec21668 加冻结补丁；rebase c59234d1974fe280116c1b77473d110ab53766e3。基线为 480×832、BF16 DiT、FP32 untiled Wan VAE、4 DMD steps 与 clean KV commit。四卡顺序执行 Ulysses4 DiT 和宽度空间分片 VAE；不是权重 TP4 解码。 计时边界为 rank0 CPU-ready uint8，包含相关传输与转换，不包含后续 RGB IPC、编码、网络或客户端播放。已有六次 clean baseline 每次仅80个稳态间隔，不足最终尾延迟验收。

已有基线与时间线

补充同版本控制：original_r0与original_r1的20个已保存latent/像素文件均完成比较，均未通过候选协议的严格数值门槛。逐chunk latent相对L2为3.33%–17.45%；归一化像素RMSE为0.02166–0.10453。同文件身份对照20/20通过。证据：analysis/original_repeat_candidate_gate_control.json。此处是同版本基线控制，不是候选比较。基线跨启动差异的来源仍需隔离，不能将差异全部归因于换后端，也不能因此临时放宽门槛。

补充epoch=1的保存输出检查：original_r0与original_r1的10个steady latent及10个steady pixel全部完成比较，全部未通过原门槛；latent relative L2为3.745%–45.339%，归一化像素RMSE为0.02454–0.33010。这里的steady文件保存整个epoch=1的10个chunk，不仅是计时使用的交付间隔5–8，也不是全部20个测量session。原始比较见analysis/original_repeat_candidate_gate_control_with_steady.json。候选比较已扩展到预热及epoch=1共40个文件。

基线身份复核：original_r0/r1的模型输入哈希、代码及冻结脚本哈希、seed=42、分辨率和GPU4–7分配一致；记录中的环境差异为各次运行的overlay/cache目录。尚未保存可用于逐步对照的运行时RNG状态和全部中间张量，不能据此定位数值差异来源。证据：analysis/original_repeat_provenance_control.json。

进程内重复性检查：六次基线分别核对20个测量session×10个chunk，全部在同一运行、相同chunk上得到唯一latent哈希；保存的epoch=1张量原始字节哈希也全部匹配日志。这支持已记录latent在进程内重复稳定，跨启动差异应优先检查启动相关状态或算法选择，但尚未证明具体原因。此结论依据逐session日志及epoch=1张量，不表示保存了每个session的完整张量，也不构成像素逐位一致证明。证据：analysis/session_repeatability.json。

原版三次 steady FPS 为14.425、14.003、14.392；rebase为14.405、14.430、14.351。完整输出等价性未通过验收，同版本跨启动也观察到数值差异，不能将所有差异归因于rebase。

Nsight Systems 原版保存954123次 kernel 调用，新版保存988240次；均为完整进程记录，包含启动、预热、验证和清理，不能直接与稳态计时比较。analysis/nsys_*_physical 提供完整调用明细及完整/测量/稳态窗口分组。按(pid,cudaId)映射物理GPU，旧的未映射重叠分析已排除。 kernel 名称分组尚未全部关联实际shape、层、阶段；因此完整shape组覆盖率和逐组MFU仍未完成。累计线程等待和多卡GPU时长不是墙钟时间；时间线交集也不能证明硬件资源并行或收益。

独立Attention的局部最快结果

仅纳入七种接口各有三组重复且已审核的相同输入，共140个上下文。按三组mean的中位数选最低者；重复范围不重叠仅是描述性检查，不是统计显著性或独立启动置信区间。

Native dense与varlen FA3为两个接口，不能当作不同硬件架构。cross的cuDNN局部胜出不改变整模型数值门槛未通过的事实，不能直接推荐替换。

图中星号表示与至少一个竞争者的重复范围重叠；灰格包括缺失或因OOM未满足七接口比较条件的上下文；OOM明确标注。每个单元格固定本配置的真实输入，不比较不同TP/SP行的端到端收益。下载逐点结果 CSV。完整证据：analysis/attention_winners.json。

候选实际 kernel 证据

按完整时间线统计，包含初始化、预热与清理；调用数和累计多卡时长不能直接解释为稳态墙钟收益。以下仅统计名称明确含native_sdpa的cuDNN Attention kernel，未将VAE的cuDNN卷积计入。

证据：analysis/integrated_dispatch_audit_v1.json保存完整kernel名称、计数与进程/GPU映射。两次完整调用数不同，不能将总耗时直接相除作为后端加速比。

整模型 cross-attention 候选诊断

默认后端与cross=CUDNN_ATTN两次Nsight Systems诊断均已结束。保存输出共40个比较，通过0个；候选未通过预设整模型数值门槛。两次均开启profiler，不能作为未插桩性能A/B结果。基线跨启动数值差异尚未定位，不能把全部误差归因于后端。实际时间线已核验出现cuDNN SDPA kernel；逐调用与层/角色的完整关联仍未完成。

证据：analysis/integrated_cross_diagnostic_v1_output_comparison.json；原始输出与时间线：raw/integrated_cross_diagnostic_default_v1和raw/integrated_cross_diagnostic_cudnn_attn_v1。像素误差按[-1,1]归一化计算。

已采集的 Attention 元数据范围

以下为已通过输入采集审核的独立eager运行。API调用数与GPU kernel调用数不同；同一API可能产生多个kernel。完整张量仅保存代表输入，metadata覆盖的层数不能当作完整张量覆盖。

80个层角色前缀对应40层的self/cross角色。分组包含rank和阶段上下文，不能将不同配置的分组数直接解读为覆盖率高低。详细索引：analysis/shape_inventory.json。尚未与旧Nsight Systems逐kernel事件建立可靠关联。

未插桩交付延迟分布

由原始CPU-ready时间戳重新计算，核对六次运行共480个间隔，均与原统计一致。逐运行展示，不把不同版本或进程混合成一次样本。每次仅80个间隔，因此P99接近样本最大值，只供描述，不能作为最终尾延迟验收。

统计窗口为各测量session的交付间隔5–8，排除预热epoch0。每个间隔交付12帧，FPS=12/平均间隔；不包含编码、网络或客户端播放。分位数采用排序后的线性插值。

下载480个原始时间戳差值 CSV。复核证据：analysis/clean_delivery_audit.json。

首块与完整rollout

每次运行20个测量session，每session117帧；保留首块fill和末块drain。这里的rollout是已记录session起止墙钟，TTFC为session开始至首块CPU-ready。两者仍不包含编码、网络或客户端播放。

首块及rollout分布每次只有20个样本，不能替代大样本尾延迟验收。完整量化结果及与旧统计的逐字段核对见analysis/clean_delivery_audit.json。

实验矩阵覆盖

按12种配置、每种12个代表输入×7种后端/接口核对。这个分母只描述本轮回放矩阵，不代表全部层或硬件分析覆盖率。 已审核1004/1008个点；全部84点齐全的配置为11/12。已尝试失败与尚未尝试分开记录，不用零耗时代替失败。

已记录尝试1008个点，其中执行失败4个；失败点不计入有效计时。

running表示任务流程尚未结束，可能包括调度等待；具体GPU进程以实时看板为准。等待超时不等于配置不支持。

稳态时间线的直接证据

以下均为profiler下交付间隔5–8，表中kernel与API耗时为累计值，不能相加为请求墙钟时间。不同版本的profiler结果不能替代clean A/B。

Kernel与主机提交API的关联

按完整进程编码前缀和correlationId关联原始CUPTI runtime表，避免不同进程相同correlationId串联。所有kernel事件均有一条关联记录，不能匹配的保留missing；GPU事件本身仍已记录。

这里覆盖完整trace，包含初始化与预热。一个Graph提交可对应大量kernel，因此最后一列不是Graph提交次数。主机API耗时也不能直接当作GPU排队等待或关键路径。kernel/API rowid及时间保存在analysis/nsys_*_physical/kernel_runtime_links.jsonl.gz；汇总为analysis/kernel_runtime_link_summary.json。层、shape与算子源码的关联仍不完整。

Nsys已经记录的启动资源

Nsys原始kernel事件含grid/block、每线程寄存器数和静态/动态共享内存分配。这些是启动描述，不是NCU采样的实际occupancy、访存带宽或warp stall；无需假称硬件计数器已经补齐。

分组键为kernel名称、grid、block、寄存器及共享内存参数，跨rank累计；并非张量shape分组。first_event_id定位对应原始SQLite的kernel rowid。调用总数已与完整稳态名称排名核对一致。

original：耗时最多的五个名称组

下载original完整稳态名称排名

未录活动可能涉及依赖、主机调度或未覆盖事件，尚未归因。同步API的多个线程会互相重叠；这些数字不是关键路径阻塞时间。

rebased：耗时最多的五个名称组

下载rebased完整稳态名称排名

未录活动可能涉及依赖、主机调度或未覆盖事件，尚未归因。同步API的多个线程会互相重叠；这些数字不是关键路径阻塞时间。

Attention：真实输入、后端、误差与计时

已核验480×832 TP1/SP4采集的元数据包含32000次Attention API调用（self/cross各16000），覆盖40层、4个rank及缓存/去噪阶段，共16000个shape/context分组。元数据覆盖与完整张量保存不同：完整Q/K/V及参考输出仅保存代表点。旧nsys逐kernel记录尚未与此独立eager运行关联，不能据此宣布kernel shape映射完成。原始索引见analysis/shape_inventory.json及其group_file。

下表仅纳入输入哈希、逐次计时和实际kernel类型审核通过的配置。每个点3组×300次CUDA event计时；重复组来自同一进程，不等同3次独立模型启动。比较保存输出及FP64抽样参考（至多32个query位置、4个head、全部有效K/V）；预声明atol=0.03、rtol=0.03、relative L2≤0.01。该检查不构成整模型等价证明。

每行固定角色、阶段和缓存位置，数值为三组mean的中位数，单位ms。不同shape行之间不直接比较后端收益。

已审核点的数值误差

下表为各后端在已审核输入中的最大观测值，各列最大值可能来自不同输入。抽样FP64参考只覆盖至多32个query位置、4个head及全部有效K/V，不能视为完整输出误差上界。完整原始输出另作对照；预设relative L2门槛为0.01，allclose使用atol=rtol=0.03。

下载逐点误差、输入标识及审核路径 CSV。这些是孤立Attention结果，不证明整模型数值等价。

已核验配置的可下载图与数据

下载 480x832_tp1_sp1 矢量图 SVG

下载 480x832_tp1_sp2 矢量图 SVG

下载 480x832_tp1_sp4 矢量图 SVG

下载 480x832_tp2_sp1 矢量图 SVG

下载 480x832_tp2_sp2 矢量图 SVG

下载 480x832_tp4_sp1 矢量图 SVG

下载 704x1280_tp1_sp1 矢量图 SVG

下载 704x1280_tp1_sp2 矢量图 SVG

下载 704x1280_tp1_sp4 矢量图 SVG

下载 704x1280_tp2_sp1 矢量图 SVG

下载 704x1280_tp2_sp2 矢量图 SVG

下载 704x1280_tp4_sp1 矢量图 SVG

下载 mfu_480x832_tp1_sp1 矢量图 SVG

下载 mfu_480x832_tp1_sp2 矢量图 SVG

下载 mfu_480x832_tp1_sp4 矢量图 SVG

下载 mfu_480x832_tp2_sp1 矢量图 SVG

下载 mfu_480x832_tp2_sp2 矢量图 SVG

下载 mfu_480x832_tp4_sp1 矢量图 SVG

下载 mfu_704x1280_tp1_sp1 矢量图 SVG

下载 mfu_704x1280_tp1_sp2 矢量图 SVG

下载 mfu_704x1280_tp1_sp4 矢量图 SVG

下载 mfu_704x1280_tp2_sp1 矢量图 SVG

下载 mfu_704x1280_tp2_sp2 矢量图 SVG

下载 mfu_704x1280_tp4_sp1 矢量图 SVG

下载 mfu_overview 矢量图 SVG

下载 winners 矢量图 SVG

图中点是三组均值的中位数，误差棒为三组的最小/最大值，不是置信区间。横坐标为离散输入组；未连接或插值缺失点。self与cross的后端排序不同，不能相互外推。

下载全部逐组图表数据 CSV

热力图仅计算同一保存输入的耗时比值：self参考FA3 varlen，cross参考native dense；大于1表示本次孤立回放中比参考耗时更短。缺少参考的格子保持missing。比值使用三组均值的中位数，不是统计显著性或端到端加速证明。颜色范围截断时，格内数值仍为完整实测比值。

下载比值及参考后端 JSON

归档索引扫描时间：2026-09-10T06:13:26.519937+00:00；记录33055个文件、约399.31GB。这是扫描时点快照，活动文件仍需在任务结束后重新封存。索引位于analysis/raw_data_index.json。

FA3接口差异的直接证据

已逐点核对144组相同输入的native dense与FA3 varlen实际dispatch。以下为已审核输入的观察范围，不是置信区间。

144/144组varlen接口观察到prepare_varlen准备kernel。不能把耗时差异全归因于准备开销，也不能将native dense更慢误判为FA2 fallback。具体调度与资源利用原因仍需硬件计数器和单变量实验。

完整kernel名称、输入路径、计时与审核链接见analysis/fa3_interface_dispatch_comparison.json；复现脚本为scripts/compare_fa3_interfaces.py。

现有FA2/FA3数据使用varlen接口；原模型cross默认路径使用普通dense接口，两者开销可能不同。后续完整矩阵已包含native dense对照，详见逐点接口审核；整模型cross候选未通过数值验收，不能认领替换收益。

硬件指标：首次真实FA3输入试采

输入来自480×832 TP1/SP4的self-attention，commit、起始帧27；Q=[4680,10,128]，K存储=[29640,10,128]，有效K长度28080。root在普通用户gpu run分配的一张卡内采集。总任务约20.7秒，两个kernel各11轮replay。

主Attention kernel的NCU时间923.072µs，SM throughput为工具定义峰值的79.48%，DRAM throughput 4.44%，L2 throughput 23.48%，achieved occupancy 18.75%；每线程168寄存器，每block分配约200.704KB shared memory。 这些值属于一次隔离replay及NCU所定义的指标，不是模型MFU。DRAM吞吐低、SM吞吐较高提供优先检查计算/执行资源的线索；尚无反证实验，不能据此确认唯一瓶颈。低occupancy本身也不证明需要提高occupancy。无profiler的回放计时与该NCU时间分别报告。

原始证据：raw/ncu_attention_fa3_pilot_v1/attention.ncu-rep、metrics.csv、selected_metrics.json；原始版本/命令/输入哈希见manifest.json。

未完成项目及影响

新增限制：后续FA2 NCU试采被调度守护程序终止；普通用户分配下的root进程被判为foreign，--user root标签也未解决。早先已保存的FA3计数器仍是有效实测，但不能推断后续root任务可正常长时间执行。当前暂停此类重试，普通用户调度要求保持不变；需要可兼容该要求的root采集权限方案才能继续。未改用root调度，未修改守护或驱动。

参考优化源码核验

analysis/optimization_transfer_matrix.json记录已检查文件的SHA256、符号、必要条件、已启用状态与拒绝原因。当前H0仍为部分归因：LingBot已融合QKV投影，并在Ulysses>1时执行5D合并QKV交换；实际metadata确认前后shape，不能重复认领合并collective收益。当前路径含layout materialization并调用dist.all_to_all_single，不能称native SymmMem已启用。TP RMSNorm保留全局平方和归约，融合必须保持语义；编译后具体融合仍待关联。H3 VAE与Wan接口不同，GPU uint8转换已存在，Case D顺序decode。未把源码存在或参考提案视作性能收益。

原始数据与复现

持久目录：/data/zhoutaichang/feature/Lingbot_world_realtime/runs/analysis_report_20260908。新增实验使用独立目录，不覆盖旧原始数据。raw/evening_matrix_v1.json保存顺序任务命令和结果；每次capture的manifest保存冻结脚本哈希、输入配置、时间和分配GPU。每次replay保存results.json、timings.jsonl及每个后端实际dispatch trace。analysis下audit文件链接输入校验和及计时验证。完整归档校验清单仍需补齐。 脚本位于scripts；必须在gpu run分配范围内运行GPU任务，root仅用于所需的NCU采集。不使用gpu reserve，不修改驱动或其他用户进程。

逐kernel待归因清单

v2完整时间线的1091749次记录调用已按完整kernel名称汇总；稳态有102个名称分组。analysis/bottlenecks.json逐组列出尚缺的实际shape/阶段、匹配硬件计数器及反证实验，当前均为unresolved。名称分组不等于shape分组；时钟与末块存在性通过不等于逐层调用完整，也不意味着瓶颈已确定。旧记录的限制独立保留。

下载调用覆盖清单 · 下载逐组待归因清单。生成脚本：scripts/build_kernel_coverage.py。

最新补采：同名kernel的启动参数差异

稳态窗口内的176,984次调用按物理GPU、完整kernel名称、grid/block、寄存器和共享内存分成970组。102个kernel名称中，36个名称对应多种启动参数组合（该比较排除GPU编号）。调用数与累计GPU时间均与原有稳态排名复核一致。

这说明仅按名称合并会掩盖启动配置差异；后续NCU采样需保留对应参数及真实输入。启动参数仍不等于张量shape，也不提供实际occupancy、带宽或warp stall。跨GPU累计时间不等于墙钟时间。

下载按物理GPU划分的完整启动参数CSV。证据：analysis/worker_launch_resources_summary.json；复算脚本：scripts/summarize_worker_launch_resources.py。

交付源文件快照与归档核对

源文件快照：raw/delivery_source_snapshot_20260910T002011Z，包含116个分析/发布脚本、报告与索引文件，各文件复制前后SHA256一致。原始数据仍保留在各独立运行目录。

2026-09-10T00:20:42.953404+00:00核对原始索引中的30,217个文件（约326.42GB），文件存在性、大小和mtime异常共0项。该检查使用增量哈希索引，未重新读取全部326GB内容计算哈希，不等于最终不可变封存。

历史未保存的完整输出仍为缺失。索引只能证明列入的文件，不能证明所有计划数据均已采集。审核记录：analysis/delivery_archive_audit_20260910T0020Z.json；源快照内manifest.json保存逐文件来源与校验和。

数值差异从何时出现

三组未通过的比较（reduce-overhead重复、default重复、eager cuDNN候选）在两轮的首个chunk均已未通过完整数值门槛。误差不是只在长缓存或末块出现。末块latent相对L2较首块更大，但中间存在回落，不能称单调累积，也不能仅凭此曲线证明缓存、编译器或某个kernel是唯一原因。eager重复的全部已保存输出逐位一致。

图中的虚线只表示所绘指标的门槛分量，不代表完整验收：像素RMSE低于0.01仍可能因max_abs超过0.03失败；latent还要求allclose。像素按[-1,1]归一化，右侧纵轴为RMSE乘100，不是感知质量损失百分比。每条曲线只有一对启动、每轮十个chunk，没有总体置信区间。

下载逐点CSV · 下载矢量SVG。复算脚本：scripts/plot_execution_error_progression.py；数据及来源SHA256：analysis/execution_error_progression.json。

按交付间隔检查四卡活动

最新worker写出补采的四个稳态交付间隔逐段计算区间并集与交集，再按物理GPU核对。非NCCL、NCCL及两者重叠的分段总量均与已有整段统计一致。下表为四张卡之间的实测最小–最大范围，不是置信区间。

非NCCL并集约670–682ms，但不能称全部为计算；其中也有重排、转换等kernel。NCCL活动存在卡间差异，尚不能证明哪张卡是请求关键路径上的慢卡。活动重叠不证明硬件并发执行或收益。

最长无kernel记录区间约41–50ms，仅由kernel表求补集，未扣除memcpy、memset或CPU活动，不能当作GPU空闲、CPU等待或可直接消除的开销。当前仅四个profiler下间隔，不用于尾延迟验收。

下载16行逐卡逐chunk CSV。完整数据：analysis/worker_chunk_activity.json；复算脚本：scripts/analyze_worker_chunk_activity.py。

最长无kernel记录区间：拷贝与主机交接核对

在16个逐卡逐chunk最长区间中，同一物理GPU的memcpy/memset仅覆盖约0.0007–0.0044ms，不能解释约41–50ms的主体。进程内CUDA runtime调用也已保留，但它们只是上下文关联；多GPU进程中的API不能自动归属于这张卡，累计线程耗时不能当作墙钟等待。

这些最长区间位于前块CPU-ready之后、下一块开始交接附近。冻结worker源码在记录ready后执行finite检查、按条件保留/保存输出、计算像素SHA256，再发送结果；主进程收到结果后记录日志并提交下一块事件。这些步骤可能贡献块间间隔，但没有逐操作计时，不能将16–24ms全部归因于哈希、IPC或调度。

这也限定了CPU-ready交付口径：逐块ready间隔会包含前一块ready之后的基准记录与交接工作；它不是只算GPU核心执行的时间。当前结果来自profiler补采，不能将这段间隔直接从未插桩FPS中扣除或认领服务优化收益。要量化贡献，需在相同输出协议下单独计时或做受控对照。

下载区间边界、拷贝事件及主机API上下文JSON。原始SQLite事件rowid、物理映射、冻结源码SHA256与主机时钟标记均保存在该文件。复算脚本：scripts/analyze_worker_longest_gaps.py。

无profiler扩样：交接时间与最慢样本

复算六次正常计时运行的6,000个稳态间隔，每次250个session、每个session四个间隔。这里的交接定义为“前块CPU-ready到下一块DiT调用”，涵盖校验、结果传递、日志和调度等路径；不是某个单独函数耗时。每个样本均验证：交接时间 + 下一块DiT调用至当前CPU-ready = 当前交付间隔。

480×832 r0的最慢交付样本含约212ms交接，而r1、r2最慢样本的交接仅约18ms。不同长尾样本落在不同阶段，不能统一归因于GPU计算、IPC或哈希。以上是记录边界的分解，不是证明删除交接会得到等额收益；没有做相应受控优化。

P99采用排序样本线性插值，仅为各运行描述统计，session内样本相关，不当作1,000次独立启动。分量均值可相加，分量P99不可相加。无profiler仍保留正常基准记录和输出协议，不能称为无任何测量开销。

下载6,000行逐次交接与交付时间CSV · 下载分组统计及最慢样本JSON。复算脚本：scripts/analyze_clean_handoff.py；来源summary的SHA256保存在统计文件中。

算子回放与模型调用：启动参数匹配的歧义

18个已审核rank0算子回放包含35种完整名称/启动参数组合；其中10种在最新worker补采的稳态模型记录中匹配，3种匹配组合对应多个已保存输入。这里分母是启动参数组合，不是算子输入数或模型shape数。

匹配字段包括完整kernel名称、grid、block、寄存器和静态加动态共享内存字节数。3组歧义分别涉及GEMM、另一GEMM及VAE卷积；输入身份不同不一定意味着数学shape不同。一个GEMM组合同时对应输出[4680,5120]和[1,4680,5120]，单例维度也可能对应相同展平矩阵，不能借此声称两种计算量不同。

即使只有一个已保存候选，未捕获输入仍可能使用同一启动组合，故全部对应关系继续标为unresolved。未匹配也不能证明模型没有该算子，可能涉及编译、算法选择或窗口差异。这一步缩小后续采样范围，但不完成K1逐层shape归因，也不能将孤立回放计数器直接赋给模型全部同名调用。

下载候选输入、启动参数与模型事件ID。复算脚本：scripts/audit_operator_signature_ambiguity.py。

首版之后补充：H3外部参考状态

核验时间：2026-09-10T01:42:08.017484+00:00（UTC）。此补充晚于08:40固定报告包，在线报告追加更新，不修改原包。

只读本地git核对确认，前两个合并提交均是原始b9cdea7b与rebase c59234d1的祖先；这不排除后续修改或回退，也不能证明相关路径被当前配置执行。未切换checkout、未拉取或修改模型源码。

H3官方文章的第6.3节仍将原始benchmark bundle标为待发布。外部文章数字继续仅作背景，不用来补本机缺失计数器、拟合MFU或承诺端到端收益。

下载外部响应元数据及SHA256 · 下载本地提交祖先核对。原始网页/API响应保存在raw/h3_external_review_20260910T014207Z。

首版之后补充：计数器权限与真实算子补采

2026-09-10 10:00之后，普通用户gpu run分配GPU，SSH root启动后切回实际UID2005，仅本次进程保留CAP_SYS_ADMIN。合成验证采到三个有效计数器、正确性通过、30秒观察完成且无该PID违规记录。无需修改驱动或调度守护；旧root UID执行路线仍停用。此新结果更新前文“等待兼容权限方案”的状态。

三项真实输入试采均成功，原算子与保存输出逐值一致；GEMM、VAE、转换分别耗时约14.15、16.92、11.48秒（包含启动与NCU采集，不是kernel耗时）。后续15个已审核rank0输入也已完成单卡串行补采，汇总见下文。

解释：这次GEMM的SM吞吐约94%，不能仅凭14.65%的warp占用判断其低效。VAE卷积本体SM约29.69%、DRAM约8.99%、L2约60.27%，尚不足以确定唯一瓶颈；其输入/输出布局转换L2吞吐约81%，适合作为后续布局对照实验的调查对象。卷积实际kernel名称含TF32，不能因输入FP32而称严格IEEE FP32计算。

边界：表中百分比为NCU相应指标的峰值归一化结果，不是MFU。每个kernel经过11次采集回放；各算子分配到的物理GPU不同，缓存与时钟行为也可能受采集影响。这些是独立算子硬件诊断，不能直接换算整模型加速。完整kernel名称、原生单位、输入/报告SHA256见审核JSON。

权限验证审核 · 三项真实算子审核与指标

18个代表输入扩采完成

8个DiT线性算子、8个VAE卷积、2个输出转换全部通过原始输出逐值一致校验，共45次kernel采集（8+35+2）。这些是18个保存输入的独立回放，不是整模型45类kernel的完整覆盖。原生NCU报告、CSV、启动命令、输入SHA256、输出比较、进程身份和对应PID的调度违规查询均已保存。

单项试采总时长为约11.48–21.53秒，含SSH启动、加载、校验及NCU回放；这次数据不支持直接估算全模型NCU耗时。审核文件保留各指标原生单位；例如NCU可能将不同kernel耗时自动显示为ms或µs，跨行计算必须先统一单位。

18项完整计数器审核与指标

同卡FA2 / FA3硬件对照

输入为480×832 TP1/SP4、frame27 commit self-attention：Q长4680、10头、head_dim128。K/V分配长度29640，但cu_seqlens记录的有效长度为28080。FP64参考严格使用有效K/V，采样32个Q位置、4个头。初次审核误把填充区纳入计算，失败记录与错误脚本保留于raw/capability_attention_pair_oracle_padding_error_v1.*；修正参考后沿用原有0.03/0.03 allclose和1%相对L2门槛，未放宽标准。

FA2为单个attention kernel；FA3第0项为变长参数准备，第1项为attention本体。FA2与FA3均通过FP64抽样及保存参考输出误差门槛；FA3与保存输出逐值一致，FA2未逐值一致但通过预设容差。硬件数据表明此输入下FA3的SM吞吐更高、采集耗时更短；这是同卡独立kernel诊断，仍不能认领整模型加速。

Attention对照原始指标、数值误差与哈希

算子工作量、访存与VAE布局反证

18个已保存算子的形状、stride、dtype和输入哈希已逐项核对。线性算子按2×M×N×K计算乘加FLOPs；卷积按2×输出元素数×每组输入通道×卷积核体积计算，隐式padding为0，显式填充的输入仍按稠密工作量计数，bias加法单列。转换算子不赋予浮点FLOP率。

这些是算子标称工作量，不能冒充硬件实际执行指令数或剔除零填充后的模型有效工作量。NCU的DRAM流量与耗时统一原生单位后求和；下图左侧是独立回放工作量/流量散点，没有实测带宽上界，因此不是完整Roofline。不同输入、物理GPU和采集回放影响仍需保留。

逐算子数据JSON · CSV · 矢量图

VAE更细指标与局部对照

代表卷积补采Scheduler、Warp State和Source Counters：寄存器与shared memory理论驻留上限均为1 block，未记录到spill；平均可发射warp约0.199，scheduler发射活跃约18.48%。long scoreboard与barrier等待突出。这支持继续调查延迟隐藏、局部性与同步，不能只凭低DRAM带宽否定访存问题，也不能把warp等待指标当作墙钟占比。

调度记录说明：本次详细采集在正常结束附近约0.27秒内被记录为user unknown，3次观察，无警告、无终止信号，最终为process exited。任务启动身份与输出/计数器审核通过，但不能声称这次运行没有调度异常记录；退出清理竞态只是可能解释。

候选/原版耗时比为1.2242，即候选约慢22.42%。每次调用都包含输入和权重转布局、卷积及输出转回连续NCDHW；没有省略转换成本。此直接改布局的候选不进入整模型加速认领。

右图数据来自关闭profiler的局部eager CUDA-event计时：每模式预热20次，三个交错批次、每批300次，共900次。是一次进程内的相关样本，不是三次独立启动，也不是整模型尾延迟验收。反例不证明所有布局优化均无效；跨层保持布局或权重预打包需重新定义公平边界并另测。

详细硬件计数器 · 详细采集审核与调度备注 · 局部A/B审核

本机连续读写带宽校准

已完成同一物理GPU上三次独立进程启动，每次8种配置，每配置3批×100次未插桩CUDA-event计时，共24个配置/启动点、7200次计时。使用FP32 copy（读A、写Y）与triad（读A/B、写Y），BLOCK为1024或4096、num_warps为4；A=1、B=2，完整输入和每配置最终输出均保存并逐值核验。每次计时循环不保存每次中间输出，避免改变测试负载。

单数组256 MiB或1 GiB，均大于本卡60 MiB L2的4倍；三次进程和独立NCU试采的物理UUID已核对一致。未锁定时钟；遥测已保存。这是所测连续访问kernel达到的带宽参考，不是保证的硬件峰值、其他访问模式的上界或所有GPU的统一校准。

表中每次启动数值为该启动三批带宽的中位数；带宽按逻辑读写字节数/对应批次事件耗时中位数计算。不同配置的结果约为3.91–4.35 TB/s。窄幅重复结果只描述这三次运行，不证明长期稳定性。

独立NCU试采每个kernel只需1次pass，确认大量流量经过DRAM。实测写回字节数与逻辑输出字节数存在小差异，缓存及写回观测窗口可能影响，不能强行视为相等。L2 sector计数保留原生单位，未冒充算法字节数。NCU耗时与无profiler校准分开保存。

前文“尚缺本机带宽参考”现已补上这一连续访问参考；完整Roofline仍需与算子匹配的计算/带宽校准、L2口径以及完整模型有效FLOPs。现有GEMM校准来自另一物理GPU，不把两块卡数据直接当作同卡硬上界。

三次启动审核与原始文件哈希 · NCU流量核对 · 物理GPU身份审核

同卡计算参考与代表算子位置

三次新的独立启动已完成：BF16、FP32禁用TF32、FP32允许TF32，分别测4096/8192/12288方阵，共27个配置/启动点。每点预热20次、计时100次，之后另采实际kernel trace。完整A/B/输出矩阵均保存；4×4输出使用完整对应行/列做FP64抽样审核，通过既定0.03/0.03 allclose与1%相对L2门槛。该抽样不等于完整矩阵高精度验证。

三次进程与前述带宽校准的物理UUID一致，因此前文“计算与带宽来自不同卡”的限制在这一新增参考组中已解决；旧校准保留为历史数据。参考计算吞吐取每次启动三个方阵中的最大值，再取三次最大值的中位数；仍只是所测kernel达到的参考，不是保证的硬件峰值。

18个NCU算子的原始PCI地址已核对到带时间戳的PCI/UUID表，15个位于校准卡。图中进一步仅纳入7个BF16线性与5个kernel名称明确含TF32的VAE算子；另外3个来自其他卡、2个算术类型尚未充分确认、1个类型转换无定义的乘加FLOPs，均明确排除，不强行归一化。

虚线按min(实测计算参考, 算术强度×实测连续访问带宽参考)构造。点的位置采用NCU累计kernel耗时和DRAM流量，虚线来自关闭profiler的校准；它们用于诊断参照，不能当作同口径加速对比。数值为标称MAC工作量，含已显式填充的输入与多kernel转换成本，非整模型MFU。

观察：部分较大BF16线性算子接近所选参考，而小M=3算子差异明显；5个纳入的VAE算子约为所选参考的4.8%–54.2%。这些差距给出调查方向，并不证明某一stall是唯一原因，更不直接等于可获得的整模型加速。

峰值口径另已核对：NVIDIA H200官方规格区分SXM/NVL，列出的Tensor Core数字带稀疏性脚注。不能把该稀疏数值直接当成本实验稠密运算的MFU分母，也不凭L20X驱动名称选择峰值。

同卡计算审核 · 计算CSV · 参考图完整数据与排除原因 · 矢量图 · 原始PCI映射审核

新的整模型候选：cross SDPA Flash

选取依据是目标480×832 TP1/SP4配置下6个cross上下文：Flash SDPA的独立回放均通过原定误差门槛，平均耗时约0.04965ms，原版FA3约0.06279ms。native dense在此配置反而更慢，不因其名称而优先选择。已有cuDNN cross整模型候选未通过数值验收，失败证据继续保留。

实际SDPAImpl的6个输入验证现已通过CPU复核，trace包含PyTorch Flash kernel，且固定Flash-only上下文禁止自动回退。候选只替换cross角色的后端配置及对应SDPAImpl CUDA实现，self paged FA路径保持原始源码。

整模型协议：v2参考和候选共用调度器分配的GPU2/3/4/6；原GPU4/5/6/7队列因资源等待在模型启动前结束，旧记录保留。原版固定源码、seed42、eager模式，每侧两轮；先运行新参考并与已有可重复参考比较40份完整输出，要求逐值一致，再执行候选。最终候选沿用latent与归一化像素原有门槛，不放宽阈值。

当前流程状态：comparison_completed。排队或运行状态不是验证成功。

六个实际实现验证的审核

新GPU组参考与历史eager参考：40份完整输出，逐值一致40份；数值门槛通过。此项只验证参考输出，不代表候选已通过或可将不同GPU组耗时合并。

新整模型比较：40份完整输出，门槛通过0份，逐值一致0份。候选未通过原定数值门槛，不认领有效加速。

来源与单次计时审核：同卡新参考 11.7731 FPS，候选 11.7881 FPS；平均CPU-ready交付间隔分别 1019.273 / 1017.975 ms。每侧只有4个稳态间隔，且候选数值未通过，不能解释为有效加速。

日志名SDPA对应配置TORCH_SDPA：注册表指向SDPABackend，get_name返回SDPA。已按源码修正审核器名称匹配；原失败审核保留。四个worker选择及Flash-only实现安装可追溯，但本次无整模型原生kernel trace。

完整输出误差 · 来源与计时审核 · 日志名称修正依据

语义排查：预热和测量轮的latent、pixels均从第0块就未通过门槛；不能把失败只归因于长序列后期漂移。cross调用源码未显式传入掩码或packed metadata，两侧沿用相同缓存K/V、scale与非causal设置。但缺少本候选逐层同输入对照，尚不能判定是数值放大还是内部实现差异。六个局部probe使用裁剪后的连续张量，不等于完整运行时stride与全层覆盖。

源码快照索引及逐块误差

后续真实输入诊断：completed_pending_audit，已保存160/160次匹配调用。rank0、B1/H10/K512、非causal筛选；每次使用同一实时Q/K/V计算原版与SDPA Flash输出，并保存FP64抽样参考。原版输出继续用于模型。该诊断有额外计算与保存开销，全部耗时排除于性能结论，尚需完成独立审核。

真实输入诊断已完成独立CPU复算：160次局部候选/原版比较全部通过原门槛，最大相对L2误差0.001090；两侧对FP64抽样参考也全部通过。保存约6.19GB张量。诊断运行最终40份输出与新参考逐值一致，说明本次影子计算未改变这些保存输出。

这缩小了排查范围：在原版轨迹首块的160次已采集调用中，局部差异较小；但候选整模型轨迹会随每次替换而变化，本诊断没有重现该轨迹，也未覆盖所有rank和后续块。因此仍不能证明累积舍入是唯一根因，不能接受候选加速。

160次同输入独立审核 · 诊断输出一致性

候选自身轨迹诊断：completed_pending_audit，已保存160/160次调用。全部rank继续使用SDPA Flash候选输出，仅rank0前160次目标调用额外计算原版和FP64抽样。保存完整输入、两种输出；待独立审核和轨迹对应，不将此运行耗时纳入性能结论。

候选轨迹诊断已通过独立复算，最终40份输出与未插桩候选逐值一致。其160次同输入原版/候选比较和两侧FP64抽样仍全部通过，局部最大相对L2约0.001089。两条轨迹按调用顺序配对，形状、stride、dtype与缩放均一致，K/V在全部160对中逐值相同；Q第一对相同，从第2次调用出现差异，最大相对L2约0.060016。差异并非单调增长。

这支持“局部小差异伴随模型状态分化”的解释，但不证明舍入是唯一原因：尚缺层名、全部rank及其他操作的逐层受控归因；跨轨迹Q差异也不是同输入kernel误差。整模型数值失败结论保持。

候选轨迹独立审核 · 候选输出不变检查 · 完整配对数据 · 矢量图

小工作集带宽：尚不能作为L2峰值

GPU6三次独立进程测试2/8/16MiB数组、copy/triad与两种block配置，共36个配置启动点、10800个事件样本；完整输入和最终输出、PTX/cubin、逐次计时通过审核。三个16MiB数组总容量小于报告的60MiB L2，但容量关系并不证明所有访问命中缓存。

另用NCU在16MiB数组上关闭缓存清空，分别采集copy/triad。copy为7.584μs，DRAM读写合计7.566MB；triad为12.608μs，DRAM读写合计40.725MB，对应算法字节33.554/50.332MB。仍有明显DRAM流量；写回统计窗口和缓存状态可能影响计数，不能将算法字节直接当成L2物理流量。

未插桩逐次提交事件计时与NCU单kernel时长属于不同测量条件。小kernel事件区间可能包含提交间隔，尚不能定量归因为CPU开销，也不能把本组算法带宽作为L2上限。后续需要设备端连续执行与流量验证，当前L2参考缺口保留。

36点与10800计时审核 · 原生NCU指标和单位

小工作集提交方式对照

同一进程、同一输入和kernel，三批交替普通提交与包含100次调用的CUDA Graph，共三次独立启动、72个配置/方法/启动点、21600个事件区间。Graph原始总时长完整保留；下表Graph值为总时长除以100后的平均值，各列再取三启动中位数。完整输入及每配置最终输出通过审核；未保存每次调用或每种方法的独立输出快照。

提交方式显著改变小工作集的测量结果。Graph还可能改变缓存状态和执行间隔，不能把差额全部归为CPU开销；Graph平均值不是独立kernel尾延迟。算法带宽最高约6.53TB/s，仍不是纯L2峰值，未据此填补完整L2 Roofline。该微基准结果不代表整模型加速。

三启动配对数据、设备UUID及校验

已记录cross-attention的矩阵运算量

按实际记录的B/Q/K/H/D与调用次数，计算QKᵀ和PV两次矩阵乘：每调用4×B×Q×K×H×D，乘和加各算1 FLOP。下表为诊断记录范围内各rank求和后的总运算量，不是每秒吞吐；不同采集的轮次/调用数不一定相同，不能直接排名。

480×832 TP1/SP4代表采集已从原始JSONL独立重数：16000次cross调用，共196.293万亿矩阵FLOP，其中denoise157.035、commit39.259。数字包括记录中的重复轮次，不能除以另一运行的耗时来计算MFU。

本项不含softmax、缩放、投影、归一化、self-attention或VAE。self逐调用cu_seqlens实际数值缺失，不能用分配的K长度或max_seqlen_k替代有效长度；完整模型FLOPs/MFU缺口保留。

12个采集的运算量与形状文件SHA · 代表采集原始行复算

逐调用有效Attention长度补充

480×832、TP1/SP4、eager，两轮各10个chunk：四个rank的40层均覆盖，共32000次调用（self与cross各16000）。保存实际cu_seqlens数值、形状、步数/阶段/层上下文及逐调用运算量账本；40份最终模型输出与独立参考逐值一致。

两轮全部记录的self QKᵀ/PV矩阵运算量为8074.101万亿FLOP，cross为196.293万亿FLOP。若错误使用分配长度，self会算成11363.549万亿FLOP，高估40.74%。这证明本配置必须使用有效长度统计，不能把缓存容量作为实际工作量。

本次同步读取长度会影响计时，不能据此计算无干扰吞吐或MFU。运算量仍不含softmax、投影、归一化和VAE；仅补齐此480×832配置，两轮统计总量不能作为单帧工作量。中间仅保留元数据，未保存每次完整QKV；最终40份输出已保存。

长度与覆盖审核 · 40份输出一致性 · 逐调用账本（gzip）

长尾区间对会话相关性的敏感性

复用六次既有运行，每次250个测量会话、每会话4个CPU-ready间隔。原报告已经按整个会话重采样；这次进一步采用循环连续会话块，块长1、5、10、25，每种2000次重采样，始终保留同会话的4个间隔。原始重采样索引与结果全部保存，未新增GPU运行。

下表是P99估计的2.5%–97.5%重采样分位区间。连续块方法仍依赖足够平稳的序列假设，不能由它本身证明平稳性或未来95%覆盖率；不同块长全部保留，不选择最窄区间作为结论。

704×1280第2次运行（r1）的P99区间由约2514–2754ms扩展到2480–2792ms，其他运行不一定变宽。相邻会话均值存在不同程度的相关性；部分运行前50与后50会话均值也不同。这些是描述性证据，不能据此归因于某个硬件因素。

因此，1000个间隔满足样本数量门槛，却不自动建立独立性、长期稳定性或服务SLA。该数据仍来自固定输入重复请求，且止于CPU-ready；不能替代多输入/多seed、完整输出数值验收和实际客户端交付测试。

全部4种块长的数据与哈希 · 独立核对记录 · 矢量图

同次运行的主要矩阵运算量账本

480×832 TP1/SP4 eager两轮诊断完成。所有记录按物理GPU映射核对；四rank各40800次线性调用、各1996次VAE卷积，self/cross各16000次，另有20次GPU输出类型转换。40份最终输出与独立参考逐值一致。

上述矩阵工作量来自同一次运行。DiT记录仅含linear，避免与Attention核心矩阵乘重复计数。卷积按实际输出及权重形状计算标称密集运算量，包含空间分片/填充可能引入的工作；不等同于硬件实际执行指令数。

仍未包含偏置、激活、归一化、softmax、位置变换等算术，也不涵盖编码和网络。输出转换未分配FLOPs，不表示没有成本。同步采集和逐调用日志会改变耗时，不以本次诊断时长计算性能或MFU。中间仅保存元数据，最终40份输出完整保存。

同次工作量与物理GPU映射 · 算子记录审核 · Attention长度审核 · 最终输出一致性

代表NCU输入与逐调用结构的对应范围

将既有18个NCU输入快照，与新诊断中每次算子的嵌套参数、输入/输出形状、步长、dtype及标量参数逐项对照。跨rank比较时仅去掉device字段。

仍缺4种线性层和9种卷积签名的代表硬件输入；线性缺口包括序列分片后的1170长度投影/MLP，以及最终64通道投影。卷积缺口包含较大空间分辨率和后续时间块。应据此补采真实输入，而不是把最初8种形状视作全覆盖。

结构一致不证明输入值相同、同一调用或同一native kernel，也不能把旧回放计时乘调用次数作为整模型耗时。表中是结构对应数量，不是硬件计数器采集调用覆盖率或FLOP加权覆盖率。

全部签名、频次、匹配输入及源文件SHA

结构对应的标称工作量权重

将上述签名按逐调用密集MAC工作量加权，并与独立算子账本总量复核：旧代表输入对应线性层工作量约59.06%，VAE卷积约5.09%。其余约40.94%与94.91%的标称工作量所在签名，尚无旧NCU输入对应。后续13种输入补采正针对这个缺口。

这个比例仅说明已记录矩阵工作量分布，不是硬件采集覆盖率、时间占比或真实指令数。Attention核心和非矩阵算术不在分母内；不能由VAE缺口大直接推断VAE占整模型耗时大。

逐签名工作量、排序与复核

新增13种真实输入的硬件结果

补采4种线性层和9种卷积输入共1.687GB，40份最终模型输出与参考逐值一致。随后通过普通用户gpu run在GPU6完成13项隔离NCU回放，共48个kernel；13份保存的回放输出经CPU独立比对均逐值一致，权限/CVD、计数器来源和各采集PID的调度违规历史检查通过。

例如192通道大卷积：布局转换68.352+5.216+39.008μs、卷积706.240μs、后续逐元素53.600μs，总计872.416μs。卷积kernel的SM吞吐约78.23%，两次主要布局转换L2吞吐约82.80%和85.50%。计算与布局成本都存在，不能仅看卷积kernel推断整个算子；此前局部channels-last负结果也不能直接推广到这些新增形状。

表中速度以标称密集矩阵运算量除以NCU累计kernel时长，包含本次布局/逐元素kernel，不是无插桩延迟或模型MFU。即使输入签名与逐调用记录匹配，仍不能把隔离回放时间乘调用数作为整模型墙钟耗时。

13项硬件指标与原始报告校验 · 形状/工作量/DRAM流量 · 真实快照审核 · 模型输出一致性 · 补齐后结构对应

新增卷积的计算与转换拆分

按明确的native kernel名称分组，并核对每项分组时长之和与原始NCU总量一致。比例仅为隔离回放累计kernel时间占比，不是模型墙钟占比或可恢复加速。

较大卷积的计算比例约80%–88%；输出[1,768,1,60,26]的时间维卷积则约51.9%是布局转换。该差异提示优化需要按真实形状验证，不能将单一布局结论推广到全部VAE。

完整kernel分类及时间复核

时间维卷积布局A/B：仍未获得收益

选择新增NCU中布局转换比例最高（约51.9%）的时间维卷积，使用保存的真实输入做无profiler局部A/B。保持相同NCDHW输入输出边界，候选每次都计入输入/权重channels-last打包和输出连续化。

单次进程内每种20次预热，交替三批各300次CUDA事件计时；两种完整输出与原始参考逐值一致。原方案三批均值约51.39、54.97、51.33μs，候选60.58、60.17、60.31μs。平均52.56对60.35μs，候选慢约14.82%，不接受为优化收益。

这并不否定跨多层保持布局或提前打包的可能性，但那些改变了本次边界，仍需独立数值与全成本验证。本次只有一个输入、一个进程，三批不是三次独立启动，也不是模型尾延迟测试。

完整原始计时/输出审核

KV增长期间的逐chunk矩阵工作量

复用同次480×832 TP1/SP4逐调用数据，按记录的start_frame分组，包含每chunk四次denoise和一次commit，四rank只各计一次；两轮总量除以2，得到单轮平均。逐组结果已与原始工作量账本总量核对。

实际有效K在start_frame=15达到28080，之后此记录范围内保持不变。self矩阵工作量增长至起始的6倍，线性层及cross矩阵工作量保持固定；因此已统计矩阵工作量中的self占比由10.35%升至40.92%后稳定。

分母仅含已记录线性层与Attention核心矩阵乘，不含归一化、激活、softmax、位置变换、VAE等。运算量占比不能直接解释墙钟延迟、通信重叠或MFU；该规律只在本配置和已记录序列范围成立。

逐chunk数据、调用数与源文件校验

704×1280同口径诊断与分辨率对照

新无插桩eager参考和元数据诊断在同批GPU0/1/2/3完成；40份输出逐值一致，像素704×1280、latent88×160，来源/输入/分配/物理映射审核通过。两种分辨率均为两轮、TP1/SP4；各有163200次线性、7984次卷积、32000次Attention及20次转换。

704有效K由10560增至63360后保持；self在已统计DiT矩阵工作量中的比例由20.67%升至60.98%。480对应10.35%至40.92%。线性层、cross和卷积约随像素面积增至2.256倍；self核心矩阵工作量约增至5.091倍。这里是实际长度/形状推导的标称矩阵工作量，不是实测耗时比或完整MFU。

结构对照发现：旧31种NCU代表输入仅匹配704中的3/12种线性签名（1200次调用），0/17种卷积及0/2种转换；仍缺28种高分辨率签名的代表硬件输入。不能把480已补齐的结构覆盖外推到704。

首次来源审核误将参考脚本成功状态pilot_passed要求为completed，已按原脚本定义修正并重跑CPU审核；失败日志保留，没有重跑GPU或放宽数值门槛。

分辨率工作量对照 · 704逐chunk工作量 · 704结构覆盖 · 来源/尺寸/输出审核 · 全部模型输出比较 · 同次工作量与物理映射

704新增28项硬件回放：含一项调度备注

高分辨率28个真实快照共5.302GB，40份模型输出与新参考逐值一致。普通用户gpu run分配GPU0后完成28项独立NCU回放，共90个kernel；保存的28份回放输出均经CPU独立比较逐值一致，计数器来源、UID和CVD核对通过。

严格调度历史审核发现PID2019660一条unknown/foreign记录：首次05:20:53.219 UTC，末次05:20:54.101 UTC，3次观察，未发警告/信号，随后记录为process exited。该项采集结束时间05:20:53.252 UTC，身份记录UID2005/CVD0正确；异常发生在结束附近，但不能据此证明是退出竞态。原严格审核失败日志保留，后续只将计数器/输出检查与调度归属异常分别记录，不宣称调度无异常。其余27项没有匹配的自身PID违规记录。

结合旧输入，704此逐调用记录的12种线性、17种卷积和2种转换结构均已找到代表NCU输入；两个分辨率合计59种代表输入、183个kernel记录，包含上述一项调度备注。仍不证明所有调用/张量值的kernel等价或整模型MFU，隔离NCU计时不可乘调用数当模型墙钟时间。

计数器/输出审核与调度备注 · 工作量/流量和逐项备注 · 补齐后的704结构覆盖 · 真实输入审核 · 模型输出一致性

高分辨率VAE的不同成本构成

以下17个真实卷积输入按native kernel名称分成互斥类别，分组时长之和已与原NCU累计时间核对。左侧是隔离回放累计kernel时间占比，右侧是累计时间的对数坐标；都不表示模型墙钟占比或可恢复加速。

较大卷积的计算占比约80%–90%。输出[1,768,1,88,40]的时间维卷积则有约44.3%布局转换、12.9%逐元素加法和5.9%工作区初始化；计算仅约36.9%。16→16通道小卷积总计10.496μs，逐元素加法约44.5%；192→384通道另一小算子约44.2%为逐元素加法。高占比也可能对应较小绝对时间，不能据此直接优先做整模型优化。

图表说明需要按真实形状选择优化：大卷积的计算效率、时间维卷积的转换、小算子的后处理，属于不同问题。已完成的两个全成本布局A/B均为负结果，不能把图中的转换比例直接当作channels-last收益；跨层保持布局、权重预打包或融合后处理仍需单独验证。

完整kernel分组与源证据 · 矢量图

短 KV、长 KV 与 cross-attention 的 FA2/FA3 硬件对照

四组真实输入、八次采集均通过既定数值检查，原始 NCU 报告、完整输出和 FP64 抽样参考已保存。每组在同一 GPU 上依次运行 FA2、FA3。

FA3 合计包括准备 kernel。self-attention 的局部差距大于这组 cross-attention；这是 profiler 下的独立回放结果，不能直接推出整模型加速比例，也不是未插桩延迟测试。短、长 KV 来自不同生成阶段，不能把差异完全归因于长度。

数值检查使用有效 KV，排除分配缓冲区的无效尾部。8 次 FP64 抽样检查及完整输出容差检查均通过；FA3 的三组 self 输出与原捕获值完全一致，但 cross 输出并非逐位一致。局部容差通过不代表整模型输出通过。

证据：汇总数据；原始目录：raw/attention_hardware_extension_v1/。各输入、输出及报告 SHA256 见 analysis/attention_hardware_*_audit_v1.json。

同一 Attention 输入的两种计时口径

按真实输入 SHA256 匹配已有未插桩 CUDA event 回放与新增 NCU。它们来自不同运行和 GPU 分配，因此不据此估算 profiler 开销。两类测量的方向一致，但比例并不相同。

未插桩结果取原有同进程三批均值，不是三次独立启动。NCU合计包括FA3准备kernel。收益排序仅适用于这些输入，不能替代整模型验收。

高分辨率长KV主kernel的SM吞吐指标由FA2约55.83%升到FA3约77.72%，occupancy由11.92%升到18.75%；DRAM吞吐指标分别约1.22%、2.53%。这些观察支持继续检查执行效率，但低DRAM百分比本身不足以证明计算瓶颈，SM综合指标也不是Tensor Core利用率。

汇总另外列出QK与AV的标称运算量（4QKHD）和实测DRAM流量。该运算量不含softmax等辅助操作，不能当作完整执行FLOPs或模型MFU。证据：输入匹配及计数器数据。

输出生产者与消费者边界核对

冻结Case D的rank0对FP32 BCTHW解码输出执行加一、缩放、round、clamp和uint8转换，再同步复制到CPU。转换没有BCTHW到BTHWC的置换；已有uint8传输路径不能重新认领为优化收益。

CPU-ready时间戳记录在.cpu()后；随后才检查finite、按配置保存输出、构造cpu.numpy().tobytes()并计算SHA256。父进程收到的是chunk信息、时间戳、形状、哈希和内存统计，回复字典未包含像素张量。因此回复时间不是像素IPC交付时间，更不是编码完成或客户端可播放时间。

已为GPU解码输出、GPU量化、D2H、哈希准备、元数据IPC和编码/交付建立六阶段表。张量逻辑字节数按9帧首块或12帧后续块列出，不冒充实测PCIe流量、CPU分配次数或copy engine计数器。编码与真实像素IPC在该冻结基线未执行，服务边界仍需独立实验。

证据：输出边界与逻辑尺寸清单。输出融合补采和局部A/B状态见实时证据页，未完成前不报告收益。

新增CPU无损媒体往返验证

使用已通过参考核验的480×832连续117帧，按原帧序从BCTHW转为RGB24，再以FFV1 level3、bgr0编码至Matroska。固定4个CPU及4编解码线程，24fps仅为播放时间基准。三个独立子进程编码耗时分别为1.517、1.496、1.665秒，解码为2.417、2.343、2.325秒。

三份视频均经ffprobe确认117帧、832×480、FFV1和24fps。独立重读核对351个解码帧，全部与对应原始RGB字节一致；未发现帧序变化。每份媒体53,725,551字节，未压缩RGB为140,175,360字节。容器文件哈希不同不代表像素不同。

该新增实验使用文件输入输出，耗时包括进程启动和文件I/O，不包括张量准备、模型解码、像素IPC或网络。它是固定无损编码路径的完整性证据，不是浏览器兼容性、有损质量、线上尾延迟或服务吞吐验收。原始RGB、三份视频、三份完整解码RGB、逐帧哈希、命令和日志均已保留。

证据：媒体往返审核；原始目录：raw/lossless_media_roundtrip_480_v1/。

输出转换融合局部对照与交接终态

修正版补采已完成：20份真实FP32解码输出全部保留，40份整模型保存输出与参考逐值一致。Triton融合转换对20份真实输入及775个取整边界值均通过独立逐字节检查；CPU参考和原模型uint8输出一致。

包含D2H的局部耗时分别降低23.76%和31.84%。每种尺寸同一进程交错3批、每批100次；批次间存在波动，不是独立启动置信区间，也不代表整模型吞吐提升。未插桩集成A/B和704分辨率仍待验证。

v1补采因误调用pixels.shape()失败，线程栈与CPU复现保留；v2修复后完成，未放宽数值门槛。用户因Codex配额要求本步骤完成后交接，已停止新增实验及CPU自动网页观察进程。完整计划未完成。

证据：局部输出转换审核；交接说明；交接状态。

同一运行的完整kernel账本与关键路径（K0/K1，新增）

新采集：冻结Case D在生产模式（regional torch.compile + reduce-overhead CUDA Graph）下的nsys全进程trace，同一次运行内用NVTX标注request/chunk/step/stage/层（40个block各自是独立CUDA Graph，层级range放在Python调用边界，不改编译代码），VAE worker按叶子模块打range，并在epoch1的chunk0/chunk5记录VAE全部ATen调用元数据。Graph内每个kernel通过cudaGraphLaunch的correlation继承上下文，并用保留的inductor wrapper源码（compile_cache）按launch顺序对齐得到子算子标签。这是诊断trace，不是干净计时；两个带dispatch元数据的VAE chunk另有CPU开销。

480x832

覆盖：1,092,983次kernel记录，87.6%的调用和99.9%的稳态GPU时间有NVTX上下文（无上下文部分为初始化/预热/校验/退出）；分组6211个（按角色、上下文、kernel名、launch签名、graph内位置、子算子）。时钟锚点4个，偏移离散122µs。

稳态chunk（epoch1第5–8块）中位数关键路径：DiT请求到返回 677.5 ms（4卡各自GPU忙碌中位 602–603 ms，4卡同时空闲 58.3 ms，其中请求进入到首个kernel约23.7 ms、末尾返回约6.2 ms；每卡未被计算kernel覆盖的NCCL时间中位 44–52 ms）→ 驱动到VAE提交间隙 4.7 ms → IPC提交到worker收到 6.7 ms → H2D 0.53 ms → barrier 2.06 ms → 解码 141.5 ms（4 rank GPU忙碌中位 127–135 ms）→ barrier 0.56 ms → uint8转换 0.16 ms → D2H 1.19 ms → 元数据回传到驱动 15.8 ms；VAE段总墙钟 169.3 ms。Case D各段串行，链路总和即交付间隔；VAE解码约占关键路径17%，DiT约80%。

DiT稳态GPU时间构成（4卡×4间隔合计 9943 ms；按kernel族：gemm 43.6%, attention_core 32.6%, nccl 10.9%, triton_fused 7.5%, gather_index_cat 4.5%, elementwise_reduce 0.8%, attention_prep 0.1%, conv 0.0%）。按子算子（inductor源节点）：

VAE稳态GPU时间 2281 ms（按kernel族：conv 44.1%, elementwise_reduce 34.6%, nccl 15.4%, attention_core 4.0%, gather_index_cat 1.7%, gemm 0.2%）；按解码模块前8：vae_frame/* 6.8%；up_blocks.3.resnets.0.conv1/WanDistCausalConv3d 4.9%；up_blocks.3.resnets.0.conv2/WanDistCausalConv3d 4.9%；up_blocks.3.resnets.1.conv1/WanDistCausalConv3d 4.9%；up_blocks.3.resnets.1.conv2/WanDistCausalConv3d 4.9%；up_blocks.3.resnets.2.conv1/WanDistCausalConv3d 4.9%；up_blocks.3.resnets.2.conv2/WanDistCausalConv3d 4.9%；up_blocks.2.upsamplers.0.resample.1/WanDistConv2d 3.7%。

数据：coverage · 子算子汇总 · 关键路径 · graph位置标签；完整逐次调用账本 analysis/ledger_480x832_v1/kernel_invocations.jsonl.gz 与 kernel_groups.csv 在本地索引中。

704x1280

覆盖：1,092,185次kernel记录，87.5%的调用和100.0%的稳态GPU时间有NVTX上下文（无上下文部分为初始化/预热/校验/退出）；分组6101个（按角色、上下文、kernel名、launch签名、graph内位置、子算子）。时钟锚点4个，偏移离散88µs。

稳态chunk（epoch1第5–8块）中位数关键路径：DiT请求到返回 2138.2 ms（4卡各自GPU忙碌中位 2036–2040 ms，4卡同时空闲 59.1 ms，其中请求进入到首个kernel约29.5 ms、末尾返回约9.9 ms；每卡未被计算kernel覆盖的NCCL时间中位 93–153 ms）→ 驱动到VAE提交间隙 7.4 ms → IPC提交到worker收到 7.1 ms → H2D 0.75 ms → barrier 2.01 ms → 解码 290.0 ms（4 rank GPU忙碌中位 282–282 ms）→ barrier 0.75 ms → uint8转换 0.21 ms → D2H 2.44 ms → 元数据回传到驱动 33.7 ms；VAE段总墙钟 338.0 ms。Case D各段串行，链路总和即交付间隔；VAE解码约占关键路径12%，DiT约86%。

DiT稳态GPU时间构成（4卡×4间隔合计 33525 ms；按kernel族：attention_core 53.0%, gemm 30.1%, nccl 8.7%, triton_fused 4.7%, gather_index_cat 3.0%, elementwise_reduce 0.5%, attention_prep 0.0%, conv 0.0%）。按子算子（inductor源节点）：

VAE稳态GPU时间 4571 ms（按kernel族：conv 48.3%, elementwise_reduce 37.2%, attention_core 9.4%, nccl 3.0%, gather_index_cat 1.9%, gemm 0.2%）；按解码模块前8：vae_frame/* 12.3%；up_blocks.3.resnets.0.conv1/WanDistCausalConv3d 5.4%；up_blocks.3.resnets.0.conv2/WanDistCausalConv3d 5.3%；up_blocks.3.resnets.1.conv2/WanDistCausalConv3d 5.3%；up_blocks.3.resnets.2.conv2/WanDistCausalConv3d 5.3%；up_blocks.3.resnets.1.conv1/WanDistCausalConv3d 5.3%；up_blocks.3.resnets.2.conv1/WanDistCausalConv3d 5.3%；up_blocks.2.upsamplers.0.resample.1/WanDistConv2d 3.9%。

数据：coverage · 子算子汇总 · 关键路径 · graph位置标签；完整逐次调用账本 analysis/ledger_704x1280_v1/kernel_invocations.jsonl.gz 与 kernel_groups.csv 在本地索引中。

限制：账本时间是nsys记录的kernel时长之和，不是墙钟；graph内位置标签来自wrapper源码对齐，异步NCCL在段内按类别归属；每个kernel的输入shape需结合eager全算子dispatch采集（进行中）按位置对应，尚未逐kernel附上shape；2个VAE chunk带dispatch钩子开销，其解码段偏长（图中chunk 5）。

Attention有效FLOP利用率曲线（A0，新增）

利用率 = 有效FLOPs /（p50时间 × 规格BF16 dense峰值 989.5 TF/s，来源H200官方页1,979 TFLOPS含稀疏÷2）；另标注同卡经验GEMM上限 788 TF/s（仅一张校准卡）。共1004个点（1004个已审核回放点按配置/角色/阶段/shape/后端聚合，3次重复取中位）。独立算子回放，不是整模型MFU。

各配置分图：480x832_tp1_sp1 · 480x832_tp1_sp2 · 480x832_tp1_sp4 · 480x832_tp2_sp1 · 480x832_tp2_sp2 · 480x832_tp4_sp1 · 704x1280_tp1_sp1 · 704x1280_tp1_sp2 · 704x1280_tp1_sp4 · 704x1280_tp2_sp1 · 704x1280_tp2_sp2 · 704x1280_tp4_sp1 · 数据点 · CSV

说明：self-attention各配置最高约66–69%（多为native_dense或FA3，含全部有效KV），cross-attention（K=512）利用率低且随并行度下降，是小shape的launch/填充限制而非计算上限；回放GPU未逐卡校准，规格分母为文档值。

算子Roofline（G0，DRAM层，新增）

59个已审核真实算子输入（480×832 31个、704×1280 28个）以NCU的dram__bytes读写之和为字节数、标称MAC FLOPs为工作量、NCU累计kernel时长为时间，绘制DRAM层Roofline；族别：GEMM (bf16) 21, conv3d (fp32/tf32) 34, convert/other 4, attention (bf16) 8（convert/copy无标称FLOPs，不进入图，标N/A）。上限线：规格BF16 dense 989.5、TF32 dense 494.5、FP32 67 TF/s 与 DRAM 4.8 TB/s；同卡经验线 788 TF/s / 4.35 TB/s 仅对应一张校准卡。

数据点与口径

L2层：missing: existing NCU CSVs contain lts__t_sectors_lookup_miss only; lts__t_bytes / l1tex__t_bytes not captured. Re-collection scheduled (operator_l2_traffic_v1).

逐组瓶颈卡（K2，新增）

对已审核的59个真实算子NCU捕获与8个Attention FA2/FA3捕获，按主导kernel的计数器用公开阈值规则分类（compute_bound: sm or tensor pipe >= 60%; dram_bandwidth_bound: dram >= 60%; l2_bandwidth_bound: lts >= 60% & dram < 60%; partial_wave_tail: sm_active/elapsed < 0.85 & waves <= 1.5; latency_or_occupancy_limited: all < 40% & (warps_active < 25% or waves < 1); else unresolved）。共69张卡：unresolved_no_dominant_limiter 17、compute_bound 29、partial_wave_tail 13、dram_bandwidth_bound 4、l2_bandwidth_bound 6；按阶段：dit → unresolved_no_dominant_limiter 1, compute_bound 14, partial_wave_tail 1, dram_bandwidth_bound 4, l2_bandwidth_bound 1；vae → partial_wave_tail 12, compute_bound 11, l2_bandwidth_bound 5, unresolved_no_dominant_limiter 6；output → unresolved_no_dominant_limiter 4；attention → unresolved_no_dominant_limiter 6, compute_bound 4。每张卡保留原始计数器、触发规则、替代解释与反证实验；unresolved表示没有单一单元≥60%且无占用/尾波特征，需要warp stall分解（已加入排队的L2重采批次）。这是隔离回放的kernel级归因，不是集成流水线归因。

完整69张卡：bottleneck_cards_v1.json（含每个kernel的计数器、规则、替代解释、反证实验和原始NCU目录）。

账本分组的shape对应与逐组归因覆盖（K1/K2，新增）

把eager全算子dispatch采集（同源码同配置、非同一次运行；40份输出与eager参考逐值一致）的逐调用shape按inductor源节点/顺序附到编译graph的每个位置（融合elementwise kernel的shape按源节点推断并标注inferred），VAE按叶子模块对应；再把每个账本分组对应到瓶颈卡：exact_card=同算子同shape的NCU捕获（含稳态KV长度的Attention），无卡分组用trace推导（shape字节下界/nsys时长）或标communication/unresolved。

“无主导限制单元”主要是稳态KV长度下的FA3 self-attention核心kernel（sm吞吐约55%、DRAM约2%、L2约20%、活跃warp约10%），按现有阈值规则不能单独归为计算或访存受限；已排队的NCU重采会补充warp stall分解、tensor pipe与L2字节，用于最终判定。未归因部分主要是compiled融合kernel（无法用现有算子回放采计数器）、paged KV gather/index kernel和VAE的fmha/elementwise。

480x832 未归因/推导分组前6（稳态GPU ms）：vae vae_frame/* fmha_cutlassF_f32_aligned_32x128_gme 69；dit vllm_omni.ar_diffusion_paged_write_a void at::native::vectorized_gather_k 25；dit vllm_omni.ar_diffusion_paged_write_a void at::native::vectorized_gather_k 25；dit vllm_omni.ar_diffusion_paged_write_a void at::native::vectorized_gather_k 25；dit vllm_omni.ar_diffusion_paged_write_a void at::native::vectorized_gather_k 25；dit vllm_omni.ar_diffusion_paged_write_a void at::native::vectorized_gather_k 24

704x1280 未归因/推导分组前6（稳态GPU ms）：vae vae_frame/* fmha_cutlassF_f32_aligned_32x128_gme 323；vae vae_frame/* fmha_cutlassF_f32_aligned_32x128_gme 107；dit vllm_omni.ar_diffusion_paged_write_a void at::native::vectorized_gather_k 56；dit vllm_omni.ar_diffusion_paged_write_a void at::native::vectorized_gather_k 56；dit vllm_omni.ar_diffusion_paged_write_a void at::native::vectorized_gather_k 56；dit vllm_omni.ar_diffusion_paged_write_a void at::native::vectorized_gather_k 56

数据：480x832 k2覆盖 · 480x832 逐组归因 · 704x1280 k2覆盖 · 704x1280 逐组归因；带shape的分组表 analysis/ledger_<tag>_v1/kernel_groups_with_shapes.csv 在本地索引中。

优化迁移矩阵 v2：H1–H5 每个候选的 experiment_id 与状态（H0，新增）

状态只来自磁盘上的结果文件：planned=已定义未跑；running=队列中/运行中；failed_gate=eager数值门槛未过；timed_pending_audit=门槛通过、生产模式计时已跑待审核；bounded_by_ledger=按同一运行账本上界不实施；incompatible_bounded_attempt=有边界移植失败；local_negative=已有局部负结果。计时为6轮生产模式运行的稳态交付间隔（每轮第5–8间隔，共20个），不是1000间隔长尾协议。

optimization_transfer_matrix_v2.json · H1c 有边界移植尝试记录

编译模式跨启动不可重复的分步诊断（NUM，新增）

背景：eager跨启动逐位一致，但生产模式（regional torch.compile + reduce-overhead）两次启动的40份保存输出0/40通过冻结门槛。按约定做有边界的单变量诊断，每步2次独立启动×2 epoch，同一比较脚本与门槛。

结论（到目前）：CUDA Graph本身不是不可重复的来源（去掉Graph后仍0/40）；加上库级确定性控制后生产模式两次启动逐位一致（40/40 exact）。因此跨启动差异来自cuBLAS工作区/非确定性算法选择等库级非确定性，而非编译或Graph。单一控制拆分（B1 cuBLAS工作区、B2 cuDNN确定性、B3 use_deterministic_algorithms）与该控制的生产模式性能代价计时已排队；若代价可接受，可把确定性设置作为候选验收的生产模式参考，使门槛判定不再依赖eager。

数据：A 比较 · B 比较 · 流程

全模型标称FLOPs与模型级MFU（K2/G0，新增）

模型FLOPs来自eager全算子dispatch的逐调用shape（稳态chunk：4次DMD前向+1次commit，4个rank全部求和；self-attention按稳态有效KV长度、非因果、4·Sq·Skv·H·D；线性/卷积按2·MAC，含显式padding），时间来自同一运行账本的关键路径中位数（诊断trace，非干净计时）。分母：DiT用规格BF16 dense峰值989.5 TF/s，VAE卷积为TF32 implicit GEMM（xmma f32f32_tf32f32 kernel）用TF32 dense峰值494.5 TF/s。这是“模型MFU”口径；硬件执行FLOPs/Tensor Core活跃度/逐kernel利用率是不同指标。

解读：DiT在稳态chunk内按墙钟约49–53%的规格BF16 dense峰值，其中self-attention核心kernel在NCU隔离回放中sm吞吐约55%（见瓶颈卡）、GEMM多为计算受限；4卡同时空闲与暴露NCCL约占DiT墙钟10–11%。VAE解码为FP32/TF32卷积，模型级MFU约14–16%，与逐kernel归因（小grid尾波、layout转换、elementwise）一致。704×1280的DiT FLOPs为480的3.4倍（attention 5.1倍），交付间隔2.9倍，端到端MFU反而更高，说明480×832更受launch/通信/非计算段影响。低MFU本身不是瓶颈结论，各段归因见上文。

数据：480x832 · 704x1280