PDE-OBS: Controlled Evaluation Across Observation Patterns
Organizations: Stony Brook University · University of California, Davis · Independent Research · PayPal · Northeastern University · New York University
Abstract
Physical-field reconstruction and forecasting depend on both measurement density and spatial layout, yet evaluation under a single observation pattern does not characterize performance when that pattern changes. We introduce PDE-OBS, an integrated benchmarking platform spanning numerical data generation, model training, and inference and evaluation under varying observation conditions. It combines 560,000 fields and trajectories from seven partial differential equation families with configurable observation operators and seven adapted baseline methods for stationary reconstruction and short-horizon forecasting. Separating observation construction from physical records allows users to specify parameterized patterns and deterministic mixtures for training and testing while preserving prediction targets and data splits. The evaluation protocol uses references trained for each test pattern to compare models on identical test observations and targets, alongside equal-count groups for spatial-layout comparisons. On a 14,000-record subset, we evaluate 441 trained models under nine test patterns, yielding 3,969 evaluations. Mean cross-pattern error exceeds mean matched-pattern error in all 49 PDE-method pairs, and this finding persists in a configuration-matched subset of 117 models. Denser test observations do not consistently reduce error for a fixed model. Mixed-pattern training on five completed pairs reduces large single-pattern transfer errors, although destination-trained references usually remain more accurate. Together, the benchmark and findings support systematic evaluation of observation-pattern sensitivity and provide a reusable workflow for developing methods under changing measurement conditions. Code: https://github.com/ru1ch3n/PDE-OBS.
Figures & tables
Appendix figures & tables67 assets
Supplementary material from the paper’s appendix.
Appendix
| Family | Prediction | Boundary | |
|---|---|---|---|
| Darcy | Solution-field recovery | Dirichlet | – |
| Poisson | Solution-field recovery | Dirichlet | – |
| Helmholtz | Solution-field recovery | Dirichlet | – |
| Heat | Initial field to three future states | Periodic | .25 |
| Reaction–diffusion | Initial field to three future states | Periodic | .8 |
| Burgers | Initial field to three future states | Periodic | .35 |
| Family | Parameter | Values |
|---|---|---|
| Darcy | coefficient contrast | 2, 8, 32 |
| Poisson | source amplitude | 0.5, 1, 2 |
| Helmholtz | wavenumber ; damping | 0.5, 1, 2; zero |
| Heat | diffusivity | 0.005, 0.02, 0.08 |
| Reaction–diffusion | rate ; diffusivity | 0.5, 1.5, 4; 0.008 |
| Burgers | viscosity | 0.04, 0.015, 0.004 |
| PDE | Mean normalized residual | Maximum normalized residual |
|---|---|---|
| Darcy | ||
| Poisson | ||
| Helmholtz | ||
| Heat | ||
| Reaction–diffusion | ||
| Burgers |
| PDE | Final | Dense frames | Stride | Stored frames | Internal rule |
|---|---|---|---|---|---|
| Heat | 0.25 | 155 | 11 | 15 | Fourier propagation |
| Reaction–diffusion | 0.8 | 267 | 19 | 15 | |
| Burgers | 0.35 | 267 | 19 | 15 | CFL bound above |
| Navier–Stokes | 0.4 | 71 | 5 | 15 |
| Code | Pattern | Count | Construction |
|---|---|---|---|
| R50 | Random | 8192 | Uniform distinct locations |
| R65 | Random | 10650 | Uniform distinct locations |
| R80 | Random | 13107 | Uniform distinct locations |
| BL | Missing block | 8284 | Outside a missing square |
| LI | Crossed lines | 8284 | Union of 38 rows and 38 columns |
| H | Horizontal lines | 8192 | 64 distinct rows |
| Adaptation | Reference configuration | Parameters | Batch |
|---|---|---|---|
| U-FNO-2D | Width 36; Fourier and U blocks | 5,049,545 | 4 |
| FNO | Width 32; 12 modes; 4 layers | 2,366,145 | 8 |
| CNO-inspired CNN | Width 32; filtered convolution | 103,617 | 8 |
| DeepONet | Spatial CNN branch; latent 128 | 221,121 | 4 |
| GNOT | Width 128; 3 layers; 2 experts | 2,099,975 | 4 |
| Transolver (static) | Width 128; 8 layers; 64 slices | 2,811,457 | 4 |
| Method | Optimizer | Weight decay | Batch | Schedule | Grad. clip |
|---|---|---|---|---|---|
| U-FNO-2D | Adam | 4 | step | 1.0 | |
| FNO | Adam | 8 | step | 1.0 | |
| CNO-inspired CNN | AdamW | 8 | step | 1.0 | |
| DeepONet | Adam | 0 | 4 | step | 1.0 |
| GNOT | AdamW | 4 | one-cycle, 20% warm-up | 1000 | |
| Transolver | AdamW | 4 (2) | one-cycle, 30% warm-up | 0.1 (none) |
| Factory | Controls |
|---|---|
| Random | ratio or count ; distinct cells |
| Grid | ratio or spacing ; optional random_offset |
| Block | missing_fraction or block_shape ; observe outside the block |
| Line / horizontal / vertical | ratio or num_lines ; orientation for general lines |
| Boundary | width ; optional deterministic count within the band |
| Clustered | ratio or count ; clusters and spread |
| Statistic | Full grid | Fixed subset |
|---|---|---|
| Pairs | 49 | 13 |
| Pairs with | 49/49 | 13/13 |
| Median | 10.46 | 10.74 |
| Positive layout directions, group I | 545/588 | 151/156 |
| Positive layout directions, group II | 276/294 | 76/78 |
| R80 improves over R50, R50-trained | 13/49 | 0/13 |
| Relative- test error | Transfer ratio | ||
| PDE | Matched | Cross-pattern | Median |
| Stationary solution recovery | |||
| Darcy | 13.45 | ||
| Poisson | 16.58 | ||
| Helmholtz | 28.61 | ||
| Temporal state forecasting | |||
| Code | Recorded cohort | Models |
|---|---|---|
| O500 | original500 | 257 |
| INT | interrupted_or_recovered | 28 |
| M120 | budget200_min120 | 44 |
| P10 | budget200_patience10_no_floor | 10 |
| R500 | original500_recovered | 66 |
| F200 | fixed200_recovered | 36 |
| Condition | Comparison | Count / total | Median ratio |
|---|---|---|---|
| Equal-count layout: positive destination-referenced difference | |||
| Recovery | 238/252 | 7.53 | |
| Rollout | 307/336 | 2.97 | |
| Recovery | 122/126 | 12.37 | |
| Rollout | 154/168 | 3.76 | |
| Density: lower error than the same checkpoint at R50 | |||
| Mean SD | Cross-pattern cell means | |||||
|---|---|---|---|---|---|---|
| Method | Matched | Cross | Median | 90th pct. | Max. | |
| Darcy | ||||||
| U-FNO | 2.01 | 0.36 | 1.07 | 1.49 | ||
| FNO | 10.46 | 0.54 | 1.80 | 4.39 | ||
| CNO | 10.74 | 0.37 | 0.82 | 3.63 | ||
| DeepONet | 26.63 | 0.44 | 3.67 | 14.26 | ||
| Horizon 1 | Horizon 2 | Horizon 3 | ||||
|---|---|---|---|---|---|---|
| Method | ||||||
| Heat | ||||||
| U-FNO | 0.16±0.12 | 0.33±0.24 | 0.16±0.12 | 0.32±0.23 | 0.18±0.11 | 0.32±0.22 |
| FNO | 0.03±0.01 | 0.19±0.21 | 0.05±0.01 | 0.19±0.21 | 0.08±0.01 | 0.20±0.20 |
| CNO | 0.05±0.03 | 0.26±0.25 | 0.06±0.02 | 0.26±0.23 | 0.09±0.02 | 0.27±0.22 |
| DeepONet | 0.08±0.04 | 1.40±1.97 | 0.09±0.04 | 2.89±6.12 | 0.12±0.04 | 10.66±29.76 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.18±0.03 | 0.25±0.06 | 0.24±0.06 | 0.76±0.15 | 0.76±0.07 | 0.24±0.05 | 0.73±0.06 | 0.31±0.02 | 0.57±0.04 |
| H | 0.32±0.05 | 0.32±0.05 | 0.38±0.07 | 1.08±0.30 | 1.49±0.30 | 0.35±0.07 | 1.47±0.26 | 0.31±0.06 | 0.32±0.05 |
| V | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 |
| CL | 0.27±0.14 | 0.27±0.14 | 0.27±0.14 | 0.30±0.14 | 0.30±0.15 | 0.27±0.14 | 0.31±0.16 | 0.29±0.12 | 0.34±0.10 |
| BL | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 | 0.36±0.18 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.02±0.01 | 0.16±0.07 | 0.20±0.09 | 1.87±0.50 | 1.81±0.33 | 0.14±0.05 | 1.73±0.29 | 0.39±0.04 | 1.23±0.16 |
| H | 0.15±0.07 | 0.03±0.02 | 1.44±0.81 | 2.98±0.98 | 4.28±0.80 | 0.99±0.61 | 4.39±0.81 | 0.34±0.06 | 0.48±0.09 |
| V | 0.07±0.02 | 0.48±0.23 | 0.02±0.01 | 2.52±0.61 | 2.17±0.41 | 0.36±0.19 | 2.21±0.40 | 0.88±0.12 | 0.95±0.16 |
| CL | 0.20±0.05 | 0.20±0.06 | 0.19±0.06 | 0.14±0.09 | 0.26±0.10 | 0.20±0.06 | 0.35±0.07 | 0.26±0.03 | 0.35±0.05 |
| BL | 0.48±0.12 | 1.05±0.45 | 0.80±0.30 | 0.60±0.16 | 0.08±0.04 | 0.76±0.31 | 0.07±0.04 | 0.42±0.12 | 0.37±0.09 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.01±0.00 | 0.10±0.05 | 0.09±0.04 | 0.56±0.15 | 0.73±0.11 | 0.08±0.04 | 0.80±0.06 | 1.77±0.76 | 3.63±0.45 |
| H | 0.06±0.01 | 0.01±0.01 | 0.19±0.04 | 0.38±0.19 | 0.55±0.13 | 0.12±0.03 | 0.59±0.07 | 0.93±0.09 | 0.96±0.13 |
| V | 0.02±0.00 | 0.08±0.03 | 0.02±0.01 | 0.36±0.15 | 0.48±0.10 | 0.05±0.01 | 0.51±0.07 | 0.05±0.01 | 0.08±0.01 |
| CL | 0.07±0.01 | 0.07±0.02 | 0.08±0.02 | 0.11±0.09 | 0.29±0.16 | 0.07±0.02 | 0.36±0.15 | 0.08±0.01 | 0.10±0.02 |
| BL | 0.48±0.11 | 0.38±0.08 | 0.37±0.08 | 0.26±0.10 | 0.15±0.09 | 0.39±0.08 | 0.14±0.09 | 0.57±0.14 | 0.63±0.16 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.04±0.02 | 0.14±0.04 | 0.16±0.04 | 0.58±0.11 | 0.71±0.08 | 0.11±0.03 | 0.74±0.04 | 0.14±0.01 | 0.20±0.02 |
| H | 0.26±0.06 | 0.04±0.02 | 0.69±0.24 | 0.80±0.26 | 0.80±0.17 | 0.36±0.13 | 0.69±0.12 | 0.34±0.07 | 0.40±0.07 |
| V | 0.33±0.02 | 0.80±0.32 | 0.05±0.02 | 0.48±0.15 | 0.44±0.14 | 0.45±0.20 | 0.32±0.10 | 0.18±0.02 | 0.15±0.03 |
| CL | 0.24±0.06 | 2.88±1.08 | 1.59±0.44 | 0.14±0.07 | 0.29±0.10 | 0.58±0.19 | 0.31±0.07 | 0.22±0.06 | 0.23±0.06 |
| BL | 8.56±1.10 | 12.22±2.47 | 14.26±2.39 | 1.87±0.77 | 0.10±0.06 | 13.56±2.00 | 0.08±0.04 | 7.52±0.96 | 4.92±0.68 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.01±0.01 | 0.03±0.01 | 0.03±0.01 | 0.54±1.57 | 2.47±7.11 | 0.03±0.01 | 0.33±0.24 | 0.01±0.01 | 0.01±0.01 |
| H | 0.08±0.01 | 0.08±0.01 | 0.10±0.02 | 0.31±0.20 | 0.35±0.12 | 0.09±0.02 | 0.35±0.09 | 0.08±0.01 | 0.08±0.01 |
| V | 0.04±0.01 | 0.06±0.02 | 0.05±0.01 | 0.26±0.18 | 0.33±0.12 | 0.05±0.02 | 0.34±0.07 | 0.04±0.01 | 0.04±0.01 |
| CL | 0.06±0.03 | 0.06±0.03 | 0.06±0.03 | 0.10±0.07 | 0.23±0.10 | 0.06±0.03 | 0.24±0.07 | 0.06±0.03 | 0.06±0.03 |
| BL | 0.27±0.07 | 0.28±0.07 | 0.27±0.07 | 0.41±0.17 | 0.11±0.08 | 0.28±0.07 | 0.08±0.07 | 0.27±0.07 | 0.27±0.07 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.00±0.00 | 0.52±0.16 | 0.60±0.20 | 1.31±0.36 | 1.53±0.31 | 0.53±0.11 | 1.55±0.26 | 0.05±0.01 | 0.13±0.02 |
| H | 0.19±0.03 | 0.00±0.01 | 0.29±0.04 | 0.33±0.13 | 0.43±0.10 | 0.10±0.02 | 0.46±0.08 | 0.17±0.03 | 0.15±0.03 |
| V | 0.40±0.04 | 0.46±0.05 | 0.01±0.00 | 0.64±0.19 | 0.73±0.15 | 0.31±0.04 | 0.80±0.10 | 0.34±0.04 | 0.27±0.03 |
| CL | 0.02±0.00 | 0.04±0.02 | 0.04±0.02 | 0.06±0.06 | 0.19±0.10 | 0.04±0.01 | 0.18±0.09 | 0.04±0.01 | 0.06±0.01 |
| BL | 0.69±0.17 | 0.82±0.21 | 0.66±0.18 | 0.54±0.24 | 0.08±0.05 | 0.57±0.16 | 0.06±0.04 | 0.61±0.15 | 0.55±0.13 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.02±0.01 | 0.08±0.06 | 0.08±0.05 | 0.92±0.36 | 1.34±0.24 | 0.07±0.05 | 1.50±0.22 | 0.29±0.01 | 0.57±0.03 |
| H | 0.10±0.02 | 0.02±0.01 | 0.24±0.07 | 1.05±0.28 | 1.09±0.15 | 0.17±0.06 | 1.10±0.08 | 0.29±0.02 | 0.53±0.04 |
| V | 0.50±0.12 | 0.25±0.08 | 0.02±0.01 | 37.80±27.49 | 2.20±1.19 | 0.27±0.11 | 2.73±0.67 | 0.53±0.11 | 0.63±0.09 |
| CL | 0.18±0.08 | 0.15±0.07 | 0.15±0.07 | 0.14±0.09 | 0.29±0.10 | 0.15±0.07 | 0.34±0.08 | 0.13±0.05 | 0.16±0.05 |
| BL | 0.38±0.07 | 0.30±0.09 | 0.31±0.10 | 0.40±0.12 | 0.04±0.04 | 0.29±0.08 | 0.03±0.03 | 0.31±0.07 | 0.24±0.06 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.18±0.11 | 0.20±0.13 | 0.21±0.13 | 2.69±1.76 | 3.28±2.08 | 0.19±0.11 | 3.11±1.98 | 0.12±0.06 | 1.00±0.64 |
| H | 0.50±0.14 | 0.08±0.05 | 0.57±0.11 | 0.49±0.15 | 0.73±0.21 | 0.24±0.06 | 0.77±0.20 | 0.46±0.14 | 0.42±0.12 |
| V | 0.62±0.24 | 0.61±0.24 | 0.06±0.03 | 0.74±0.28 | 0.90±0.36 | 0.35±0.13 | 0.93±0.35 | 0.60±0.24 | 0.62±0.24 |
| CL | 0.06±0.03 | 0.07±0.02 | 0.07±0.03 | 0.05±0.04 | 0.38±0.15 | 0.05±0.02 | 0.39±0.14 | 0.05±0.02 | 0.04±0.01 |
| BL | 0.31±0.05 | 0.33±0.10 | 0.34±0.09 | 0.36±0.18 | 0.07±0.04 | 0.32±0.07 | 0.05±0.02 | 0.25±0.05 | 0.34±0.18 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.01±0.00 | 0.05±0.03 | 0.05±0.03 | 0.47±0.19 | 0.81±0.24 | 0.04±0.02 | 0.88±0.24 | 0.15±0.04 | 0.29±0.08 |
| H | 0.06±0.03 | 0.02±0.01 | 0.36±0.23 | 2.14±1.37 | 2.99±1.92 | 0.25±0.16 | 3.01±1.94 | 0.19±0.10 | 0.51±0.23 |
| V | 0.03±0.01 | 0.18±0.09 | 0.02±0.01 | 0.65±0.31 | 1.21±0.56 | 0.12±0.06 | 1.26±0.58 | 0.11±0.05 | 0.25±0.13 |
| CL | 0.08±0.03 | 0.08±0.03 | 0.09±0.03 | 0.08±0.04 | 0.47±0.21 | 0.08±0.03 | 0.54±0.18 | 0.07±0.04 | 0.11±0.04 |
| BL | 0.67±0.17 | 0.86±0.41 | 0.98±0.58 | 0.71±0.33 | 0.14±0.09 | 0.86±0.40 | 0.10±0.05 | 0.34±0.09 | 0.29±0.08 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.02±0.01 | 0.13±0.09 | 0.13±0.09 | 1.14±0.53 | 1.53±0.64 | 0.12±0.06 | 1.53±0.63 | 0.30±0.07 | 1.35±0.41 |
| H | 0.02±0.01 | 0.01±0.00 | 0.06±0.02 | 0.43±0.21 | 0.87±0.31 | 0.04±0.01 | 0.92±0.31 | 0.15±0.03 | 0.34±0.08 |
| V | 0.01±0.01 | 0.05±0.02 | 0.01±0.00 | 0.39±0.17 | 0.80±0.14 | 0.03±0.01 | 0.81±0.10 | 0.12±0.01 | 0.25±0.03 |
| CL | 0.09±0.04 | 0.08±0.02 | 0.07±0.02 | 0.12±0.07 | 0.74±0.26 | 0.08±0.02 | 0.83±0.27 | 0.14±0.05 | 0.20±0.06 |
| BL | 0.64±0.35 | 0.68±0.31 | 0.65±0.29 | 0.81±0.26 | 0.12±0.07 | 0.62±0.31 | 0.09±0.04 | 0.65±0.40 | 0.66±0.41 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.02±0.01 | 0.16±0.04 | 0.15±0.05 | 0.59±0.11 | 0.89±0.09 | 0.13±0.03 | 0.91±0.09 | 0.06±0.02 | 0.19±0.04 |
| H | 0.19±0.08 | 0.03±0.01 | 0.29±0.14 | 0.65±0.27 | 0.83±0.17 | 0.16±0.11 | 0.81±0.15 | 0.10±0.05 | 0.09±0.03 |
| V | 0.17±0.06 | 0.24±0.09 | 0.03±0.01 | 0.54±0.19 | 0.78±0.16 | 0.11±0.07 | 0.76±0.16 | 0.12±0.06 | 0.10±0.06 |
| CL | 0.60±0.24 | 1.44±0.55 | 0.29±0.12 | 0.23±0.09 | 0.61±0.24 | 0.94±0.36 | 0.65±0.24 | 0.52±0.20 | 0.38±0.16 |
| BL | 7.26±2.82 | 13.65±7.26 | 11.65±5.08 | 1.62±0.95 | 0.13±0.08 | 11.44±5.05 | 0.07±0.03 | 6.52±2.16 | 4.46±1.19 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.01±0.00 | 0.02±0.01 | 0.02±0.01 | 15.43±33.93 | 71.17±92.13 | 0.02±0.01 | 85.57±55.23 | 0.01±0.00 | 0.01±0.00 |
| H | 0.01±0.00 | 0.01±0.00 | 0.05±0.04 | 6.17±17.29 | 26.94±23.73 | 0.02±0.01 | 33.87±19.62 | 0.01±0.00 | 0.01±0.00 |
| V | 0.02±0.01 | 0.08±0.04 | 0.01±0.01 | 6.43±9.06 | 4.12±7.29 | 0.06±0.03 | 0.92±0.38 | 0.01±0.00 | 0.01±0.00 |
| CL | 0.02±0.01 | 0.02±0.01 | 0.02±0.01 | 0.04±0.03 | 0.38±0.16 | 0.02±0.01 | 0.34±0.12 | 0.02±0.01 | 0.02±0.01 |
| BL | 0.27±0.14 | 0.30±0.15 | 0.29±0.15 | 0.60±0.27 | 0.29±0.16 | 0.29±0.16 | 0.26±0.16 | 0.27±0.14 | 0.27±0.15 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.00±0.00 | 0.29±0.11 | 0.36±0.17 | 0.66±0.22 | 1.98±1.31 | 0.29±0.11 | 2.17±1.37 | 0.08±0.02 | 0.31±0.07 |
| H | 1.74±0.86 | 0.00±0.01 | 0.73±0.14 | 0.62±0.20 | 1.00±0.43 | 0.32±0.08 | 1.02±0.33 | 1.88±0.96 | 1.44±0.87 |
| V | 0.50±0.08 | 0.65±0.12 | 0.06±0.03 | 0.83±0.36 | 1.05±0.39 | 0.34±0.07 | 1.09±0.38 | 0.40±0.08 | 0.35±0.09 |
| CL | 0.07±0.04 | 0.13±0.06 | 0.12±0.05 | 0.07±0.04 | 0.69±0.19 | 0.08±0.02 | 0.68±0.15 | 0.08±0.02 | 0.11±0.04 |
| BL | 1.25±0.59 | 1.04±0.43 | 0.99±0.39 | 0.93±0.47 | 0.15±0.09 | 0.99±0.37 | 0.10±0.06 | 1.32±0.62 | 1.35±0.64 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.04±0.01 | 0.16±0.07 | 0.15±0.06 | 0.66±0.16 | 0.95±0.20 | 0.14±0.05 | 1.05±0.18 | 0.28±0.05 | 0.55±0.14 |
| H | 0.14±0.08 | 0.01±0.01 | 0.23±0.08 | 1.05±0.57 | 1.73±1.19 | 0.16±0.07 | 2.25±1.45 | 0.30±0.07 | 0.52±0.10 |
| V | 0.14±0.08 | 0.25±0.12 | 0.02±0.01 | 1.31±0.78 | 1.68±0.83 | 0.16±0.08 | 2.02±1.00 | 0.29±0.08 | 0.52±0.12 |
| CL | 0.38±0.03 | 0.37±0.05 | 0.38±0.06 | 0.13±0.08 | 0.45±0.16 | 0.37±0.04 | 0.45±0.18 | 0.24±0.03 | 0.11±0.03 |
| BL | 0.76±0.08 | 0.63±0.20 | 0.83±0.23 | 0.83±0.21 | 0.07±0.05 | 0.61±0.19 | 0.05±0.03 | 0.69±0.09 | 0.64±0.10 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 1.07±0.29 | 1.01±0.27 | 1.02±0.28 | 1.14±0.37 | 1.37±0.51 | 1.03±0.28 | 1.34±0.51 | 0.95±0.26 | 0.45±0.11 |
| H | 0.47±0.01 | 0.02±0.01 | 0.68±0.06 | 0.52±0.16 | 0.76±0.23 | 0.26±0.03 | 0.80±0.20 | 0.44±0.01 | 0.40±0.02 |
| V | 0.47±0.02 | 0.67±0.06 | 0.03±0.01 | 0.60±0.18 | 0.78±0.27 | 0.28±0.05 | 0.81±0.25 | 0.46±0.02 | 0.47±0.03 |
| CL | 0.04±0.02 | 0.09±0.03 | 0.12±0.07 | 0.07±0.03 | 0.38±0.17 | 0.08±0.03 | 0.33±0.13 | 0.06±0.02 | 0.08±0.03 |
| BL | 0.63±0.43 | 1.36±0.47 | 1.42±0.48 | 0.29±0.10 | 0.06±0.03 | 1.24±0.52 | 0.05±0.02 | 0.52±0.37 | 0.27±0.21 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.01±0.00 | 0.07±0.04 | 0.08±0.05 | 1.16±0.41 | 1.60±0.65 | 0.05±0.04 | 1.59±0.65 | 0.13±0.03 | 0.44±0.10 |
| H | 0.02±0.00 | 0.01±0.00 | 0.12±0.05 | 0.70±0.29 | 1.25±0.40 | 0.08±0.03 | 1.29±0.39 | 0.27±0.09 | 0.59±0.20 |
| V | 0.03±0.01 | 0.19±0.08 | 0.01±0.00 | 0.68±0.22 | 1.11±0.29 | 0.12±0.05 | 1.12±0.28 | 0.10±0.02 | 0.26±0.07 |
| CL | 0.04±0.00 | 0.04±0.01 | 0.04±0.01 | 0.04±0.02 | 0.33±0.17 | 0.04±0.01 | 0.42±0.21 | 0.07±0.02 | 0.13±0.04 |
| BL | 0.53±0.14 | 0.57±0.20 | 0.70±0.32 | 0.79±0.28 | 0.06±0.03 | 0.55±0.18 | 0.04±0.02 | 0.56±0.15 | 0.69±0.19 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.00±0.00 | 0.07±0.05 | 0.08±0.05 | 0.49±0.15 | 0.85±0.09 | 0.07±0.03 | 0.90±0.06 | 0.11±0.01 | 0.22±0.04 |
| H | 0.02±0.01 | 0.01±0.00 | 0.09±0.03 | 0.42±0.21 | 0.82±0.23 | 0.05±0.01 | 0.86±0.22 | 0.20±0.03 | 0.43±0.07 |
| V | 0.02±0.00 | 0.07±0.02 | 0.01±0.00 | 0.44±0.20 | 0.85±0.24 | 0.04±0.01 | 0.90±0.23 | 0.12±0.02 | 0.20±0.04 |
| CL | 0.15±0.05 | 0.15±0.05 | 0.14±0.04 | 0.09±0.05 | 0.57±0.22 | 0.14±0.05 | 0.63±0.16 | 0.17±0.04 | 0.22±0.05 |
| BL | 0.95±0.34 | 1.00±0.34 | 1.08±0.40 | 0.74±0.30 | 0.09±0.05 | 1.00±0.34 | 0.07±0.03 | 0.90±0.32 | 0.90±0.32 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.02±0.01 | 0.14±0.04 | 0.13±0.05 | 0.63±0.13 | 0.92±0.10 | 0.11±0.03 | 0.93±0.09 | 0.08±0.03 | 0.17±0.06 |
| H | 0.22±0.03 | 0.02±0.01 | 0.34±0.08 | 0.53±0.16 | 0.84±0.14 | 0.18±0.08 | 0.81±0.12 | 0.11±0.02 | 0.04±0.01 |
| V | 0.31±0.09 | 0.38±0.14 | 0.02±0.01 | 0.51±0.16 | 0.82±0.22 | 0.19±0.09 | 0.82±0.23 | 0.30±0.09 | 0.30±0.09 |
| CL | 0.28±0.09 | 3.01±0.82 | 3.12±1.11 | 0.16±0.06 | 0.78±0.28 | 1.43±0.50 | 0.89±0.19 | 0.23±0.06 | 0.23±0.08 |
| BL | 7.60±3.38 | 15.28±7.37 | 13.81±6.76 | 1.60±0.80 | 0.10±0.07 | 12.74±5.56 | 0.06±0.02 | 6.77±3.09 | 4.59±2.21 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.01±0.00 | 0.04±0.12 | 0.05±0.33 | 132.35±117.02 | 81.74±74.92 | 0.02±0.01 | 13.44±11.45 | 0.01±0.00 | 0.00±0.00 |
| H | 0.01±0.00 | 0.01±0.00 | 0.07±0.14 | 65.50±98.78 | 62.51±54.10 | 0.03±0.01 | 51.71±16.29 | 0.01±0.00 | 0.01±0.00 |
| V | 0.01±0.00 | 0.16±0.44 | 0.01±0.00 | 20.08±37.63 | 13.43±8.04 | 0.03±0.01 | 11.85±4.28 | 0.01±0.00 | 0.01±0.00 |
| CL | 0.02±0.01 | 0.02±0.01 | 0.02±0.01 | 0.03±0.02 | 0.49±0.13 | 0.02±0.01 | 0.49±0.13 | 0.02±0.01 | 0.02±0.01 |
| BL | 0.28±0.11 | 0.29±0.11 | 0.29±0.11 | 0.51±0.39 | 0.20±0.15 | 0.29±0.11 | 0.16±0.12 | 0.29±0.11 | 0.28±0.11 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.00±0.00 | 0.31±0.10 | 0.31±0.13 | 0.77±0.21 | 1.37±0.39 | 0.30±0.09 | 1.38±0.37 | 0.07±0.01 | 0.12±0.03 |
| H | 0.58±0.05 | 0.00±0.00 | 0.81±0.22 | 0.73±0.33 | 1.93±0.89 | 0.42±0.05 | 1.91±0.77 | 0.54±0.11 | 0.48±0.25 |
| V | 0.49±0.07 | 0.71±0.08 | 0.00±0.00 | 0.55±0.16 | 0.83±0.21 | 0.34±0.06 | 0.84±0.19 | 0.46±0.08 | 0.46±0.10 |
| CL | 0.34±0.12 | 0.56±0.19 | 0.46±0.17 | 0.05±0.04 | 0.60±0.20 | 0.55±0.20 | 0.60±0.21 | 0.30±0.11 | 0.37±0.11 |
| BL | 0.56±0.15 | 0.52±0.15 | 0.53±0.16 | 0.58±0.20 | 0.07±0.05 | 0.49±0.14 | 0.05±0.03 | 0.64±0.17 | 0.71±0.20 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.04±0.01 | 0.12±0.04 | 0.11±0.05 | 0.56±0.18 | 0.98±0.17 | 0.10±0.04 | 1.12±0.15 | 0.20±0.03 | 0.36±0.05 |
| H | 0.09±0.04 | 0.02±0.01 | 0.27±0.13 | 0.79±0.15 | 1.03±0.20 | 0.18±0.08 | 1.14±0.23 | 0.18±0.03 | 0.32±0.04 |
| V | 0.11±0.04 | 0.27±0.11 | 0.02±0.01 | 0.77±0.16 | 1.22±0.30 | 0.19±0.08 | 1.28±0.32 | 0.19±0.03 | 0.34±0.04 |
| CL | 0.28±0.03 | 0.28±0.05 | 0.27±0.06 | 0.11±0.05 | 0.44±0.16 | 0.27±0.04 | 0.44±0.17 | 0.18±0.02 | 0.11±0.02 |
| BL | 0.69±0.11 | 0.67±0.12 | 0.74±0.18 | 0.81±0.15 | 0.08±0.06 | 0.65±0.16 | 0.06±0.03 | 0.64±0.12 | 0.61±0.13 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.36±0.07 | 0.31±0.06 | 0.33±0.06 | 0.55±0.10 | 0.61±0.10 | 0.32±0.06 | 0.60±0.11 | 0.19±0.05 | 0.10±0.02 |
| H | 0.33±0.02 | 0.35±0.03 | 0.42±0.03 | 0.61±0.09 | 0.67±0.10 | 0.37±0.03 | 0.65±0.10 | 0.15±0.02 | 0.06±0.04 |
| V | 0.15±0.04 | 0.26±0.05 | 0.07±0.03 | 0.89±0.25 | 0.93±0.19 | 0.16±0.04 | 0.92±0.19 | 0.14±0.05 | 0.10±0.06 |
| CL | 0.13±0.07 | 0.13±0.06 | 0.14±0.07 | 0.15±0.06 | 0.14±0.05 | 0.13±0.06 | 0.14±0.05 | 0.08±0.06 | 0.09±0.04 |
| BL | 0.31±0.04 | 0.27±0.05 | 0.28±0.05 | 0.24±0.07 | 0.11±0.03 | 0.27±0.05 | 0.11±0.03 | 0.17±0.05 | 0.11±0.05 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.05±0.05 | 0.06±0.04 | 0.06±0.04 | 0.47±0.17 | 0.56±0.16 | 0.05±0.05 | 0.56±0.17 | 0.11±0.04 | 0.08±0.04 |
| H | 0.05±0.05 | 0.05±0.05 | 0.07±0.04 | 0.42±0.13 | 0.49±0.10 | 0.06±0.04 | 0.49±0.11 | 0.05±0.05 | 0.06±0.04 |
| V | 0.05±0.04 | 0.07±0.04 | 0.05±0.04 | 0.38±0.11 | 0.46±0.11 | 0.06±0.04 | 0.45±0.11 | 0.05±0.04 | 0.06±0.04 |
| CL | 0.07±0.06 | 0.07±0.05 | 0.07±0.04 | 0.07±0.04 | 0.08±0.03 | 0.06±0.05 | 0.08±0.03 | 0.11±0.05 | 0.08±0.06 |
| BL | 0.08±0.03 | 0.11±0.04 | 0.11±0.04 | 0.17±0.05 | 0.06±0.05 | 0.10±0.03 | 0.06±0.05 | 0.07±0.03 | 0.06±0.04 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.06±0.04 | 0.18±0.09 | 0.21±0.10 | 0.62±0.09 | 0.66±0.08 | 0.19±0.07 | 0.65±0.08 | 0.06±0.04 | 0.06±0.04 |
| H | 0.05±0.05 | 0.05±0.05 | 0.14±0.07 | 0.46±0.12 | 0.59±0.10 | 0.08±0.03 | 0.59±0.11 | 0.05±0.04 | 0.05±0.04 |
| V | 0.06±0.04 | 0.18±0.08 | 0.06±0.05 | 0.48±0.11 | 0.55±0.10 | 0.13±0.06 | 0.54±0.10 | 0.06±0.04 | 0.06±0.05 |
| CL | 0.09±0.04 | 0.09±0.05 | 0.08±0.04 | 0.12±0.05 | 0.30±0.12 | 0.08±0.04 | 0.33±0.13 | 0.08±0.04 | 0.07±0.05 |
| BL | 0.10±0.04 | 0.14±0.04 | 0.18±0.06 | 0.54±0.16 | 0.10±0.04 | 0.15±0.04 | 0.09±0.03 | 0.08±0.04 | 0.07±0.04 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.08±0.03 | 0.52±0.13 | 0.52±0.13 | 1.04±0.19 | 1.12±0.21 | 0.46±0.10 | 1.02±0.17 | 0.21±0.09 | 0.12±0.07 |
| H | 0.26±0.07 | 0.09±0.03 | 0.85±0.40 | 0.63±0.16 | 0.71±0.12 | 0.50±0.30 | 0.64±0.12 | 0.29±0.13 | 0.28±0.12 |
| V | 0.49±0.13 | 1.06±0.42 | 0.09±0.04 | 0.65±0.14 | 0.65±0.12 | 0.61±0.25 | 0.61±0.11 | 0.67±0.20 | 0.53±0.18 |
| CL | 0.25±0.11 | 1.06±1.38 | 8.75±10.37 | 0.20±0.07 | 0.49±0.15 | 1.18±1.76 | 0.46±0.14 | 0.24±0.06 | 0.21±0.06 |
| BL | 6.02±4.26 | 17.45±9.95 | 17.62±10.32 | 0.70±0.29 | 0.11±0.05 | 16.67±10.00 | 0.10±0.04 | 4.37±3.08 | 1.84±1.00 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.07±0.03 | 0.10±0.03 | 0.10±0.03 | 0.51±0.17 | 0.48±0.16 | 0.10±0.03 | 0.50±0.16 | 0.07±0.03 | 0.07±0.03 |
| H | 0.09±0.04 | 0.10±0.03 | 0.15±0.05 | 3.38±3.97 | 4.59±4.14 | 0.12±0.04 | 3.56±3.87 | 0.09±0.04 | 0.09±0.04 |
| V | 0.09±0.03 | 0.12±0.04 | 0.09±0.03 | 0.74±0.71 | 0.63±0.24 | 0.10±0.03 | 0.63±0.20 | 0.09±0.03 | 0.09±0.03 |
| CL | 0.07±0.05 | 0.08±0.05 | 0.08±0.05 | 0.13±0.05 | 0.23±0.08 | 0.08±0.04 | 0.29±0.08 | 0.07±0.05 | 0.07±0.05 |
| BL | 0.08±0.05 | 0.10±0.04 | 0.10±0.04 | 0.34±0.11 | 0.10±0.04 | 0.10±0.04 | 0.10±0.04 | 0.08±0.05 | 0.08±0.05 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.05±0.04 | 0.19±0.08 | 0.22±0.09 | 0.74±0.14 | 0.82±0.10 | 0.17±0.05 | 0.82±0.10 | 0.06±0.04 | 0.07±0.03 |
| H | 0.26±0.04 | 0.07±0.05 | 0.48±0.06 | 0.50±0.14 | 0.53±0.14 | 0.16±0.03 | 0.52±0.13 | 0.19±0.04 | 0.14±0.04 |
| V | 0.22±0.02 | 0.43±0.04 | 0.07±0.04 | 0.74±0.15 | 0.82±0.14 | 0.21±0.04 | 0.82±0.14 | 0.15±0.03 | 0.10±0.03 |
| CL | 0.14±0.02 | 0.17±0.03 | 0.17±0.03 | 0.35±0.11 | 0.51±0.10 | 0.16±0.02 | 0.50±0.11 | 0.13±0.02 | 0.11±0.02 |
| BL | 0.49±0.04 | 0.35±0.08 | 0.34±0.07 | 0.45±0.11 | 0.08±0.04 | 0.35±0.07 | 0.08±0.04 | 0.49±0.03 | 0.40±0.02 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.06±0.05 | 0.07±0.06 | 0.07±0.06 | 0.55±0.11 | 0.66±0.10 | 0.07±0.04 | 0.66±0.10 | 0.06±0.04 | 0.10±0.03 |
| H | 0.06±0.03 | 0.05±0.04 | 0.12±0.03 | 0.44±0.11 | 0.55±0.09 | 0.09±0.02 | 0.55±0.09 | 0.06±0.03 | 0.07±0.03 |
| V | 0.07±0.04 | 0.15±0.04 | 0.06±0.04 | 0.54±0.11 | 0.63±0.08 | 0.11±0.03 | 0.63±0.08 | 0.06±0.05 | 0.07±0.05 |
| CL | 0.08±0.03 | 0.09±0.02 | 0.17±0.07 | 0.08±0.03 | 0.09±0.03 | 0.12±0.05 | 0.09±0.03 | 0.08±0.03 | 0.09±0.04 |
| BL | 0.08±0.04 | 0.18±0.05 | 0.16±0.04 | 0.29±0.09 | 0.07±0.04 | 0.12±0.04 | 0.07±0.05 | 0.09±0.05 | 0.10±0.05 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.16±0.02 | 0.18±0.03 | 0.18±0.03 | 0.47±0.10 | 0.50±0.10 | 0.17±0.02 | 0.49±0.10 | 0.10±0.02 | 0.08±0.03 |
| H | 0.08±0.03 | 0.09±0.02 | 0.12±0.03 | 0.41±0.12 | 0.43±0.11 | 0.08±0.03 | 0.42±0.11 | 0.07±0.03 | 0.07±0.03 |
| V | 0.12±0.02 | 0.19±0.02 | 0.11±0.01 | 0.39±0.09 | 0.40±0.08 | 0.12±0.02 | 0.39±0.08 | 0.09±0.02 | 0.08±0.03 |
| CL | 0.08±0.03 | 0.09±0.03 | 0.09±0.04 | 0.18±0.05 | 0.26±0.05 | 0.08±0.03 | 0.24±0.05 | 0.08±0.05 | 0.08±0.06 |
| BL | 0.26±0.03 | 0.22±0.05 | 0.23±0.05 | 0.34±0.07 | 0.25±0.04 | 0.21±0.05 | 0.24±0.04 | 0.12±0.04 | 0.09±0.04 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.05±0.04 | 0.06±0.04 | 0.06±0.04 | 0.38±0.10 | 0.44±0.09 | 0.06±0.04 | 0.44±0.09 | 0.07±0.03 | 0.09±0.03 |
| H | 0.06±0.04 | 0.05±0.04 | 0.06±0.03 | 0.32±0.09 | 0.43±0.11 | 0.06±0.04 | 0.43±0.11 | 0.06±0.04 | 0.08±0.03 |
| V | 0.06±0.04 | 0.07±0.03 | 0.05±0.04 | 0.34±0.09 | 0.40±0.10 | 0.06±0.04 | 0.40±0.10 | 0.06±0.03 | 0.07±0.03 |
| CL | 0.09±0.06 | 0.08±0.05 | 0.08±0.06 | 0.08±0.04 | 0.09±0.04 | 0.08±0.06 | 0.09±0.03 | 0.10±0.06 | 0.10±0.06 |
| BL | 0.12±0.04 | 0.12±0.04 | 0.15±0.05 | 0.21±0.07 | 0.07±0.04 | 0.12±0.04 | 0.08±0.04 | 0.10±0.04 | 0.09±0.03 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.05±0.04 | 0.09±0.04 | 0.10±0.05 | 0.56±0.09 | 0.60±0.09 | 0.09±0.03 | 0.60±0.09 | 0.05±0.04 | 0.06±0.04 |
| H | 0.06±0.04 | 0.06±0.04 | 0.11±0.05 | 0.49±0.11 | 0.56±0.10 | 0.07±0.03 | 0.56±0.10 | 0.07±0.05 | 0.07±0.06 |
| V | 0.06±0.04 | 0.13±0.06 | 0.06±0.04 | 0.56±0.13 | 0.62±0.12 | 0.08±0.03 | 0.63±0.13 | 0.06±0.04 | 0.06±0.04 |
| CL | 0.08±0.03 | 0.08±0.03 | 0.08±0.03 | 0.11±0.04 | 0.28±0.12 | 0.08±0.03 | 0.32±0.12 | 0.07±0.03 | 0.07±0.03 |
| BL | 0.09±0.02 | 0.16±0.04 | 0.15±0.03 | 0.55±0.16 | 0.10±0.04 | 0.14±0.02 | 0.09±0.03 | 0.08±0.03 | 0.07±0.03 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.10±0.03 | 0.62±0.17 | 0.70±0.14 | 2.42±0.63 | 2.53±0.55 | 0.44±0.10 | 2.24±0.19 | 0.11±0.03 | 0.10±0.03 |
| H | 0.33±0.03 | 0.10±0.03 | 0.55±0.08 | 0.65±0.12 | 0.76±0.11 | 0.23±0.05 | 0.65±0.09 | 0.21±0.03 | 0.14±0.03 |
| V | 0.29±0.03 | 0.48±0.09 | 0.11±0.03 | 0.58±0.11 | 0.66±0.11 | 0.22±0.04 | 0.59±0.08 | 0.19±0.03 | 0.12±0.03 |
| CL | 0.27±0.06 | 0.75±0.82 | 0.45±0.25 | 0.20±0.07 | 0.43±0.11 | 0.34±0.17 | 0.42±0.10 | 0.27±0.06 | 0.23±0.05 |
| BL | 4.56±2.63 | 10.29±4.56 | 16.34±7.40 | 0.69±0.42 | 0.12±0.04 | 13.20±5.71 | 0.10±0.04 | 3.78±2.20 | 1.72±1.22 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.09±0.03 | 0.12±0.04 | 0.32±1.50 | 11.15±7.82 | 18.08±2.25 | 0.12±0.04 | 18.48±0.52 | 0.09±0.03 | 0.09±0.03 |
| H | 0.10±0.04 | 0.11±0.04 | 0.14±0.05 | 8.92±7.86 | 26.61±15.88 | 0.12±0.04 | 33.23±15.23 | 0.10±0.04 | 0.10±0.04 |
| V | 0.10±0.03 | 0.15±0.06 | 0.10±0.03 | 0.66±0.20 | 0.72±0.19 | 0.12±0.04 | 0.68±0.18 | 0.09±0.03 | 0.09±0.03 |
| CL | 0.14±0.04 | 0.14±0.04 | 0.14±0.04 | 0.22±0.07 | 0.34±0.11 | 0.14±0.04 | 0.38±0.10 | 0.14±0.04 | 0.14±0.04 |
| BL | 0.10±0.05 | 0.11±0.05 | 0.11±0.05 | 0.33±0.10 | 0.11±0.04 | 0.11±0.05 | 0.10±0.04 | 0.10±0.05 | 0.10±0.05 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.07±0.05 | 0.15±0.05 | 0.14±0.05 | 0.54±0.10 | 0.65±0.08 | 0.13±0.03 | 0.65±0.08 | 0.08±0.05 | 0.08±0.04 |
| H | 0.20±0.02 | 0.07±0.05 | 0.56±0.04 | 0.58±0.10 | 0.64±0.11 | 0.21±0.03 | 0.64±0.11 | 0.14±0.03 | 0.11±0.03 |
| V | 0.17±0.02 | 0.30±0.04 | 0.11±0.03 | 0.61±0.11 | 0.68±0.11 | 0.19±0.03 | 0.68±0.11 | 0.14±0.02 | 0.12±0.02 |
| CL | 0.12±0.03 | 0.10±0.03 | 0.11±0.03 | 0.18±0.09 | 0.40±0.14 | 0.10±0.03 | 0.46±0.16 | 0.12±0.03 | 0.10±0.03 |
| BL | 0.23±0.03 | 0.22±0.04 | 0.21±0.04 | 0.41±0.13 | 0.17±0.07 | 0.22±0.03 | 0.15±0.04 | 0.19±0.02 | 0.19±0.02 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.06±0.04 | 0.09±0.04 | 0.08±0.04 | 0.49±0.10 | 0.57±0.10 | 0.08±0.04 | 0.57±0.10 | 0.06±0.04 | 0.63±0.04 |
| H | 0.10±0.06 | 0.06±0.04 | 0.12±0.04 | 0.47±0.09 | 0.58±0.08 | 0.10±0.04 | 0.58±0.09 | 0.10±0.06 | 0.11±0.05 |
| V | 0.08±0.02 | 0.13±0.04 | 0.06±0.04 | 0.46±0.09 | 0.55±0.08 | 0.10±0.04 | 0.56±0.08 | 0.08±0.02 | 0.09±0.04 |
| CL | 0.08±0.02 | 0.08±0.03 | 0.08±0.03 | 0.08±0.03 | 0.08±0.03 | 0.07±0.03 | 0.08±0.03 | 0.08±0.02 | 0.08±0.02 |
| BL | 0.08±0.03 | 0.16±0.05 | 0.16±0.05 | 0.27±0.08 | 0.07±0.04 | 0.11±0.03 | 0.07±0.04 | 0.14±0.03 | 0.26±0.03 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.25±0.01 | 0.30±0.03 | 0.30±0.03 | 0.76±0.16 | 0.80±0.17 | 0.28±0.02 | 0.81±0.16 | 0.11±0.02 | 0.08±0.02 |
| H | 0.91±0.15 | 0.89±0.12 | 1.05±0.19 | 1.20±0.25 | 1.23±0.33 | 0.97±0.14 | 1.21±0.34 | 0.11±0.04 | 0.16±0.05 |
| V | 0.16±0.03 | 0.24±0.04 | 0.19±0.04 | 0.44±0.10 | 0.41±0.10 | 0.20±0.04 | 0.42±0.09 | 0.09±0.01 | 0.10±0.01 |
| CL | 0.07±0.03 | 0.07±0.03 | 0.07±0.03 | 0.09±0.03 | 0.13±0.04 | 0.07±0.03 | 0.12±0.05 | 0.07±0.03 | 0.07±0.03 |
| BL | 0.16±0.05 | 0.17±0.06 | 0.17±0.06 | 0.23±0.06 | 0.13±0.04 | 0.16±0.05 | 0.12±0.04 | 0.14±0.05 | 0.14±0.05 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.04±0.03 | 0.05±0.03 | 0.06±0.03 | 0.42±0.12 | 0.48±0.11 | 0.05±0.03 | 0.49±0.11 | 0.06±0.03 | 0.08±0.02 |
| H | 0.05±0.03 | 0.04±0.03 | 0.08±0.03 | 0.48±0.12 | 0.54±0.11 | 0.06±0.03 | 0.55±0.11 | 0.06±0.03 | 0.07±0.02 |
| V | 0.05±0.03 | 0.06±0.03 | 0.05±0.03 | 0.32±0.10 | 0.37±0.09 | 0.06±0.03 | 0.38±0.09 | 0.06±0.03 | 0.06±0.03 |
| CL | 0.06±0.04 | 0.06±0.04 | 0.05±0.04 | 0.07±0.03 | 0.08±0.03 | 0.06±0.04 | 0.08±0.04 | 0.06±0.04 | 0.06±0.04 |
| BL | 0.07±0.03 | 0.10±0.04 | 0.12±0.05 | 0.25±0.09 | 0.05±0.03 | 0.11±0.04 | 0.05±0.03 | 0.07±0.03 | 0.07±0.02 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.05±0.03 | 0.11±0.07 | 0.12±0.07 | 0.60±0.13 | 0.70±0.14 | 0.11±0.03 | 0.71±0.13 | 0.05±0.03 | 0.05±0.03 |
| H | 0.08±0.03 | 0.05±0.03 | 0.21±0.09 | 0.56±0.13 | 0.65±0.11 | 0.12±0.03 | 0.66±0.12 | 0.07±0.03 | 0.06±0.03 |
| V | 0.08±0.03 | 0.20±0.08 | 0.05±0.03 | 0.51±0.12 | 0.58±0.10 | 0.13±0.04 | 0.58±0.09 | 0.07±0.03 | 0.06±0.03 |
| CL | 0.07±0.02 | 0.08±0.03 | 0.08±0.03 | 0.13±0.06 | 0.32±0.13 | 0.08±0.03 | 0.36±0.13 | 0.07±0.02 | 0.07±0.03 |
| BL | 0.13±0.02 | 0.18±0.03 | 0.17±0.04 | 0.61±0.17 | 0.10±0.04 | 0.15±0.03 | 0.08±0.03 | 0.09±0.02 | 0.07±0.02 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.10±0.04 | 0.64±0.11 | 0.51±0.13 | 0.97±0.10 | 1.02±0.08 | 0.56±0.08 | 1.02±0.06 | 0.10±0.04 | 0.11±0.04 |
| H | 0.94±0.21 | 0.11±0.04 | 2.60±1.43 | 0.70±0.14 | 0.69±0.12 | 1.34±0.60 | 0.62±0.10 | 0.81±0.18 | 0.61±0.14 |
| V | 0.89±0.21 | 1.67±0.45 | 0.11±0.04 | 0.65±0.12 | 0.66±0.18 | 0.98±0.31 | 0.59±0.18 | 0.73±0.19 | 0.52±0.14 |
| CL | 0.32±0.07 | 1.35±0.90 | 0.70±0.30 | 0.20±0.06 | 0.43±0.12 | 0.48±0.19 | 0.40±0.11 | 0.33±0.07 | 0.28±0.06 |
| BL | 2.86±1.33 | 7.00±3.12 | 5.34±2.62 | 0.68±0.28 | 0.14±0.05 | 5.74±2.60 | 0.12±0.04 | 2.21±1.08 | 1.11±0.62 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.07±0.03 | 0.10±0.05 | 0.10±0.03 | 0.88±0.60 | 0.79±0.40 | 0.09±0.03 | 0.74±0.50 | 0.07±0.03 | 0.07±0.03 |
| H | 0.08±0.03 | 0.07±0.03 | 0.11±0.04 | 2.15±2.62 | 1.07±1.11 | 0.09±0.03 | 0.72±0.29 | 0.08±0.03 | 0.08±0.03 |
| V | 0.07±0.03 | 0.09±0.03 | 0.07±0.03 | 0.37±0.13 | 0.39±0.13 | 0.08±0.03 | 0.40±0.12 | 0.07±0.03 | 0.07±0.03 |
| CL | 0.09±0.04 | 0.10±0.04 | 0.10±0.04 | 0.14±0.05 | 0.25±0.08 | 0.10±0.04 | 0.28±0.08 | 0.09±0.04 | 0.09±0.04 |
| BL | 0.10±0.04 | 0.13±0.05 | 0.12±0.04 | 0.41±0.14 | 0.12±0.05 | 0.12±0.04 | 0.12±0.05 | 0.10±0.04 | 0.10±0.04 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.20±0.03 | 0.42±0.06 | 0.40±0.04 | 0.71±0.12 | 0.77±0.12 | 0.40±0.04 | 0.77±0.11 | 0.19±0.03 | 0.19±0.03 |
| H | 0.15±0.02 | 0.06±0.04 | 0.31±0.04 | 0.49±0.13 | 0.55±0.12 | 0.16±0.02 | 0.55±0.12 | 0.12±0.02 | 0.10±0.02 |
| V | 0.14±0.02 | 0.29±0.03 | 0.06±0.03 | 0.50±0.14 | 0.60±0.15 | 0.14±0.03 | 0.60±0.15 | 0.11±0.02 | 0.09±0.02 |
| CL | 0.07±0.03 | 0.08±0.03 | 0.09±0.03 | 0.10±0.05 | 0.26±0.11 | 0.07±0.03 | 0.28±0.10 | 0.06±0.03 | 0.07±0.03 |
| BL | 0.26±0.04 | 0.23±0.04 | 0.24±0.04 | 0.44±0.15 | 0.08±0.04 | 0.24±0.05 | 0.07±0.04 | 0.17±0.03 | 0.12±0.02 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.05±0.04 | 0.06±0.03 | 0.06±0.03 | 0.44±0.12 | 0.50±0.12 | 0.06±0.03 | 0.51±0.11 | 0.05±0.03 | 0.06±0.03 |
| H | 0.07±0.03 | 0.06±0.04 | 0.15±0.04 | 0.49±0.10 | 0.57±0.10 | 0.11±0.04 | 0.58±0.10 | 0.06±0.03 | 0.07±0.03 |
| V | 0.13±0.07 | 0.14±0.04 | 0.05±0.04 | 0.50±0.10 | 0.55±0.10 | 0.11±0.03 | 0.55±0.09 | 0.16±0.09 | 0.17±0.09 |
| CL | 0.07±0.03 | 0.08±0.03 | 0.08±0.03 | 0.08±0.03 | 0.09±0.03 | 0.07±0.03 | 0.09±0.03 | 0.06±0.03 | 0.06±0.03 |
| BL | 0.09±0.04 | 0.17±0.06 | 0.16±0.05 | 0.29±0.09 | 0.06±0.03 | 0.12±0.04 | 0.06±0.03 | 0.10±0.04 | 0.10±0.04 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.01±0.00 | 0.04±0.02 | 0.04±0.02 | 0.45±0.10 | 0.50±0.10 | 0.04±0.01 | 0.50±0.10 | 0.01±0.00 | 0.01±0.00 |
| H | 0.04±0.00 | 0.01±0.00 | 0.07±0.01 | 0.32±0.10 | 0.34±0.09 | 0.03±0.00 | 0.34±0.09 | 0.03±0.01 | 0.03±0.01 |
| V | 0.04±0.00 | 0.11±0.02 | 0.01±0.00 | 0.34±0.10 | 0.37±0.09 | 0.06±0.01 | 0.37±0.09 | 0.03±0.00 | 0.02±0.00 |
| CL | 0.05±0.01 | 0.05±0.01 | 0.05±0.01 | 0.09±0.04 | 0.14±0.05 | 0.05±0.01 | 0.14±0.05 | 0.05±0.01 | 0.03±0.01 |
| BL | 0.22±0.03 | 0.24±0.05 | 0.24±0.05 | 0.23±0.07 | 0.05±0.02 | 0.23±0.04 | 0.05±0.02 | 0.07±0.01 | 0.05±0.01 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.00±0.00 | 0.01±0.01 | 0.01±0.01 | 0.36±0.10 | 0.44±0.10 | 0.01±0.01 | 0.45±0.10 | 0.03±0.01 | 0.07±0.02 |
| H | 0.01±0.00 | 0.00±0.00 | 0.05±0.02 | 0.42±0.12 | 0.55±0.13 | 0.04±0.02 | 0.55±0.13 | 0.02±0.00 | 0.03±0.01 |
| V | 0.03±0.01 | 0.09±0.03 | 0.03±0.01 | 0.44±0.10 | 0.51±0.08 | 0.06±0.02 | 0.51±0.08 | 0.05±0.01 | 0.05±0.01 |
| CL | 0.01±0.00 | 0.02±0.00 | 0.02±0.00 | 0.02±0.01 | 0.05±0.02 | 0.01±0.00 | 0.05±0.02 | 0.02±0.01 | 0.04±0.02 |
| BL | 0.06±0.01 | 0.09±0.02 | 0.14±0.08 | 0.30±0.09 | 0.01±0.00 | 0.10±0.03 | 0.01±0.00 | 0.05±0.02 | 0.04±0.02 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.01±0.01 | 0.11±0.10 | 0.11±0.09 | 0.96±0.22 | 1.00±0.24 | 0.10±0.05 | 1.01±0.24 | 0.02±0.01 | 0.02±0.01 |
| H | 0.09±0.01 | 0.02±0.01 | 0.21±0.08 | 0.50±0.11 | 0.63±0.10 | 0.13±0.03 | 0.62±0.10 | 0.08±0.01 | 0.08±0.01 |
| V | 0.07±0.02 | 0.15±0.05 | 0.02±0.01 | 0.56±0.18 | 0.71±0.20 | 0.11±0.02 | 0.70±0.19 | 0.06±0.01 | 0.05±0.01 |
| CL | 0.06±0.01 | 0.08±0.02 | 0.08±0.02 | 0.12±0.05 | 0.34±0.12 | 0.07±0.01 | 0.35±0.12 | 0.05±0.01 | 0.05±0.01 |
| BL | 0.15±0.06 | 0.38±0.16 | 0.42±0.16 | 0.56±0.15 | 0.09±0.04 | 0.35±0.12 | 0.07±0.03 | 0.08±0.02 | 0.05±0.01 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.03±0.01 | 0.13±0.04 | 0.15±0.04 | 0.53±0.12 | 0.64±0.14 | 0.11±0.03 | 0.61±0.13 | 0.04±0.01 | 0.06±0.02 |
| H | 0.60±0.05 | 0.05±0.02 | 0.78±0.16 | 0.54±0.11 | 0.55±0.12 | 0.46±0.10 | 0.51±0.10 | 0.47±0.05 | 0.31±0.05 |
| V | 0.78±0.10 | 1.25±0.27 | 0.05±0.02 | 0.57±0.11 | 0.59±0.12 | 0.78±0.19 | 0.56±0.10 | 0.66±0.11 | 0.47±0.10 |
| CL | 0.19±0.04 | 0.71±0.30 | 0.50±0.14 | 0.18±0.05 | 0.40±0.10 | 0.33±0.11 | 0.40±0.09 | 0.18±0.04 | 0.16±0.04 |
| BL | 2.11±0.69 | 4.18±1.49 | 3.89±1.46 | 0.52±0.14 | 0.09±0.03 | 3.80±1.40 | 0.08±0.03 | 1.47±0.44 | 0.58±0.16 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.02±0.01 | 0.04±0.01 | 0.04±0.01 | 0.27±0.08 | 0.36±0.12 | 0.03±0.01 | 0.35±0.12 | 0.02±0.01 | 0.02±0.01 |
| H | 0.06±0.03 | 0.07±0.03 | 0.08±0.03 | 0.36±0.14 | 0.47±0.18 | 0.07±0.03 | 0.46±0.17 | 0.06±0.03 | 0.06±0.03 |
| V | 0.03±0.01 | 0.08±0.04 | 0.03±0.01 | 0.34±0.13 | 0.42±0.13 | 0.06±0.02 | 0.39±0.12 | 0.03±0.01 | 0.03±0.01 |
| CL | 0.11±0.04 | 0.11±0.04 | 0.12±0.04 | 0.19±0.06 | 0.28±0.10 | 0.11±0.04 | 0.35±0.09 | 0.11±0.04 | 0.11±0.04 |
| BL | 0.09±0.03 | 0.11±0.04 | 0.11±0.04 | 0.46±0.12 | 0.12±0.05 | 0.11±0.03 | 0.11±0.05 | 0.09±0.03 | 0.09±0.03 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.03±0.01 | 0.12±0.06 | 0.12±0.07 | 0.62±0.12 | 0.69±0.10 | 0.11±0.03 | 0.69±0.10 | 0.03±0.01 | 0.04±0.01 |
| H | 0.12±0.02 | 0.12±0.04 | 0.28±0.10 | 0.78±0.23 | 0.93±0.27 | 0.17±0.03 | 0.94±0.27 | 0.11±0.03 | 0.10±0.03 |
| V | 0.82±0.05 | 0.90±0.01 | 0.02±0.01 | 0.78±0.11 | 0.83±0.08 | 0.88±0.02 | 0.83±0.09 | 0.63±0.16 | 0.21±0.21 |
| CL | 0.08±0.02 | 0.13±0.05 | 0.08±0.01 | 0.13±0.07 | 0.27±0.10 | 0.07±0.01 | 0.27±0.10 | 0.07±0.01 | 0.07±0.01 |
| BL | 0.41±0.07 | 0.34±0.06 | 0.31±0.05 | 0.45±0.10 | 0.06±0.04 | 0.31±0.05 | 0.05±0.02 | 0.47±0.11 | 0.44±0.08 |
| Test observation pattern | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Train | R50 | H | V | CL | BL | LI | BD | R65 | R80 |
| R50 | 0.00±0.00 | 0.05±0.02 | 0.05±0.02 | 0.55±0.10 | 0.64±0.10 | 0.04±0.01 | 0.64±0.10 | 0.03±0.02 | 0.03±0.02 |
| H | 0.33±0.19 | 0.00±0.00 | 0.81±0.11 | 0.54±0.11 | 0.69±0.11 | 0.73±0.14 | 0.68±0.11 | 0.34±0.19 | 0.35±0.16 |
| V | 1.32±0.62 | 2.12±0.51 | 0.00±0.00 | 2.05±0.52 | 2.12±0.52 | 2.02±0.51 | 2.12±0.49 | 1.34±0.59 | 1.33±0.57 |
| CL | 0.04±0.01 | 0.07±0.06 | 0.06±0.02 | 0.05±0.02 | 0.06±0.03 | 0.06±0.02 | 0.06±0.03 | 0.04±0.02 | 0.04±0.03 |
| BL | 0.22±0.12 | 0.21±0.09 | 0.18±0.07 | 0.29±0.09 | 0.02±0.01 | 0.12±0.04 | 0.02±0.01 | 0.18±0.11 | 0.13±0.10 |
| Error (%): mean view SD | ||||
| Pair | Destinations | MIX | Specialist | geo. |
| Helmholtz / FNO | All nine | 2.07 | ||
| Helmholtz / DeepONet | All nine | 2.56 | ||
| Heat / DeepONet | All nine | 1.32 | ||
| Navier–Stokes / U-FNO | All nine | 1.19 | ||
| Poisson / U-FNO | All nine (descriptive) | 0.46 | ||
| Test observation protocol | |||
|---|---|---|---|
| Pair | Random 20% | Random 35% | Line 30 / random 20 |
| Helmholtz / FNO | |||
| Helmholtz / DeepONet | |||
| Heat / DeepONet | |||
| Navier–Stokes / U-FNO | |||
| Poisson / U-FNO | |||