IEDB Analysis Resource

MHCII Weekly Benchmark results


Overall scores

Overall scores based on data sets submitted to the IED for the last at least 5 references. The overall scores in the SRCC and AUC columns are calculated using performance values for only SRCC or AUC respectively. In the overall column, both evaluation types are used.

Server Overall SRCC AUC
Comblib matrices 14 14 15
Consensus IEDB method 52 52 53
NN-align 65 64 65
NN-align 2.3 - - -
NetMHCIIpan-3.1 81 80 82
NetMHCIIpan-3.2 - - -
NetMHCIIpan-4.0 BA - - -
NetMHCIIpan-4.0 EL - - -
NetMHCIIpan-4.1 BA - - -
NetMHCIIpan-4.1 EL - - -
NetMHCIIpan-4.2 BA - - -
NetMHCIIpan-4.2 EL - - -
NetMHCIIpan-4.3 BA - - -
NetMHCIIpan-4.3 EL - - -
SMM-align 45 45 44
Tepitope (Sturniolo) 25 25 26

Data set specific results

Detailed information for the evaluated data sets used in the calculation of the overall scores in the table above. Predictions from each participating server for the data sets listed below may be downloaded here

Datasets displayed in gray showed poor performance across all of the available predictors and are excluded from the overall ranking, pending further analysis.


IEDB
Reference		 Allele Peptide
Count		 Positive
Count		 Measurement
type		 Comblib matrices Consensus IEDB method NN-align NN-align 2.3 NetMHCIIpan-3.1 NetMHCIIpan-3.2 NetMHCIIpan-4.0 BA NetMHCIIpan-4.0 EL NetMHCIIpan-4.1 BA NetMHCIIpan-4.1 EL NetMHCIIpan-4.2 BA NetMHCIIpan-4.2 EL NetMHCIIpan-4.3 BA NetMHCIIpan-4.3 EL SMM-align Tepitope (Sturniolo)
SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC
 1027578   HLA-DRB1*03:01   14   10   ic50   -   -   0.900   0.950   0.925   0.975   -   -   0.945   1.000   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.860   0.900   0.707   0.925 
 1027578   HLA-DRB1*07:01   19   12   ic50   0.784   0.964   0.792   1.000   0.709   0.952   -   -   0.646   0.929   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.737   0.976   0.514   0.899 
 1027578   HLA-DRB3*01:01   20   7   ic50   0.386   0.703   0.591   0.846   0.668   0.901   -   -   0.807   0.945   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.635   0.879   -   - 
 1027578   HLA-DRB4*01:01   14   4   ic50   0.548   0.725   0.465   0.650   0.402   0.600   -   -   0.516   0.800   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.460   0.725   -   - 
 1027578   HLA-DRB4*01:03   18   13   ic50   -   -   -   -   -   -   -   -   0.428   0.692   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1027865   HLA-DRB1*01:01   18   16   binary   0.000   0.500   0.477   0.938   0.511   0.969   -   -   0.545   1.000   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.477   0.938   0.256   0.734 
 1027865   HLA-DRB1*03:01   18   11   binary   -   -   0.561   0.838   0.384   0.727   -   -   0.538   0.818   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.472   0.779   0.637   0.883 
 1027865   HLA-DRB1*04:01   18   15   binary   -   -   0.043   0.533   0.101   0.578   -   -   0.330   0.756   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.072   0.556   -0.029   0.478 
 1027865   HLA-DRB1*07:01   18   9   binary   0.353   0.704   0.675   0.889   0.675   0.889   -   -   0.632   0.864   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.482   0.778   0.225   0.630 
 1027865   HLA-DRB1*11:01   18   14   binary   -   -   0.541   0.875   0.515   0.857   -   -   0.567   0.893   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.309   0.714   0.451   0.812 
 1027865   HLA-DRB1*13:01   18   9   binary   -   -   0.471   0.772   -   -   -   -   0.632   0.864   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.471   0.772 
 1027865   HLA-DRB4*01:01   18   5   binary   -0.012   0.492   0.227   0.646   0.371   0.738   -   -   0.347   0.723   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.084   0.554   -   - 
 1027865   HLA-DRB5*01:01   18   12   binary   -   -   0.454   0.778   0.681   0.917   -   -   0.750   0.958   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.568   0.847   0.318   0.694 
 1028057   HLA-DRB1*01:01   29   22   ic50   0.675   0.851   0.787   0.851   0.719   0.851   -   -   0.814   0.890   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.730   0.753   0.604   0.740 
 1028057   HLA-DRB1*04:01   29   25   ic50   -   -   0.728   0.760   0.649   0.870   -   -   0.623   0.920   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.721   0.770   0.591   0.525 
 1028057   HLA-DRB1*07:01   29   27   ic50   0.117   0.778   0.755   0.963   0.786   0.907   -   -   0.726   0.889   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.634   0.796   0.711   0.722 
 1028057   HLA-DRB1*13:01   29   24   ic50   -   -   0.330   0.842   -   -   -   -   0.142   0.483   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.338   0.842 
 1028057   HLA-DRB1*15:01   29   26   ic50   -   -   0.473   0.744   0.473   0.692   -   -   0.457   0.679   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.366   0.705   0.349   0.712 
 1028237   HLA-DQA1*01:03/DQB1*06:03   339   50   ic50   -   -   -   -   -   -   -   -   0.432   0.806   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028238   HLA-DQA1*02:01/DQB1*03:03   759   264   ic50   -   -   -   -   -   -   -   -   0.537   0.760   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028239   HLA-DQA1*05:01/DQB1*03:02   834   197   ic50   -   -   -   -   -   -   -   -   0.574   0.771   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028241   HLA-DRB1*01:01   885   642   ic50   0.583   0.789   0.728   0.864   0.749   0.876   -   -   0.782   0.890   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.692   0.849   0.613   0.816 
 1028242   HLA-DRB1*03:01   863   491   ic50   -   -   0.591   0.790   0.578   0.777   -   -   0.715   0.856   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.565   0.777   0.504   0.749 
 1028243   HLA-DRB1*04:04   861   467   ic50   -   -   0.615   0.802   0.592   0.797   -   -   0.711   0.861   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.582   0.783   0.632   0.828 
 1028244   HLA-DRB1*07:01   857   466   ic50   0.550   0.784   0.729   0.867   0.731   0.869   -   -   0.749   0.876   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.718   0.862   0.611   0.813 
 1028245   HLA-DRB1*08:01   889   383   ic50   -   -   0.591   0.799   -   -   -   -   0.719   0.863   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.592   0.799 
 1028246   HLA-DRB1*09:01   855   552   ic50   0.163   0.601   0.617   0.820   0.694   0.857   -   -   0.718   0.880   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.599   0.803   -   - 
 1028247   HLA-DRB1*11:01   868   457   ic50   -   -   0.675   0.841   0.710   0.859   -   -   0.745   0.880   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.674   0.840   0.571   0.793 
 1028248   HLA-DRB1*13:01   837   474   ic50   -   -   0.548   0.787   -   -   -   -   0.535   0.772   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.548   0.787 
 1028249   HLA-DRB1*14:54   854   526   ic50   -   -   -   -   -   -   -   -   0.713   0.889   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028250   HLA-DRB3*01:01   832   235   ic50   0.296   0.678   0.480   0.801   0.545   0.825   -   -   0.596   0.835   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.524   0.806   -   - 
 1028251   HLA-DRB3*02:02   771   306   ic50   -   -   -   -   -   -   -   -   0.432   0.740   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028252   HLA-DRB3*03:01   854   500   ic50   -   -   -   -   -   -   -   -   0.563   0.781   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028253   HLA-DRB4*01:03   821   507   ic50   -   -   -   -   -   -   -   -   0.538   0.788   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028254   HLA-DRB5*01:01   762   488   ic50   -   -   0.607   0.775   0.660   0.806   -   -   0.743   0.843   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.609   0.778   0.526   0.740 
 1028269   HLA-DRB1*01:01   17   7   binary   0.598   0.850   0.683   0.900   0.756   0.943   -   -   0.756   0.943   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.659   0.886   0.586   0.843 
 1028269   HLA-DRB1*03:01   17   4   binary   -   -   -0.028   0.481   0.057   0.538   -   -   0.170   0.615   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.170   0.615   -0.198   0.365 
 1028269   HLA-DRB1*04:01   17   6   binary   -   -   0.503   0.803   0.477   0.788   -   -   0.628   0.879   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.402   0.742   0.452   0.773 
 1028269   HLA-DRB1*07:01   17   9   binary   0.433   0.750   0.529   0.806   0.674   0.889   -   -   0.650   0.875   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.553   0.819   0.301   0.681 
 1028269   HLA-DRB1*09:01   17   5   binary   0.164   0.600   0.398   0.750   0.553   0.850   -   -   0.527   0.833   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.580   0.867   -   - 
 1028269   HLA-DRB1*11:01   15   2   binary   -   -   0.363   0.808   0.136   0.615   -   -   0.227   0.692   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.318   0.769   0.272   0.731 
 1028269   HLA-DRB1*12:02   17   7   binary   -   -   -   -   -   -   -   -   0.512   0.800   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028269   HLA-DRB1*15:01   17   11   binary   -   -   0.251   0.652   0.327   0.697   -   -   0.276   0.667   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.176   0.606   0.201   0.621 
 1028269   HLA-DRB1*15:02   17   4   binary   -   -   0.481   0.827   -   -   -   -   0.736   1.000   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.481   0.827 
 1028711   HLA-DQA1*01:02/DQB1*05:01   825   455   ic50   -   -   -   -   -   -   -   -   0.215   0.596   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028712   HLA-DQA1*06:01/DQB1*04:02   565   133   ic50   -   -   -   -   -   -   -   -   -0.056   0.497   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028713   HLA-DQA1*02:01/DQB1*04:02   765   241   ic50   -   -   -   -   -   -   -   -   0.039   0.519   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028714   HLA-DQA1*05:01/DQB1*04:02   747   339   ic50   -   -   -   -   -   -   -   -   0.140   0.577   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028715   HLA-DQA1*03:03/DQB1*04:02   567   118   ic50   -   -   -   -   -   -   -   -   -0.080   0.482   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028716   HLA-DQA1*05:01/DQB1*03:03   564   179   ic50   -   -   -   -   -   -   -   -   0.614   0.812   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028717   HLA-DQA1*02:01/DQB1*03:01   818   374   ic50   -   -   -   -   -   -   -   -   0.588   0.814   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1028902   HLA-DRB1*04:01   36   20   binary   -   -   0.372   0.716   0.743   0.931   -   -   0.512   0.800   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.501   0.791   0.528   0.802 
 1029396   HLA-DRB1*01:01   17   15   binary   -0.019   0.500   0.000   0.500   0.112   0.600   -   -   0.037   0.533   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.075   0.567   -0.056   0.450 
 1029396   HLA-DRB1*03:01   17   5   binary   -   -   0.343   0.750   0.343   0.717   -   -   0.606   0.883   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.553   0.850   0.053   0.608 
 1029396   HLA-DRB1*04:01   17   8   binary   -   -   0.553   0.819   0.313   0.681   -   -   0.505   0.792   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.553   0.819   0.750   0.958 
 1029396   HLA-DRB1*07:01   17   11   binary   0.139   0.583   0.377   0.727   0.377   0.727   -   -   0.653   0.894   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.528   0.818   0.202   0.636 
 1029396   HLA-DRB1*11:01   17   14   binary   -   -   0.127   0.595   0.157   0.619   -   -   0.189   0.643   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.189   0.643   0.159   0.619 
 1029396   HLA-DRB1*15:01   17   11   binary   -   -   0.603   0.864   0.578   0.848   -   -   0.678   0.909   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.653   0.894   0.659   0.894 
 1030414   HLA-DQA1*01:03/DQB1*06:03   18   2   ic50   -   -   -   -   -   -   -   -   0.020   0.875   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   - 
 1030414   HLA-DQA1*03:01/DQB1*03:02   18   4   ic50   0.423   0.830   0.702   0.991   0.622   0.964   -   -   0.550   0.982   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.722   0.946   -   - 
 1030414   HLA-DRB1*01:01   18   13   ic50   0.062   0.400   0.577   0.738   0.691   0.862   -   -   0.629   0.785   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.577   0.738   0.302   0.715 
 1030414   HLA-DRB1*04:01   18   6   ic50   -   -   0.136   0.681   0.227   0.722   -   -   0.405   0.889   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.067   0.625   -0.266   0.542 
 1030414   HLA-DRB1*07:01   18   10   ic50   0.262   0.731   0.796   0.931   0.734   0.825   -   -   0.690   0.825   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.730   0.838   0.482   0.775 
 1030414   HLA-DRB1*09:01   18   4   ic50   -0.145   0.339   0.353   1.000   0.341   1.000   -   -   0.518   0.946   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.461   0.911   -   - 
 1030414   HLA-DRB1*11:01   17   3   ic50   -   -   0.561   0.869   0.543   0.929   -   -   0.647   1.000   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.633   1.000   0.581   0.786 
 1030414   HLA-DRB1*15:01   18   4   ic50   -   -   0.443   0.714   0.515   0.821   -   -   0.459   0.804   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.429   0.732   0.258   0.554 
 1030414   HLA-DRB1*15:02   18   3   ic50   -   -   0.384   0.556   -   -   -   -   0.409   0.667   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.387   0.556 
 1030865   HLA-DRB1*01:01   14   5   ic50   0.180   0.556   0.512   0.822   0.468   0.822   -   -   0.534   0.911   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.077   0.522   -0.062   0.589 
 1030032   HLA-DRB1*01:01   108   68   ic50   -0.239   0.416   0.192   0.577   0.472   0.749   -   -   0.628   0.818   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.222   0.594   -0.035   0.471 
 1030032   HLA-DRB1*03:01   124   104   ic50   -   -   0.258   0.640   0.316   0.697   -   -   0.338   0.744   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -0.097   0.613   0.235   0.565 
 1030032   HLA-DRB1*04:01   132   109   ic50   -   -   0.206   0.603   0.413   0.803   -   -   0.549   0.830   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.209   0.590   0.041   0.444 
 1030032   HLA-DRB1*07:01   148   127   ic50   0.011   0.433   0.380   0.550   0.610   0.730   -   -   0.684   0.778   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.313   0.633   -0.368   0.158 
 1030032   HLA-DRB1*08:02   142   120   ic50   -   -   -0.154   0.315   0.320   0.705   -   -   0.439   0.736   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.188   0.385   -0.411   0.279 
 1030032   HLA-DRB1*11:01   121   108   ic50   -   -   0.096   0.292   0.688   0.931   -   -   0.657   0.945   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.516   0.866   -0.183   0.154 
 1030032   HLA-DRB1*13:02   134   127   ic50   -   -   0.527   0.765   0.606   0.910   -   -   0.620   0.903   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.422   0.756   -0.281   0.280 
 1030032   HLA-DRB1*15:01   120   75   ic50   -   -   -0.101   0.385   0.586   0.757   -   -   0.541   0.770   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   -   0.009   0.471   -0.392   0.257