{
 "BF16": {
  "vllm": "0.32.0",
  "decode_ms_b1": 6.3262975468749705,
  "decode_ms_b32": 7.232774695312472,
  "prefill_tok_s": 41954.4454334634,
  "wikitext_ppl": 6.927226176525221,
  "vllm_ppl_8": 6.669387161273707,
  "gsm8k": [
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "weights_gib": 15.0,
  "kv_tokens": 433008,
  "hf_ppl_8": 6.6703
 },
 "FP8 W8A8": {
  "vllm": "0.32.0",
  "decode_ms_b1": 4.3047462968748285,
  "decode_ms_b32": 5.438755585937649,
  "prefill_tok_s": 60533.064496184656,
  "wikitext_ppl": 6.974298031392362,
  "vllm_ppl_8": 6.721408375967705,
  "gsm8k": [
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true
  ],
  "weights_gib": 8.52,
  "kv_tokens": 485984,
  "seconds": 3.76883864402771,
  "calibration_samples": 0,
  "seq_len": 0,
  "bytes": 9084014440,
  "hf_ppl_8": 6.7142
 },
 "INT8 W8A8 (SmoothQuant + GPTQ)": {
  "vllm": "0.32.0",
  "decode_ms_b1": 4.354538007812714,
  "decode_ms_b32": 5.387226624999464,
  "prefill_tok_s": 63270.83098317131,
  "wikitext_ppl": 7.026916874475184,
  "vllm_ppl_8": 6.747153283796777,
  "gsm8k": [
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "weights_gib": 8.52,
  "kv_tokens": 484752,
  "seconds": 171.85394644737244,
  "calibration_samples": 256,
  "seq_len": 2048,
  "bytes": 9084013320,
  "hf_ppl_8": 6.7652
 },
 "INT4 W4A16 (RTN)": {
  "vllm": "0.32.0",
  "decode_ms_b1": 4.05013524218667,
  "decode_ms_b32": 5.05091496875032,
  "prefill_tok_s": 39455.30549218611,
  "wikitext_ppl": 7.654874214611235,
  "vllm_ppl_8": 7.397937373009208,
  "gsm8k": [
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false
  ],
  "weights_gib": 5.36,
  "kv_tokens": 512144,
  "seconds": 3.2861168384552,
  "calibration_samples": 0,
  "seq_len": 0,
  "bytes": 5700679568,
  "hf_ppl_8": 7.3995
 },
 "INT4 W4A16 (GPTQ, perfectblend calibration)": {
  "vllm": "0.32.0",
  "decode_ms_b1": 4.036722156250505,
  "decode_ms_b32": 4.967860468750196,
  "prefill_tok_s": 39302.23567843097,
  "wikitext_ppl": 7.478601778834588,
  "vllm_ppl_8": 7.191195756333525,
  "gsm8k": [
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false
  ],
  "weights_gib": 5.36,
  "kv_tokens": 512144,
  "seconds": 115.67511987686157,
  "calibration_samples": 256,
  "seq_len": 2048,
  "bytes": 5700679568,
  "hf_ppl_8": 7.193
 },
 "INT4 W4A16 (GPTQ, WikiText calibration)": {
  "vllm": "0.32.0",
  "decode_ms_b1": 4.093693476560745,
  "decode_ms_b32": 5.043301562499991,
  "prefill_tok_s": 39153.3687650866,
  "wikitext_ppl": 7.220951233685564,
  "vllm_ppl_8": 6.957448416515506,
  "gsm8k": [
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true
  ],
  "weights_gib": 5.36,
  "kv_tokens": 512144,
  "seconds": 295.2812521457672,
  "calibration_samples": 256,
  "seq_len": 2048,
  "bytes": 5700679568,
  "hf_ppl_8": 6.9579
 },
 "INT4 W4A16 (AWQ)": {
  "vllm": "0.32.0",
  "decode_ms_b1": 4.178844539062254,
  "decode_ms_b32": 5.207899890624645,
  "prefill_tok_s": 38615.901490152995,
  "wikitext_ppl": 7.29753440992764,
  "vllm_ppl_8": 7.036646504480189,
  "gsm8k": [
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "weights_gib": 5.47,
  "kv_tokens": 511184,
  "seconds": 212.47819232940674,
  "calibration_samples": 256,
  "seq_len": 512,
  "bytes": 5727970080,
  "hf_ppl_8": 7.0353
 },
 "NVFP4 W4A4": {
  "vllm": "0.32.0",
  "decode_ms_b1": 3.826421218750653,
  "decode_ms_b32": 4.921465585939089,
  "prefill_tok_s": 40169.39554728781,
  "wikitext_ppl": 7.2483618608370985,
  "vllm_ppl_8": 6.975605493078451,
  "gsm8k": [
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false
  ],
  "weights_gib": 5.68,
  "kv_tokens": 508704,
  "seconds": 51.31440496444702,
  "calibration_samples": 256,
  "seq_len": 2048,
  "bytes": 6027859608,
  "hf_ppl_8": 7.3373
 },
 "BF16, FP8 KV cache": {
  "vllm": "0.32.0",
  "decode_ms_b1": 6.440396624999067,
  "decode_ms_b32": 6.957579421875693,
  "prefill_tok_s": 41604.34695950855,
  "wikitext_ppl": 6.9792681600681705,
  "vllm_ppl_8": 6.713914397681853,
  "gsm8k": [
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "weights_gib": 15.0,
  "kv_tokens": 866048
 },
 "INT4 W4A16 (AWQ), FP8 KV cache": {
  "vllm": "0.32.0",
  "decode_ms_b1": 4.280973640625518,
  "decode_ms_b32": 5.053264101562149,
  "prefill_tok_s": 38389.94712747237,
  "wikitext_ppl": 7.349264267994391,
  "vllm_ppl_8": 7.0774410046065634,
  "gsm8k": [
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "weights_gib": 5.47,
  "kv_tokens": 1022400,
  "seconds": 212.47819232940674,
  "calibration_samples": 256,
  "seq_len": 512,
  "bytes": 5727970080
 },
 "BF16 again": {
  "vllm": "0.32.0",
  "decode_ms_b1": 4.934390125000077,
  "decode_ms_b32": 5.660976335937429,
  "prefill_tok_s": 41250.84174100023,
  "wikitext_ppl": 6.927226176525221,
  "vllm_ppl_8": 6.669387161273707,
  "gsm8k": [
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "weights_gib": 15.0,
  "kv_tokens": 879952
 },
 "BF16 again, at most 32 sequences at a time": {
  "vllm": "0.32.0",
  "decode_ms_b1": 4.984069992187479,
  "decode_ms_b32": 5.748191999999985,
  "prefill_tok_s": 41668.899549820635,
  "wikitext_ppl": 6.927226176525221,
  "vllm_ppl_8": 6.669387161273707,
  "gsm8k": [
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "arc": [
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   false,
   false,
   false,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   true,
   true,
   true,
   false,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   true,
   false,
   false,
   true,
   false,
   true,
   false,
   false,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   true,
   false,
   true,
   false,
   true,
   false,
   true,
   true,
   true,
   true,
   false,
   false,
   true,
   true,
   false,
   true,
   true,
   false,
   true
  ],
  "weights_gib": 15.0,
  "kv_tokens": 890656
 }
}