Açık uçlu her yanıt dört boyutta ayrı ayrı derecelendirilir. Aşağıdaki tablo bir açıklama değil, değerlendiriciye verilen talimatın kendisidir, puanın bu ağırlıkların uygulanmasıyla hesaplanır.
Neyin nasıl işlediğini anlatıyor mu, yoksa yalnızca adını mı koyuyor?
Belirtide mi kalıyor, nedene iniyor mu?
İddiasını derste geçen kanıta bağlıyor mu?
Kendi cümleleri mi, net mi?
Dereceler kalitede doğrusal değildir: “yeterli”, “zayıf”a olduğundan çok “güçlü”ye yakındır. Bu yüzden her boyutta beklentiyi karşılayan bir yanıt 70 eşiğini geçer, altında kalmaz.
Bir sayfanız klasik aramada birinci sırada, ama cevap motorlarında hiç görünmüyor. Bu iki durum aynı anda nasıl mümkün olabilir?
“Cevap motorlarının algoritması farklı çalışıyor, o yüzden farklı sonuç veriyor.”
Doğru ama boş: "algoritma farklı" her farkı açıklar, bu farkı açıklamaz. Hangi mekanizmanın farklı olduğu söylenmiyor, hiçbir kanıta bağlanmıyor.
“Klasik arama sayfayı bir bütün olarak sıralıyor; cevap motoru ise sayfanın içinden tek tek pasajları çekiyor. Sayfa otoritesi yüksek olabilir ama içindeki hiçbir pasaj tek başına okunduğunda soruyu cevaplayacak kadar kendine yetmiyorsa, çekilecek bir parça bulunmuyor. Yani birinciliği veren şey sayfa düzeyinde, görünmezliği yaratan şey pasaj düzeyinde.”
İki ayrı düzeyi adlandırıyor ve aralarındaki ilişkiyi kuruyor. Belirtiden nedene iniyor: sorun sıralamada değil, pasajın kendine yetmemesinde.