Nove modelli frontier messi alla prova sulla ricerca web più… — Datapizza Community 🍕📈

Datapizza Community 🍕📈@datapizza · 14.7K subscribers Open in TelegramOpen

Nove modelli frontier messi alla prova sulla ricerca web più difficile mai testata 🔎

DeepWeb-Bench richiede di raccogliere prove massicce da fonti diverse e derivazioni a lungo raggio, molto più complesse dei benchmark esistenti.

Dentro troverete:
📌 Solo il 12-14% degli errori dipende dal retrieval, il resto da derivazione e calibrazione
📌 Modelli forti e deboli sbagliano in modi qualitativamente diversi
📌 Accordo tra modelli basso: correlazione di appena ρ = 0,61
📌 Disaccordo per singolo caso fino a 18,8 punti percentuali
📌 Ogni risposta accompagnata da un record di provenienza delle fonti

Lo trovate qui 👉 https://arxiv.org/abs/2605.21482

t.me/datapizza/1402 Translate