๐Ÿšจ ู‡ู„ ูŠู…ูƒู† ู„ู„ุฐูƒุงุก ุงู„ุงุตุทู†ุงุนูŠ ุฃู† ูŠูุนูŠุฏ ุฅู†ุชุงุฌ ุฃูˆุฑุงู‚ ุจุญุซูŠุฉ ู…ู† ู…ุคุชู…ุฑุงุช ูƒุจุฑู‰ ู…ุซู„ ICMLุŸ
OpenAI ุฃุทู„ู‚ุช PaperBench ู„ู„ุฅุฌุงุจุฉ!

๐Ÿ”ฌ PaperBench ูŠุฎุชุจุฑ ู‚ุฏุฑุฉ ุงู„ูˆูƒู„ุงุก ุงู„ุฐูƒูŠูŠู† ุนู„ู‰:
- ูู‡ู… ุฃูˆุฑุงู‚ ุจุญุซูŠุฉ ุญุฏูŠุซุฉ
- ูƒุชุงุจุฉ ุงู„ูƒูˆุฏ ู…ู† ุงู„ุตูุฑ
- ุฅุนุงุฏุฉ ุชู†ููŠุฐ ุงู„ุชุฌุงุฑุจ

ุชู… ุงุฎุชูŠุงุฑ 20 ูˆุฑู‚ุฉ ู…ู† ICML 2024ุŒ ู…ุน 8316 ู…ู‡ู…ุฉ ูุฑุนูŠุฉ ู„ูƒู„ ุงู„ุฃูˆุฑุงู‚ุŒ ูˆุชุนุงูˆู† ู…ุน ุงู„ู…ุคู„ููŠู† ุงู„ุฃุตู„ูŠูŠู† ู„ูˆุถุน ู…ุนุงูŠูŠุฑ ุฏู‚ูŠู‚ุฉ.

โš–๏ธ ุงู„ุชู‚ูŠูŠู… ุชู… ุนุจุฑ ู‚ุงุถู ุฐูƒูŠ (LLM Judge) ุจุฏู‚ุฉ ุชู‚ุงุฑุจ ุงู„ุจุดุฑ (F1=0.83).
ู„ูƒู† ุงู„ู†ุชุงุฆุฌุŸ ุตุงุฏู…ุฉ!

๐Ÿ“‰ ุงู„ุฃุฏุงุก:
- Claude 3.5: 21%
- o1: 13.2%
- GPT-4o: 4.1%
- ุฏูƒุชูˆุฑุงู‡ ุจุดุฑ: 41.4% ุนู„ู‰ 3 ุฃูˆุฑุงู‚ ููŠ 48 ุณุงุนุฉ

๐Ÿง  ุงู„ูุดู„ ูƒุงู† ุจุณุจุจ:
- ุบูŠุงุจ ุงู„ุชุฎุทูŠุท ุทูˆูŠู„ ุงู„ู…ุฏู‰
- ุชูˆู‚ู ู…ุจูƒุฑ
- ุญุณุงุณูŠุฉ ู„ุฃุณู„ูˆุจ ุงู„ุจุฑู…ุฌุฉ

๐ŸŽฏ ุงู„ู†ุชูŠุฌุฉุŸ ุงู„ุฐูƒุงุก ุงู„ุงุตุทู†ุงุนูŠ ู‚ูˆูŠ ููŠ ุงู„ูƒูˆุฏุŒ ุถุนูŠู ููŠ ุงู„ุชุฌุงุฑุจ ุงู„ู…ุนู‚ุฏุฉ.
ุงู„ู…ุณุชู‚ุจู„ ูŠุชุทู„ุจ ูˆูƒู„ุงุก ุฃูƒุซุฑ ุงุณุชุฑุงุชูŠุฌูŠุฉ ูˆุงุณุชู…ุฑุงุฑูŠุฉ.

๐Ÿ“Ž ุงู„ูˆุฑู‚ุฉ: [arxiv.org/abs/2404.04080](https://arxiv.org/abs/2404.04080)

ืงืจื ืขื•ื“
8 ื”ืขืจื•ืช