आईएमसीबेंच: चिकित्सा एआई के लिए नया बेंचमार्क

परिचय

चिकित्सा एआई में निर्णय समर्थन और ट्राइएज जैसे क्लिनिकल अनुप्रयोगों के लिए बहुमोड़ल डेटा पर तर्क करने के लिए बड़े भाषा मॉडल और दृष्टि-भाषा मॉडल में हाल की प्रगति ने अवसर प्रदान किए हैं। हालांकि, मौजूदा चिकित्सा एआई बेंचमार्क या तो मल्टी-टर्न संवादों या बहुमोड़ल इनपुट में कमी है। इस अंतर को पूरा करने के लिए, ओपनएआई आईएमसीबेंच पेश करता है, जो एक छवि-आधारित, मल्टी-टर्न चिकित्सा बातचीत बेंचमार्क है।

## क्या हुआ

आईएमसीबेंच वास्तविक, सार्वजनिक रूप से उपलब्ध नैदानिक ​​छवियों को सिंथेटिक रोगी प्रोफाइल के साथ जोड़ती है ताकि वास्तविक रोगी-चिकित्सक इंटरैक्शन का अनुकरण किया जा सके। प्रत्येक बातचीत का तीन नैदानिक ​​मापदंडों पर मूल्यांकन किया जाता है: सुरक्षा, सटीकता और निदान में अनिश्चितता का उपयोग। बेंचमार्क चार मॉडल परिवारों के आठ बहुमोड़ल मॉडलों का परीक्षण करता है: क्लाउड, जीपीटी, नोवा और लामा।

## मुख्य विवरण

* आईएमसीबेंच विशेषज्ञ चिकित्सक अनnotations के खिलाफ कैलिब्रेटेड एलएलएम-एज-ज्यूरी स्कोरिंग का उपयोग करके 1-5 स्केल पर मॉडल का मूल्यांकन करता है।

* परिणाम दिखाते हैं कि क्लाउड ओपस 4.6 उच्चतम समग्र स्कोर (3.61) प्राप्त करता है, उसके बाद क्लाउड सोनेट 4.6 (3.30) और जीपीटी-5.2 (3.29) है।

* कोई भी मॉडल सभी मापदंडों पर हावी नहीं है, और दोनों घातक और दुर्लभ स्थितियों के लिए सुरक्षा खराब हो जाती है।

* अबलेशन अध्ययन से पता चलता है कि दृश्य इनपुट और ईएचआर संदर्भ दोनों सुरक्षित मार्गदर्शन में योगदान करते हैं, और मजबूत मॉडल दृश्य विशेषताओं का अधिक प्रभावी ढंग से उपयोग करते हैं।

## तकनीकी विश्लेषण

आईएमसीबेंच का तकनीकी दृष्टिकोण महत्वपूर्ण है, क्योंकि यह एक व्यापक मूल्यांकन फ्रेमवर्क प्रदान करता है