- پروتکل نسخه، پرسش، تکرار و معیارها.
- دفتر ارزیابی انسانی و کنترل خطا.
- گزارش محدودیت و وضعیت اشتراک‌گذاری مطابق CHART.
دامنۀ راهنما را محدود نگه دارید
CHART در سال ۲۰۲۵ برای مطالعات ارزیابی چت‌بات‌های مولدِ پاسخ یا مشاورۀ سلامت مطرح شد. آن را چک‌لیست عمومی همۀ کاربردهای AI، یا تأیید پزشکی محصول، معرفی نکنید. نوع مطالعه و راهنمای پایه مرتبط را نیز مشخص کنید.
اگر مطالعه شامل بیمار یا داده شخصی است، تأیید اخلاق، رضایت و ایمنی باید متناسب با طرح بررسی شود. ارزیابی آموزشی پاسخ‌ها جای پژوهش بالینی اثربخشی یا مجوز درمان را نمی‌گیرد.
ورودی و نسخه را قابل پیگیری کنید
نام مدل، نسخۀ قابل مشاهده، تاریخ دسترسی، رابط، تنظیمات در دسترس، دستور سیستم در صورت دسترسی، متن پرسش و نحوۀ شروع یا تداوم گفتگو را ثبت کنید. در سرویس بسته، ندانستن یک مشخصه را صریح بنویسید؛ آن را حدس نزنید.
مجموعه سؤال باید جمعیت، موضوع، دشواری، زبان و منشأ روشن داشته باشد. داده واقعی بیمار را بدون مجوز به سرویس خارجی نفرستید. وضعیت اتصال به وب و منبع بازیابی را نیز ثبت کنید.
خروجی تصادفی و معیار ارزیابی
مثال فرضی: ۲۰ سناریوی ساختگی، سه تکرار برای هر سناریو و هر پیکربندی. این تعداد پیشنهاد توان یا کف استاندارد نیست؛ صرفاً تفاوت «سؤال»، «پاسخ» و «تکرار» را نشان می‌دهد. خروجی کامل را برای بازبینی مجاز نگه دارید.
معیارهای درستی، کامل‌بودن، عدم قطعیت، خطر و ارجاع باید پیش از ارزیابی تعریف شوند. تعداد پاسخ‌ها را به جای تعداد سناریوی مستقل معرفی نکنید؛ وابستگی و توافق ارزیابان باید در تحلیل دیده شود.
ارزیابی انسانی و مثال خطا
در یک مورد ساختگی، پاسخ ممکن است زبان روان داشته باشد اما منبعی را اختراع کند یا توصیه را بدون اشاره به نیاز ارزیابی فردی ارائه دهد. روانی متن و صحت پزشکی دو معیار متفاوت‌اند.
تخصص ارزیاب، آموزش، کورسازی در صورت امکان، اختلاف‌نظر و داوری اختلاف را شرح دهید. برای محتوای خطرناک روش کنترل مواجهه و گزارش خطا تعریف کنید. مثال‌ها را به عنوان توصیه برای بیمار ارائه نکنید.
گزارش و محدودیت به‌روزرسانی
جدول خروجی باید واحد تحلیل، تعداد ناموفق، معیار، زمان و پیکربندی را نشان دهد. خطای حذف‌شده را پنهان نکنید. پس از تغییر مدل، نتیجۀ نسخه قبلی خودکار برای نسخۀ تازه معتبر نیست.
اظهار کنید کدام داده، پرسش، کد و خروجی به علت حقوق یا حریم خصوصی قابل اشتراک نیست و جایگزین مجاز چیست. نتایج این راهنما و مثال آن عملکرد واقعی هیچ مدل پزشکی را رتبه‌بندی نمی‌کند.
نمونۀ تکمیل‌شده برای تمرین
این پرونده فرضی است؛ داده، داوری یا پذیرش واقعی را گزارش نمی‌کند. اعداد فقط برای توضیح تصمیم‌اند.
| تصمیم یا سند | نمونۀ آموزشی | کاری که برای پروژه خود انجام می‌دهید |
|---|---|---|
| دامنه | ارزیابی پاسخ سلامت؛ سناریوی ساختگی | طرح و راهنمای پایه را مشخص کنید. |
| نسخه | مدل و زمان دسترسی قابل مشاهده | مجهول‌ها را صریح ثبت کنید. |
| واحد | ۲۰ سناریو × ۳ تکرار | استقلال و تعداد واقعی را گزارش کنید. |
| ارزیابی | درستی، خطر و ارجاع جداگانه | قاعده و تخصص ارزیاب را تعیین کنید. |
| خطا | ارجاع ساختگی در یک پاسخ فرضی | خروجی و اقدام کنترل را مستند کنید. |
خروجی و معیار پایان کار
- پروتکل نسخه، پرسش، تکرار و معیارها.
- دفتر ارزیابی انسانی و کنترل خطا.
- گزارش محدودیت و وضعیت اشتراک‌گذاری مطابق CHART.
مرجعِ نسخه و دامنه: EQUATOR — CHART statement (2025) · EQUATOR Network — Reporting guidelines
منابع و مطالعه بیشتر
منابع رسمی برای بررسی و مطالعه بیشتر