نواع:
سئوالات چند گزينه اي شامل انواعي است كه بصورت خلاصه عبارتند از:
• سئوالات تنها با يك پاسخ صحيح (The only correct answer) كه از ميان
گزينه ها يكي صحيح و بقيه كاملاً غلط است.
• سئوالات با يكي از گزينه ها كه صحيح ترين (one best answer) كه يك گزينه
صحيح ترين و مابقي تا حدودي صحيح مي باشد.
• سئوالات صحيح – غلط (true and false) كه خود دو نوع عمده دارد؛
□نوع ساده (simple)
□نوع متعدد يا پيچيده (Multiple)
• سئوالات مقايسه اي (matching) كه بازخود دو نوع دارد؛
□ساده (Simple maching questions)
□توسعه يافته (extended matching question, MQs) اين امتحان يكي از بهترين
انواع آزمون براي بررسي سطوح بالاتر شناخت (Higher levels of cognition) و
توانش هاي باليني مانند تحليل و تفكر باليني است(4).
• سئوالات چند گزينه اي راهنمايي نشده (Uncued MCQs)(7-5)
بحث بيشتر و توضيح در مورد هر كدام از انواع از حوصله اين بحث خارج
است(10-8). من در اينجا به بحث در مورد رايجترين نوع سئوالا چند گزينه اي
يعني نوع صحيح ترين پاسخ مي پردازم.
چگونگي طراحي سئوالات چند گزينه اي با صحيح ترين پاسخ:
1 – نوشتن هدف طراحي سئوال كه در واقع مهمترين و اصلي ترين قسمت طراحي
هر نوع آزمون و از جمله اين گونه سئوالات است(12و11). در حقيقت سئوال بدون
هدف مدون ارزش آموزشي چنداني ندارد(14و13). متاسفانه اين قسمت از طراحي
سئوال آزمونهاي رسمي ما حذف گرديده است. عليرغم اضافه نمودن كادري براي هدف
آزمون در برگه هر سئوال از طرف دبيرخانه شوراي آموزش پزشكي و تخصصي بر روي
برگه هاي طراحي سئوال اين كادر عملاً هيچگاه از طرف طراحان محترم سئوال پر
نمي شود!
2 – نوشتن تنه سئوال كه بايد حتي المقدور مستقل باشد. بدين معني كه اگر
آزمون شونده با كاغذي روي گزينه ها را بپوشاند قادر به پاسخگويي سئوال
باشد.
3 – مشخص كردن و نوشتن گزينه صحيح يا كليد سئوال.
4 – دادن مرتبه تصادفي (الف – ب – ج – د...) به گزينه صحيح
5 – نوشتن گزينه هاي انحرافي يا Destractors(15و2)
خوب آيا كار در همينجا به پايان مي رسد؟ ! پاسخ قطعاً منفي است. بزرگترين
خطر براي روايي آزمونهاي چند گزينه اي انتخاب گزينه بصورت شانسي توسط آزمون
شونده باهوش ولي كم سواد است(16).
براي مقابله با اين آفت، اولين و بهترين ترفند استفاده از قواعد Writing
item errors يا سياهه ميلمن است كه باعث مي شود كه سرنخ ناخواسته به دست
آزمون شونده باهوش ندهيم بيشترين نقايص در طراحي سئوالات چند گزينه اي در
همينجا نهفته است(20-17).
دومين اقدام ويراستاري ادبي سئوالات است. سئوال چند گزينه اي استاندارد
بايد خالي از هرگونه غلط ويرايشي و املايي بوده زباني گويا و روان داشته
باشد.
سومين اقدام اطمينان حاصل كردن از درست بودن گزينه كليد است. اعضاي محترم
هيات بورد بايد توافق كاملي روي اين مساله داشته در ضمن نبايد در كتب مرجع
تعيين شده در امتحان تناقضي در اين امر وجود داشته باشد.
چهارمين اقدام عاري نمودن سئوالات از هرگونه تبعيض قومي اجتماعي و جنسي است
(اين پديده در كشورهاي چند قوميتي و چند فرهنگي حتماً بايد رعايت شود)(19).
سياهه ميلمن: به منظور عملي نمودن بررسي سئوالات چند گزينه اي با استفاده
از ادبيات موجود پزشكي (12و17-22)و تجربه شخصي خود سياهه ميلمن بصورت فهرست
وارسي (Checklist) زير ارائه مي گردد. اميد آن است كه پس از اظهار نظرات
ارشادي صاحبنظران دانشمند و گرانقدر در هيات دانشنامه ها مورد استفاده
قرارگيرد.
فهرست وارسي سئوالات چند گزينه¬اي
|
موضوعات |
بلي |
خير |
|
آيا هدف از طراحي سوال نوشته شده است؟ |
|
|
|
آيا هر سوال به يك هدف آموزشي اختصاص داده شده است؟ |
|
|
|
آيا دستورالعمل و راهنماي واضح و گويايي براي آزمون طراحي شده است؟ |
|
|
|
آيا تنه سوال مستقل طراحي شده يعني بدون در نظر گرفتن گزينهها پاسخي مشخص وجود دارد؟ |
|
|
|
آيا تنه سوال منفي است؟* |
|
|
|
در صورت منفي بودن تنه آيا زير آن خط كشيده شده است؟ |
|
|
|
آيا تنه سوال از نظر زبان فارسي ويراستاري شده، واضح و گوياست؟ |
|
|
|
آيا از تكرار يك موضوع در گزينه ها پرهيز شده است؟ |
|
|
|
آيا گزينه ها از نظر شكلي بصورت همگون طراحي شده اند؟ |
|
|
|
آيا بيشتر از يك گزينه صحيح يا صحيح ترين وجود دارد؟* |
|
|
|
آيا از تكرار كلمات يا گذاشتن كلمات مشابه در تنه و يكي از گزينه ها پرهيز شده است؟ |
|
|
|
آيا در تنه سوال از آوردن عبارات منفي در منفي پرهيز شده است؟ |
|
|
|
آيا در گزينهها عباراتي مانند "همه موارد فوق" هيچكدام از مورد فوق " دو گزينه مثلاً الف و جيم صحيح است" آورده شده است؟* |
|
|
|
آيا تنه سوال مستقل از تنه هاي ديگر سوالات طراحي گرديده است؟ |
|
|
|
آيا از گذاشتن گزينه هاي متناقض بصورتيكه جفت نباشند پرهيز شده است؟ |
|
|
|
آيا طول و مرتبه گزينه كليد در سوالات تغيير كرده است؟ |
|
|
|
آيا در صورتيكه تنه بصورت ناتمام طراحي شده قسمت نقطه چين يا خالي در آخر عبارت يا نزديك به آخر آورده شده است؟ |
|
|
انتخاب گزينه خيردر مورد موضوعاتي كه با ستاره * مشخص
گرديده امتياز منفي دارد. در بقيه موارد گزينه خير امتيازي مثبت براي آن
سوال محسوب مي شود.
در صورتيكه هر سوالي حتي يك امتياز منفي داشت بايد آنرا اصلاح نمود و
در صورتيكه بيشتر از يك امتياز منفي داشت، سوال بايد مورد بازبيني جدي قرار
گرفته و حتي در صورت لزوم حذف شود. البته شعار اصلي در استانداردسازي
سوالات بهينه سازي آنها است نه حذف سوال!
جمع بندي:
طراحي سوالات چند گزينه اي كاري سهل و در عين حال بسيار دشوار
است(2و7و13و14و23-27). شناخت انواع سوالات و قدرت احقاق اهداف آزمون منطبق
با برنامه آموزشي (Curriculum) از مهمترين عناصر موفقيت در تهيه آزمون چند
گزينه اي روا (Valid) مي باشد. بعد از طراحي سوال كار به پايان نرسيده و
بايد وارسي هايي بر روي آن انجام پذيرد كه براي استاندارسازي اين نوع
سوالات الزاميست. استفاده از فهرست وارسي ميلمن ما را در اين مهم ياري مي
رساند.
پيشنهادات: نگارنده متواضعانه پيشنهادات ذيل را به عوامل محترم طراحي
سوالات چند گزينه اي دارد:
1 – پيشنهادات به دبيرخانه:
الف – تعيين مشاورين غير هم رشته براي هر يك از هيات دانشنامه براي كمك
به اعضاي محترم هيات بورد براي استاندارد سازي سوالات قبل از برقراري
امتحانات
ب – مشاورين فوق الذكر مي توانند از افراد مراكز مطالعات و توسعه آموزش
پزشكي دانشگاهها انتخاب گرديده و در اين امر ساماندهي شوند.
ج – هر سوال براي طراح در امتحان بايد از غربال اصول چهارگانه طراحي
استاندارد سوالات چند گزينه اي و خصوصاً فهرست وارسي ميلمن عبور كند.
د – هر سال سوالات برتر انتخاب و به طراحان سوالات جوايزي اهدا گردد.
2 – پيشنهادات به همكاران محترم و معزز طراح سوالات:
الف – امتحانات جند گزينه اي بعنوان رايجترين و اصلي ترين آزمون تراكمي
(Summative) و براساس معيار (Criterion – based) براي اعطاي مدارك دانشنامه
مورد استفاده قرار گرفته؛ بنابراين از اهميت ويژه اي برخوردار است.
ب – كليد طراحي يك سوال خوب در نظر گرفتن هدف ارزيابي است كه با آن سوال
محقق مي شود. بدون داشتن هدف نمي دانيم به كجا مي رويم! بنابراين به هدف
سوال بسيار فكر كنيم و سپس آن را به نگارش در آوريم.
ج – طراحي سوال خوب وقت فراواني مي خواهد تا تمام جنبه هاي آن مورد مداقه
كافي قرار گيرد. سوالات را شتابزده طراحي نكنيم!
د – سوالات با تاكسونومي بالاتر امتياز بيشتري دارند از اين نظر كه عمق
بيشتري از اهداف آموزشي حيطه شناختي را مورد بررسي قرار مي دهد. پر واضح
است كه سوالات با سطوح (تاكسونومي) بالاتر دربطن خود سطوح پايينتر شناختي
را در بر مي گيرد!
هـ - استاندارد يا بهينه سازي آزمون چند گزينه اي نيازمند كار گروهي فعال
مي باشد. هيات ممتحنه نيز براي تحقق اين آزمان سازماندهي شده اند. به نظرات
همكاران خود و همنين مشاوران طراحي سوالات ارج نهيم. هيچ عيبي براي يك
آزمون تخصصي يا فوق تخصصي كه باعث اعطاي مدرك عالي آن رشته مي شودبالاتر از
اين نيست كه بيش از 50% سوالات اشكالي آشكار در طراحي داشته و بعبارتي ديگر
غير استاندارد باشد!(17)
REFERENCES:
1. McCoubrie P. Improving the fairness of multiple-choice questions:
a literature review. Med Teach2004
Dec;26(8):709-12
2. Vyas R, Supe A. Multiple choice questions: a literature review on the
optimal number of options. Natl Med J
India2008 May-Jun;21(3-130)
3. Chabot JM. [Written essays and multiple choice questions]. Rev
Prat2005 May 15;55(9):995-6
̊4. Beullens J, Struyf E, Van Damme B. Do extended matching
multiple-choice questions measure clinical reasoning?
Med Educ2005 Apr;39(4):410-7
̋5.Fajardo LL, Chan KM. Evaluation of medical students in radiology.
Written testing using uncued multiple-choice
questions. Invest Radiol1993 Oct;28(10):964-8
̌6. Fenderson BA, Damjanov I, Robeson MR, Veloski JJ, Rubin E. The
virtues of extended matching and uncued tests as
alternatives to multiple choice questions. Hum Pathol1997
May;28(5):526-32
̀7. Veloski JJ, Rabinowitz HK, Robeson MR. A solution to the cueing
effects of multiple choice questions: the Un-Q
format. Med Educ1993 Jul;27(4):371-5
́8.Skakun EN Nanson EM, Kling S, Taylor WC. A preliminary investigation
of three types of multiple choice
questions. Med Educ1979 Mar;13(2):91-6
̂9.Skakun EN, Nanson EM, Taylor WC, Kling S. An investigation of three
types of multiple choice questions. Annu
Conf Res Med Educ1977;16:111-6
10. Premadasa IG. A reappraisal of the use of multiple choice questions.
Med Teach1993;15(2-3):237-42
11. Schultheis NM. Writing cognitive educational objectives and
multiple-choice test questions. Am J Health Syst
Pharm1998 Nov 15 401-2397(22)55 ̋̋
12. Collins J. Education techniques for lifelong learning: writing
multiple-choice questions for continuing medical
education activities and self-assessment modules. Radiographics2006
Mar-Apr;26(2):543-51
13. Cox KR. How did you guess? Or, what do multiple-choice questions
measure? Med J Aust1976 Jun 5;1(23):884-6
14. Ferland JJ, Dorval J, Levasseur L. Measuring higher cognitive levels
by multiple choice questions: a myth? Med
Educ1987 Mar;21(2):109-13
15. Vydareny KH, Blane CE, Calhoun JG. Guidelines for writing
multiple-choice questions in radiology courses. Invest
Radiol1986 Nov;21(11):871-6
16. Koeslag JH, Melzer CW, Schach SR. Penalties in multiple-choice and
true-false questions. S Afr Med J1983 Jan
1;63(1):20-2
17. Tarrant M Knierim A, Hayes SK, Ware J. The frequency of item writing
flaws in multiple-choice questions used in
high stakes nursing assessments. Nurse Educ Pract2006 Dec;6(6):354-63
18. Tarrant M, Ware J. Impact of item-writing flaws in multiple-choice
questions on student achievement in high-stakes
nursing assessments. Med Educ2008 Feb;42(2):198-206
19. Ware J, Vik T. Quality assurance of item writing: During the
introduction of multiple choice questions in medicine
for high stakes examinations. Med Teach2008 Sep 29:1-6
20. Whitley TW. Some common flaws in multiple choice exam questions.
Nurs Outlook1979 Jul;27(7):466-9
21. Cox KR, Bandaranayake R. How to write good multiple choice
questions. Med J Aust1978 Dec 2;2(12):553-4
22. Kuhne-Eversmann L, Nussbaum C Reincke M, Fischer MR. [CME activities
of medical journals: quality of
multiple-choice questions as evaluation tool. Using the example of the
German medical journals Deutsches Arzteblatt,
Deutsche Medizinische Wochenschrift, and Der Internist]. Med Klin
Munich)2007 Dec 15;102(12):993-1001
23. Buzzard AJ, Bandaranayake RC. Comparison of the performance of
visual and verbal multiple-choice questions.
Aust N Z J Surg1991 Aug;61(8):614-8
24. Considine J, Botti M, Thomas S. Design, format, validity and
reliability of multiple choice questions for use in
nursing research and education. Collegian2005 Jan;12(1):19-24
25. Melzer CW, Schach SR, Koeslag JH. Misconceptions and miscarriages in
multiple choice questions. S Afr Med J1976
Apr 3;50(15):583-7
26 Palmer EJ, Devitt PG. Assessment of higher order cognitive skills in
undergraduate education: modified essay or
multiple choice questions? Research paper. BMC Med Educ2007;7:49
27. Schuwirth LW, van der Vleuten CP, Donkers HH. A closer look at
cueing effects in multiple-choice questions. Med
Educ1996 Jan;30(1):44-9