سطح محرک: زمانی که خزانهی سؤال شامل مجموعهای از سؤالاتی است که در مورد یک محرک مشترک باشند، این سطح مطرح میشود.
سطح مجموعهای از سؤالات: صفات در این سطح، اغلب ترکیبی از صفات تک تک سؤالات میباشند.
سطح تست: نمونههایی از صفات تست، عبارتند از؛ طول تست، TIF، ضریب اعتبار کلاسیک، توزیع محتوای سؤال، تعداد کل کلمات و غیره. صفات در این سطح همیشه کمّی هستند و ترکیبی از صفات سطوح پایینتر میباشند.
سطح تستها چندگانه: زمانیکه مسئله شامل سرهم کردن، مجموعهای از تستها باشد، به این سطح میرسیم. در این سطح به صفات اضافی برای نتایج کلی نیاز داریم. مانند، میزان سؤالات همپوش در تستها، درجهی موازی بودن تستها و غیره.
قیود و اهداف[۱۵۸]
وندرلیندن، ۲۰۰۵ بیان کرد که، علیرغم اینکه هریک از صفات آزمون تفاوتهای ظاهراً زیادی با یکدیگر دارند، امّا، هر یک شرایط یکسانی را بیان میکنند. در صورتیکه این صفات به شکل ساده، مختصر و کامل نوشته شوند، چهارچوب اساسی از یک قید یا یک هدف برای آن صفت برقرار میشود. او بیان کرد که:
صفت در یک تست، درصورتی یک قید است که یک حدّ بالا یا پایین داشته باشد.
صفت در یک تست، درصورتی یک هدف است که مقدار بیشینه یا کمینه داشته باشد.
درصورتیکه، قیود به صورت برابری یا نابرابری ریاضی مدل یابی میشوند، اهداف به صورت توابع ریاضی مدیابی میشوند. قیود و اهداف همیشه به همراه نوع و سطح صفتی که آنها را نشان میدهد، بیان میشوند. در کل، فرایند مدل یابی کردن مسئلهی سرهم کردن تست بر اساس چهار گام صورت میگیرد:
گام اول: تعیین متغیرهای تصمیم
گام دوم: مدل یابی کردن قیود
گام سوم: مدل یابی کردن هدف یا اهداف
گام چهارم: حلّ کردن مدل برای یک راه حل بهینه.
در اینگونه مطالعات گام اول بسیار چالش برانگیز است. در مسائل سرهم کردن تستها، به تعداد سؤالات موجود در خزانه، متغیر تصمیم داریم. اگر تعداد سؤالات باشد، با نادیده گرفتن هر نوع قیدی، تعداد تستهای ممکن از خزانهی سؤالی برابر با میباشد. البته انجام این عمل واقعگرایانه نیست و انتخاب به عنوان متغیر تصمیم مفید نیست. بهترین راه این است که، هریک از ممکن میتوانند توسط رشتههایی از صفر و یک کدگذاری شوند. بنابراین، در این مورد مسئلهی تصمیم، متغیر دارد. پس از اینکه متغیرهای تصمیم مشخص شدند، این نحوهی انتخاب متغیرهای تصمیم به ما اجازه میدهد که قیودی را روی انتخاب تست قرار دهیم، تا قضیهی انتخاب از مجموعهی تستهای ممکن به زیر مجموعهای از تست ها تقلیل یابد. با این روش مدل یابی قیود و اهداف به سهولت انجام میگیرد و در گام چهارم به کمک نرم افزار جبری مناسب با بهره گرفتن از یک الگوریتم برنامهنویسی اعداد صحیح به راهحل مناسب میرسیم (وندر لیندن و گلاس، ۲۰۱۰؛ وندر لیندن،b 2005).
ایجاد یک مدل استاندارد برای سرهم کردن یک تست با یک هدف کمّی
در این مدل ؛ به عنوان یک علامت کلی برای مقدار سؤال روی یک صفت کمّی، ، به عنوان یک علامت کلی برای یک زیر مجموعه یا یک طبقه به کار میرود، برای نشان دادن مجموعهای از شاخصهای متغیرهایی از سؤالات در زیر مجموعهی c میباشد. به ترتیب، دو مجموعه از سؤالات است که باید داخل و خارج از تست شوند. ، مجموعهای از سؤالات متضاد را نشان میدهد. تابع هدف در این مدل (برای مثال) بهینه کردن تعداد ویژگیهای کمّی در کل تست است (وندرلیندن، b2005). معادلهی (۲-۱۳)، مجموعه معادلات مربوط به این نوع مدل را نشان میدهد:
(۲-۱۳)
در ارتباط با قیود ممکن در سطوح زیر میباشد:
در سطح تست (test level)
در سطح سؤال (item level)
کاربرد رویکرد برنامهنویسی خطی در مدلهایی برای سرهم کردن تستهای انطباقی
ایدهی سرهم کردن تست در سنجش انطباقی تقریباً ارتباط نزدیکی به فرمهای مرتب شده در سنجش چند مرحلهای دارد. در سنجش چند مرحلهای نیز آزمودنیها از طریق آزمونهای متوالی سنجش میشوند. اگر در عملکرد قبلی خود، به خوبی عمل کنند، خرده آزمونهای دشوارتر به آنها ارائه میشود و بالعکس (لرد، ۱۹۸۰). آدما[۱۵۹] (۱۹۹۰)، وندرلیندن و آدما (۱۹۹۸)، رویکرد مدل یابی برنامهنویسی ۰-۱ را برای طراحی سیستمهای سنجش چند مرحلهای که مبتنی بر ملاک بیشینهی آگاهی است ایجاد کردند، آنها امکان وارد کردن مجموعهای از قیود را در سرهم کردن تستهای انطباقی فراهم ساختند. امکان ورود این قیود در سنجش چند مرحلهای جذابیت این نوع سنجش را افزوده کرد (لانچ، نانگستر، ۱۹۹۸؛ زینیسکی[۱۶۰]، همبلتون و لانچ، ۲۰۱۰ به نقل از وندرلیندن و گلاس، ۲۰۱۰؛ ملیکان، بریتاپت و زانک[۱۶۱]، ۲۰۱۰، به نقل از وندرلیندن و گلاس، ۲۰۱۰). در سنجش انطباقی نیز، سؤالات به صورت متوالی از یک خزانهی سؤال انتخاب میشوند و در این مورد مشابه با سنجش چند مرحلهای است. پس از اینکه به یک سؤال پاسخ داده شد، توانایی آزمودنی دوباره برآورد میشود، به دنبال آن سؤال بعدی طوری انتخاب میشود که در برآورد توانایی بیشترین دقت را ایجاد کند. در این رویکرد برای سرهم کردن تستهای سنجش انطباقی از تست سایه استفاده میشود (ولدکمپ، وندرلیندن، ۱۹۹۹).
رویکرد تست سایه
روش تست سایه، روش پشتیبانی مفیدی برای سرهم کردن آزمونهای انطباقی میباشد. تصویر گرافیکی سرهم کردن تست انطباقی از روی تست سایه در نمودار ۲-۴ نشان داده شده است. ایدهی اساسی زیربنایی این روش حل یک مسئله بزرگ همزمان به صورت توالی از مسائل همزمان کوچکتر است. این رویکرد بر اساس این مفروضه شکل گرفت که، اگر بخواهیم از یک خزانهی بزرگ[۱۶۲] مجموعهای تست سرهم کنیم، ابتدا تعداد تستهایی که باید سرهم شود مشخص میشود، مثلاً، . سرهم کردن این تعداد میتواند به یک مسئلهی خیلی بزرگ تبدیل شود، امّا کاربرد تستهای سایه میتواند راه حلّ بهینهای در یک زمان معقول بدست آید. گامهای زیر برای ارائه تست سایه اجرا میشود:
در گام اول: تستهای و و تست سایهای که نمایندهی تست باقیمانده هست، به طور همزمان سرهم میشوند. سؤلات برای تستهای و از خزانه برداشته میشوند و در تست سایه جایگزین میشوند.
در گام دوم: تستهای و به طور همزمان، همراه با تست سایه جدیدی که هم اکنون تستهای را نشان میدهند، سرهم میشود. در این مرحله سؤالات برای تستهای و برداشته میشود و در تست سایه جایگزین میشود.
در گام سوم: تستهای و به طور همزمان، همراه با تست سایه جدیدی که هم اکنون تستهای را نشان میدهند، سرهم میشود. در این مرحله سؤالات برای تستهای و برداشته میشود و در تست سایه جایگزین میشود.
در گام چهارم: تستهای و به طور همزمان، همراه با تست سایه جدیدی که هم اکنون تستهای را نشان میدهند، سرهم میشود. در این مرحله سؤالات برای تستهای و برداشته میشود و در تست سایه جایگزین میشود.
در این مرحله تستهای و سرهم میشوند.
البته اندازهی یا طول تست، تنها یک قید در مدل است و تعیین کنندهی اساسی زمان محاسبات نیست. این ویژگی به ما اجازه میدهد تا یک تست سایه در هر مرحله داشته باشیم. تستهای سایه، تستهای منظمی نیستند، همیشه سؤالاتی که انتخاب نمیشوند به خزانه بازگشت داده میشود. آنها تنها سرهم میشوند تا انتخاب سؤالات بین تستهای اخیر و بعدی را متعادل کنند. این ویژگی تست سایه مانع میشود که بهترین سؤالات تنها به تستهای اولیه اختصاص دادهشوند و مسائل سرهم کردن تستهای بعدی را قابل اجرا میکند، تا هم مواجهه سؤال و هم محتوای سؤال رعایت شود. در این روش سؤالی که در تست سایه برای اجرا انتخاب نمیشود، به خزانه بازگردانده میشود، با برآورد جدید توانایی، دوباره قابلیت کاربرد میباشد. بازنمایی گرافیکی رویکرد تست سایه (STA) برای سنجش انطباقی در نمودار ۲-۵ ارائه شده است. محور افقی، توالی سؤالات در تست انطباقی را نشان میدهد و محور عمودی توانایی اندازه گیری شده بهوسیلهی خزانهی سؤال را نشان میدهد. موقعیت محور عمودی تستهای سایه با برآورد اخیر توانایی رابطه دارد. با بالارفتن آزمون، برآورد هم بیشتر میشود. موقعیت بالاتر نشان میدهد که پاسخ قبلی صحیح بوده است، و موقعیت پایینتر نشان میدهد که پاسخ قبلی غلط بوده است. قسمتهای تیرهی تست سایه، سؤالاتی را که قبلاً اجرا شده را نشان میدهد و قسمتهای روشنتر، بخشهایی هستند که در برآورد جدید توانایی دوباره سرهم میشوند. آخرین تست، تست انطباقی واقعی است که اجرا شده است؛ در این تست آخر به طور خودکاری مجموعهای از قیود محتوایی روی هر یک از تستهای سایه وارد میشود ( وندرلیندن، ۲۰۰۰؛ وندرلیندن، ۲۰۰۱؛ وندرلیندن، b2005 ؛ وندرلیندن و گلاس، ۲۰۱۰).
نمودار ۲-۴: بازنمایی گرافیکی رویکرد تست سایه برای سرهم کردن تستهای چند مرحلهای
نمودار ۲-۵: بازنمایی گرافیکی رویکرد تست سایه برای سرهم کردن تستهای انطباقی
مدل استانداردی برای تست سایه
برای خزانههایی با سؤالات مجزا، مدل استاندارد برای تست سایه به طور مستقیمی از مدل تست ثابت پیروی میکند. برای انتخاب سؤال مدل برابر است با معادلهی (۲-۱۴):
(۲-۱۴)
در ارتباط با قیود ممکن در سطوح زیر میباشد:
در سطح تست (test level)
در سطح خرده آزمون (subtest level)