مقدمه 
صلاحیت از موضوعات چالش‌برانگیز در بخش مراقبت‌های سلامت است که در حیطه‌های مختلف درمانی ازجمله آموزش و بالین و مدیریت از اهمیت بسیاری برخوردار است [1]. صلاحیت بالینی به‌کارگیری مدیرانه مهارت‌های تکنیکی و ارتباطی، دانش، استدلال بالینی، عواطف و ارزش‌ها در محیط بالینی است. ارزیابی صلاحیت بالینی، فرایندی پیچیده و ترکیبی از مراحل مختلف ارزیابی است [2].
تا کنون ارزیابی صلاحیت بالینی در مطالعات مختلف موردبررسی قرار گرفته است. مثلاً در زمینه ارزیابی آموزش بهورزان در کشور، شایان و همکاران، پژوهشی با عنوان «طراحی و تدوین کارنامه عملکرد فراگیران بهورزی کشوری» انجام دادند. پس از مطالعه متون، پرسش‌نامه اولیه تدوین و از نمونه‌ها نظرسنجی شد. روایی ظاهری و محتوایی پرسش‌نامه با استفاده از نظرات صاحب‌نظران و مربیان بهورزی تعیین شد. قابلیت اعتماد یا پایایی پرسش‌نامه با استفاده از آزمون آلفای کرونباخ تعیین شد. پرسش‌نامه‌ها با 17 پودمان و 205 مهارت تدوین شدند. پس از نظرسنجی سطح شایستگی تک‌تک مهارت‌ها به دست آمد. نتیجه این پژوهش ابزار ارزشمندی را در جهت ارزیابی توانمندی فراگیران بهورزی معرفی می‌کند [3]. 
در پژوهشی، «طراحی چک‌لیست ارزیابی مهارت عملی دانشجویان دندانپزشکی» در 3 مرحله اجرا شد: مرحله اول، تهیه چک‌لیست و تعیین روایی و پایایی آن، مرحله دوم تکمیل چک‌لیست برای یک گروه از دانشجویان توسط 4 نفر از اساتید و گروه دیگر به روش رتبه‌بندی جهانی و مرحله سوم بررسی پیامدها. نتیجه این مطالعه عینی‌تر بودن و توجه بیشتر به اجزای موردارزیابی در روش چک‌لیست و رضایت بیشتر دانشجویان را نشان داد [4].
در پژوهش «تدوین و اعتبارسنجی ابزار ارزش‌یابی دوره کارآموزی در عرصه رشته مهندسی بهداشت حرفه‌ای» که در دانشکده بهداشت دانشگاه علوم‌پزشکی شاهرود انجام شد، ابزاری برای ارزش‌یابی دانشجویان بهداشت حرفه‌ای طراحی شد. نتایج حاکی از آن بود که ابزار ارزش‌یابی تدوین‌شده، دارای ویژگی‌های روان‌سنجی مناسبی است و به‌عنوان یک مقیاس استاندارد برای ارزش‌یابی کارآموزان دوره کارآموزی بهداشت حرفه‌ای قابل استفاده است [5].
پژوهش «طراحی ابزاری برای ارزیابی صلاحیت بالینی دانشجویان پزشکی در بخش اطفال» نشان داد با توجه به حجم زیاد دانش در رشته پزشکی و ضرورت یادگیری مهارت یا دانش، لازم است این اصول در ارزیابی صلاحیت بالینی و طراحی ابزار ارزش‌یابی جهت بهبود عملکرد افراد نسبت به وظایف شغلی آینده و نیاز‌های جامعه در نظر گرفته شود [6].
امروزه اهمیت تشخیص زودرس اختلالات تکاملی و ارائه خدمات مداخله‌ای در شیرخواران و نوپایان ارزش روزافزونی پیدا کرده است. ارزیابی به‌موقع و دوره‌ای تکامل، امکان تشخیص و درمان زودرس را فراهم کرده و مانع از دست رفتن پتانسیل‌های تکاملی کودک می‌شود [7، 8]. دلیل تلاش فزاینده در جهت تشخیص در سنین پایین‌تر آن است که برنامه‌های مداخله‌گرانه مقرون‌به‌صرفه هستند و چنانچه در سنین پایین‌تر شروع شوند تأثیر بیشتری دارند [9]، پیش‌آگهی تکاملی کودکان را بهبود می‌بخشند [10] و دارای اثرات مثبت کوتاه‌مدت و بلندمدت هستند [11، 12]. در حال حاضر اغلب متخصصین براساس قضاوت بالینی خود این پایش را انجام می‌دهند. ولی مطالعات متعددی نشان داده‌اند قضاوت بالینی به‌تنهایی در تشخیص تأخیر تکامل کارایی لازم را ندارد [9، 13، 14]. شواهد حاکی از آن است که به‌طور متوسط تنها 30 درصد از کودکان دارای مشکلات تکاملی یا رفتاری توسط پزشک بدون استفاده از ابزار غربالگر تشخیص داده می‌شوند [11، 15، 16]. به همین منظور آزمون‌های غربالگر تکاملی متعدد‌ی، طراحی و در اختیار مراقبین سلامت کودکان قرار گرفته است. به‌منظور تشخیص قطعی مواردی که در آزمون‌های غربالگری به‌عنوان تأخیر تکامل ارجاع شده‌اند، می‌بایست از آزمون‌های تشخیصی اختلالات تکاملی استفاده کرد. در مقایسه با تعدد آزمون‌های غربالگری مثل پرسش‌نامه سنین و مراحل و غربالگری تکاملی دنور، آزمون‌های تشخیصی اختلالات تکاملی محدود بوده و در اغلب موارد تنها به تشخیص اختلال تکاملی در یک حیطه اکتفا می‌کنند مثل فهرست تکاملی باتل، آزمون مک‌آرتور و تست مراحل تکامل حرکتی.
آزمون تشخیصی «مقیاس‌های تکاملی بیلی» از معدود آزمون‌های تشخیصی معتبر جهانی است که علاوه بر جامعیت در تمامی حیطه‌های تکاملی از شاخص‌های روان‌سنجی بالایی نیز برخوردار است. این آزمون، یک ابزار ارزیابی فردی است که عملکرد تکاملی کودکان 1-42ماهه را در 3 حیطه تکاملی شناختی، زبانی و حرکتی ارزیابی می‌کند. ارزیابی این 3 حیطه به‌شکل عینی توسط آزمونگر انجام می‌پذیرد.
بنابراین آزمون بیلی جهت تشخیص اختلالات تکاملی در نظام سلامت کشور انتخاب شد و هم‌اکنون در حال اجراست. آموزش آزمونگران جهت انجام تست توسط مربیان در یک دوره آموزش نظری و عملی انجام می‌گیرد. پس از اتمام دوره آموزشی، آزمونگران به‌منظور کسب مهارت‌های لازم، اجرای آزمون را در مراکز بهداشتی به‌صورت عملی تمرین کرده و پس از کسب آمادگی، 3 فیلم از اجرای تست برای کودک سالم جهت ارزیابی توسط مربیان و کسب گواهی جهت مهارت و توانمندی انجام تست، ارسال می‌کنند. با توجه به اینکه ابزار ارزیابی صلاحیت در انجام تست در داخل و در خارج از کشور وجود ندارد، همیشه چالش‌هایی در قبولی یا رد صلاحیت بالینی این آزمونگران توسط مربیان مختلف مطرح بوده است.
بنابراین پژوهش حاضر به درخواست وزارت بهداشت با هدف طراحی ابزاری استاندارد با روایی و پایایی قابل‌قبول به‌منظور ارزیابی مهارت و توانمندی عملکرد بالینی آزمونگران تست بیلی-3 انجام شد.

روش‌ها 
این مطالعه در 2 بخش ساخت ابزار و سپس تعیین روایی و پایایی آن، در 6 گام طراحی شد. جامعه هدف، آزمونگران آزمون بیلی وزارت بهداشت در کشور بودند. جامعه آماری، مربیان یا ارزیابان (منتخب وزارت در سطح کشورکه دارای توانایی بالا در انجام آزمون هستند) و آزمونگران باتجربه یا ارزیابی‌شدگان در دانشگاه‌های علوم‌پزشکی مختلف ایران در سال‌های 1400 تا 1401 بودند. معیارهای ورود به مطالعه عبارت بودند از: مربیان کشوری، آزمونگرانی با سابقه 5 سال انجام آزمون که قبلاً این دوره آموزشی را گذرانده و جهت انجام تست موردتأیید بودند. معیارهای خروج از مطالعه، عدم تمایل به شرکت در مطالعه و جلسات یا پاسخ‌دهی تعیین شد. 
نمونه‌گیری به‌صورت مبتنی بر هدف بود. حجم نمونه در محاسبه روایی صوری و محتوایی 10 نفر، همبستگی درونی 40 نفر و پایایی نمره‌دهی بین ارزیابان و دفعات آزمون 8 نفر بود. 
گردآوری داده‌ها با ابزار «ارزیابی عملکرد بالینی آزمونگر بیلی» انجام شد که براساس متغیرهای مدنظر در فاز اول مطالعه طراحی شد و سپس روایی ظاهری و محتوایی کمی، همبستگی درونی گویه‌ها و پایایی نمره‌دهی بین ارزیابان و دفعات آزمون سنجیده شد. 
جهت طراحی ابزار 7 گام انجام شد: 1) مرور متون، 2) تبیین مفاهیم عملکرد بالینی با توجه به نتایج حاصل از مرور متون و نظرات خبرگان، 3) تدوین پیش‌نویس اولیه و گویه‌های نهایی ابزار، 4) تنظیم ساختار نمره‌دهی و تفسیر آن، 5) تعیین روایی ظاهری گویه‌ها با محاسبه نمره تأثیر، 6) تعیین روایی محتوایی کمی گویه‌ها با محاسبه ضریب نسبی روایی محتوا و شاخص روایی محتوا. 
مرور متون، با کلیدواژه‌های: ارزیابی عملکرد بالینی، ارزیابی مهارت، ارزیابی آموزشی، ارزیابی عملکرد، توانمندی بالینی، توانمندی حرفه‌ای، ارزیابی خبرگی، کارپوشه، عملکرد بالینی، آزمون مشاهده مستقیم مهارت‌های عملی، کتابچه گزارش روزانه عملکرد یا کارنامه عملکرد، ارزیابی توسط همتایان، مهارت‌های عملی، مشاهده، آزمون بیلی-3 و براساس معادل‌های مش در پایگاه‌های اینترنتی پاب‌مد، اوویدمدلاین، گوگل‌اسکولار، مگ‌ایران، مدلاین و اس‌آی‌دی به زبان‌های فارسی و انگلیسی بدون محدودیت زمانی انجام گرفت. هدف از انجام این مرحله، شناسایی مؤلفه‌های ارزیابی آزمونگران در گروه‌های سنی مختلف به‌منظور بخش‌ها و استخراج گویه‌های ارزیابی بود. 
پس از بحث متمرکز گروهی با گروه خبرگان 10نفری (شامل مربیان و آزمونگران باتجربه و متخصصان در زمینه تکامل کودک) و جمع‌آوری نظرات آن‌ها و مرور متون، در تبیین عملکرد بالینی آزمونگر به این نتیجه رسیدیم که این مفهوم شامل 2 بخش است: 
عملکرد بالینی اختصاصی: عبارت است از عملکرد آزمونگر در اجرای گویه‌های آزمون مطابق با دستورالعمل در 3 مقیاس شناختی، زبانی (درکی و بیانی)، و حرکتی (حرکات ظریف و حرکات درشت).
عملکرد بالینی عمومی: عبارت است از عملکرد آزمونگر در رعایت موارد کلی انجام آزمون شامل رعایت سکوت هنگام انجام آزمون، حذف عوامل حواس‌پرتی کودک، محاسبه دقیق سن تقویمی کودک و سن اصلاح‌شده در صورت نارسی، رعایت قانون بازگشت و رعایت قانون توقف آزمون.
پیش‌نویس اولیه دارای 111 گویه بود که در بخش اختصاصی مشتمل بر شناختی (45 گویه)، ارتباط درکی (18 گویه)، ارتباط بیانی (14 گویه)، حرکات ظریف (9 گویه) و حرکات درشت (8 گویه) و در بخش عمومی (17 گویه) توسط گروه تحقیق و خبرگان به روش دلفی تدوین شد. 
پس از بحث گروهی با گروه خبرگان 8نفری (شامل مربیان و آزمونگران باتجربه آزمون)، با توافق همه اعضا، نمره‌دهی گویه‌های بخش اختصاصی به شکل لیکرت پنج‌تایی (با تفسیر نمره 1= هیچ‌گونه مطابقتی با دستورالعمل ندارد، نمره 2= در بسیاری از موارد با دستورالعمل مطابقت ندارد، نمره 3= در بعضی موارد با دستورالعمل مطابقت ندارد، نمره 4= قابل‌قبول است ولی نیاز به ارتقا دارد، نمره 5= مطلوب و مطابق با دستورالعمل است) تدوین شد. درمورد گویه‌های بخش عمومی طیف لیکرت پنج‌تایی (با تفسیر ضعیف، متوسط، خوب، بسیارخوب و عالی) موردتوافق قرار گرفت.
جهت تعیین روایی ظاهری کمی، پیش‌نویس اولیه به گروه خبرگان 8نفری (شامل مربیان و آزمونگران باتجربه آزمون) ارسال و از آن‌ها درخواست شد که با توجه به میزان اهمیت، به هر گویه نمره 1 تا 5 بدهند. در این ارزیابی، نمره 1 نشان‌دهنده کمترین و نمره 5 نشان‌دهنده بیشترین میزان اهمیت بود. برای تعیین نمره اهمیت و نمره تأثیر هر گویه از فرمول‌های شماره 1 و 2 استفاده شد:
1. نمره اهمیت= تعداد افراد ارزیابی‌کننده ÷ مجموع نمرات گویه
2. نمره تأثیر= نمره اهمیت × درصد فراوانی کسانی که امتیاز 4 و 5 به گویه داده‌اند. 
در مرحله بعد گویه‌هایی که نمره تأثیر کمتر از 1/5 داشتند حذف شدند و ساختار سایر گویه‌ها مورد اصلاح و بازبینی قرار گرفت.
به‌منظور تعیین روایی محتوایی ابزار، از دو ضریب CVR و CVI استفاده شد. 
گویه‌های نهایی ابزار به یک گروه 10نفری از مربیان و آزمونگران باتجربه ارسال و از آن‌ها خواسته شد جهت تعیین CVR، هر یک از گویه‌ها را (ضروری است، مفید است ولی ضروری نیست، ضرورتی ندارد) ارزیابی کنند.
برای محاسبه CVR از فرمول شماره 3 استفاده شد:



با توجه به حداقل CVR قابل‌قبول براساس تعداد خبرگان، گویه‌هایی که نمره CVR کمتر از 6/0 داشتند حذف شدند.
برای محاسبه CVI هر یک از گویه‌ها، از خبرگان خواسته شد میزان واضح بودن، سادگی و مرتبط بودن هر گویه را با طیف چهارقسمتی زیر تعیین کنند: 
• واضح بودن (کاملاً واضح است، واضح اما نیاز به بازبینی دارد، نیاز به بازبینی جدی دارد، مبهم است)
• سادگی (کاملاً ساده است، ساده اما نیاز به بازبینی دارد، نیاز به بازبینی جدی دارد، مبهم است)
• مرتبط بودن (کاملاً مرتبط است، مرتبط اما نیاز به بازبینی دارد، نیاز به بازبینی جدی دارد، مرتبط نیست)
برای محاسبه CVI، تعدادی که گزینه اول و دوم را انتخاب کرده‌ بودند بر تعداد کل تقسیم، و اگر حاصل آن از 0/7 کوچک‌تر بود گویه حذف و اگر بین 0/7 تا 0/79 بود بازبینی، و اگر از 0/79 بزرگ‌تر بود قابل‌قبول در نظر گرفته شد. با در نظر گرفتن نمرات CVR و CVI هر یک از گویه‌ها و همچنین براساس نظرات پیشنهادی خبرگان مبنی بر خلاصه کردن متن گویه‌ها، ابزار نهایی تدوین شد. 
تعیین پایایی ابزار، در 3 مرحله انجام شد. ابتدا طبق نظر تیم تحقیق، 6 فیلم کامل از اجرای آزمون بیلی که توسط آزمونگران با سطح توانایی‌های متفاوت (به‌دلیل تعیین تفاوت نمره‌دهی ابزار در شناسایی آزمونگران با مهارت‌های متفاوت) از 6 گروه سنی (3-4ماهه، 5-6ماهه، 12ماهه، 20ماهه، 31-32ماهه و 42ماهه) تهیه شده بود به 8 نفر از مربیان آزمون بیلی جهت ارزیابی ارسال شد. شایان ذکر است که آزمون بیلی در 17 گروه سنی از 15روزگی تا 42ماهگی قابل ارزیابی است و با افزایش سن، گویه‌ها پیچیده‌تر می‌شوند. بنابراین در هر گروه سنی تعدادی از گویه‌ها توسط آزمونگر مورد مشاهده قرار می‌گیرد. 6 گروه سنی با توجه به پوشش تمام گویه‌ها در ابزار نهایی انتخاب شد تا تمام گویه‌ها موردارزیابی قرار گیرند. 
در مرحله اول، جهت تعیین پایایی در دفعات آزمون، از ارزیابان خواسته شد فیلم‌ها را دوبار، با فاصله زمانی 2 هفته (بدون رجوع به نتایج بار اول) ارزیابی کرده و چک‌لیست را تکمیل کنند (آزمون ـ بازآزمون). نمرات ارزیابان در بار اول و دوم به‌طور جداگانه جمع‌بندی شد و با روش محاسبه ضریب همبستگی داخل‌خوشه‌ای مورد تجزیه‌وتحلیل آماری قرار گرفت.
در مرحله دوم جهت تعیین پایایی ابزار بین ارزیابان از ICC با فاصله اطمینان 95 درصد استفاده شد. طبق مطالعات، مقادیر ICC کمتر از 0/5 نشانه پایایی ضعیف، مقادیر 0/5-0/75 نشانه پایایی متوسط و مقادیر 0/75-0/90 نشانه پایایی خوب و بالای 0/9 نشانه پایایی عالی است [17].
در مرحله سوم، جهت هم‌خوانی درونی گویه‌ها از روش آلفای کرونباخ استفاده شد. هم‌خوانی درونی شاخصی است که همگنی موجود بین تغییرات نمرات خرده‌مقیاس‌ها بین افراد یک نمونه را در یک مقطع زمانی نشان می‌دهد. ضریب آلفای کرونباخ رایج‌ترین شاخصی است که در این گونه مطالعات برای ارزیابی هم‌خوانی درونی استفاده می‌شود. این ضریب بین صفر تا 1 متغیر بوده و هرچه به 1 نزدیک‌تر باشد نشان‌دهنده این است که ابزار موردمطالعه از هم‌خوانی درونی بالاتری برخوردار است. غالباً ضریب آلفای کرونباخ مناسب بیش از 0/70 در نظر گرفته می‌شود.
درنهایت، جهت تعیین میزان توافق بین هر مشاهده‌گر با مشاهده‌گر مرجع (که توسط تیم تحقیق مشخص شد) از ضریب کاپای کوهن استفاده شد. اندازه ضریب کاپا در تحلیل‌های آماری 1- تا 1+ است. هرچه این عدد به 1 نزدیک‌تر باشد بیانگر وجود توافق متناسب است و اندازه کاپای بالای 0/6 موردقبول است [18].

یافته‌ها 

روایی ظاهری کمی 
براساس نتایج حاصل از تحلیل نمرات لیکرت، گویه‌هایی که نمره تأثیر کمتر از 4 داشتند (بخش شناختی 11 گویه، ارتباط درکی 3 گویه، ارتباط بیانی 4 گویه، حرکات درشت 4 گویه و عمومی 2 گویه) حذف شدند و ساختار سایر گویه‌ها مورد اصلاح و بازبینی قرار گرفت (جدول شماره 1). 



روایی محتوایی
با توجه به حداقل CVR قابل‌قبول براساس تعداد خبرگان (10 نفر)، هیچ‌کدام از گویه‌ها CVR کمتر از 0/6 نداشتند و هیچ گویه‌ای حذف نشد. 
براساس تجزیه‌وتحلیل نمرات CVI گویه‌هایی که شاخص روایی محتوای آن‌ها کمتر از 0/7 هستند باید حذف شوند و گویه‌هایی که بین 0/7 تا 0/79 هستند باید مورد بازبینی قرار گیرند. در این مطالعه همه گویه‌ها شاخص روایی محتوای بالاتر از 0/79 داشتند به‌غیر از گویه 29 مقیاس شناختی که شاخص روایی محتوایی آن معادل 0/7 بود و مورد بازبینی قرار گرفت. میزان CVR و CVI هر یک از بخش‌های اختصاصی و عمومی ابزار مطابق جدول شماره 2 است.
ابزار نهایی با 66 گویه در بخش اختصاصی (شامل 32 گویه شناختی، 13 گویه ارتباط درکی، 9 گویه ارتباط بیانی، 9 گویه حرکات ظریف و 3 گویه حرکات درشت) و 14 گویه در بخش عمومی تدوین شد.







پایایی 
سنجش پایایی ابزار در 2 بخش انجام گرفت: 
ثبات زمانی (آزمون ـ بازآزمون) با روش ICC به تفکیک 6 گروه سنی و در 2 بخش اختصاصی شامل گویه‌های شناختی، زبانی (ارتباط درکی و بیانی)، حرکتی (حرکات ظریف و درشت) و بخش عمومی محاسبه شد (جدول شماره 3). میزان ICC در بخش اختصاصی و در بخش عمومی به‌ترتیب0/83 و 0/86 بود.



پایایی بین ارزیابان نیز با روش ICC با فاصله اطمینان 95 درصد محاسبه شد (جدول شماره 4) و در گویه‌های حرکتی 0/76 (فاصله اطمینان 95 درصد معادل 54-88)، گویه‌های زبانی 0/81 (فاصله اطمینان 95 درصد معادل 60-87)، گویه‌های شناختی 0/88 (فاصله اطمینان 95 درصد معادل 71-91) و در بخش عمومی 0/81 (فاصله اطمینان 95 درصد معادل 61-86) و در کل ابزار 0/80 (فاصله اطمینان 95 درصد معادل 58-82) بود. 



هم‌خوانی درونی گویه‌ها به تفکیک 6 گروه سنی با استفاده از آلفای کرونباخ محاسبه شد و در کل گویه‌های بخش عمومی ابزار معادل 0/76 بود (جدول شماره 5). 



میزان توافق بین 7 مشاهده‌گر با مشاهده‌گر مرجع با ضریب کاپای کوهن محاسبه شد. بالاترین میزان، در گویه‌های حرکتی و بخش عمومی هر کدام در 3 مورد و مقیاس شناختی در 1 مورد (معادل 1) و کمترین میزان در مشاهده‌گر شماره 2 بود (جدول شماره 6). به‌صورت کلی ضریب کاپای کوهن در مقیاس‌های مختلف، بیانگر توافق مناسب بین هر کدام از مشاهده‌گران با مشاهده‌گر مرجع است.



بحث 
مطالعات نشان می‌دهند وجود یک ابزار استاندارد برای ارزیابی مهارت گیرندگان آموزش ضروری است و ارزیابی با یک ابزار استاندارد، احتمال خطا و اعمال سلیقه شخصی ارزیاب را به حداقل رسانده و کیفیت ارزیابی را ارتقا می‌دهد. بنابراین، این مطالعه برای اولین‌بار در ایران با هدف طراحی یک ابزار روا و پایا جهت ارزیابی عملکرد بالینی آزمونگر تست بیلی به درخواست وزارت بهداشت انجام شد. 
گویه‌های این ابزار با اجماع نظر محققین و گروه خبرگان شامل مربیان (ارزیابان) و آزمونگران باتجربه (ارزیابی‌شدگان)، تدوین شد. روایی ظاهری کمی گویه‌ها، با استفاده از نمره تأثیر و روایی محتوایی با ضریب نسبی روایی محتوی و شاخص روایی محتوی بالا تعیین شد. پایایی ابزار با ضریب همبستگی داخل‌خوشه‌ای ابزار در دفعات آزمون و بین ارزیابان اندازه‌گیری شد که نشان‌دهنده پایایی خوب و قابل اطمینان ابزار بود. هم‌خوانی درونی گویه‌ها بالا بود و ضریب کاپای کوهن مناسب بیانگر توافق مناسب و قابل‌قبول بین ارزیابان بود. 
بررسی مطالعات داخل و خارج از کشور نشان داد ابزاری که به‌طور خاص برای ارزیابی عملکرد بالینی آزمونگر بیلی طراحی شده باشد وجود ندارد. به همین دلیل ابزار‌های مشابه موردبررسی قرار گرفت.
در پژوهش شایان و همکاران، با هدف طراحی و تدوین کارنامه عملکرد فراگیران بهورزی کشور، پس از مرور متون و تشکیل گروه کانونی، پرسش‌نامه‌ای با 17پودمان و 205 مهارت براساس کوریکولوم مصوب آموزش بهورزی تدوین شد. روایی ظاهری و محتوایی پرسش‌نامه با استفاده از نظرات صاحب‌نظران آموزش بهورزی وزارت بهداشت و مسئولین آموزش بهورزی و چند تن از مدیران و مربیان بهورزی تعیین شد. این مطالعه شامل 7 مرحله بود: 1) مطالعه گسترده و میدانی، 2) تعیین مؤلفه‌های اساسی و مهارت‌های موردنیاز فراگیران در قالب 17 پودمان و 205 مهارت، 3) مطالعه و تدوین پرسش‌نامه در 5 سطح، 4) تعیین روایی محتوایی و ظاهری پرسش‌نامه با یک جلسه کانونی، 5) توزیع پرسش‌نامه‌ها با پست الکترونیک، 6) جمع‌بندی اطلاعات دریافتی، و 7) تجمیع اطلاعات دریافتی با آمار توصیفی. با نهایی شدن اطلاعات، درنهایت کارنامه عملکرد پیشنهادی در 2 بخش پودمان‌ها و مهارت‌های پروسیجرال تدوین شد. در این پژوهش به‌منظور تعیین پایایی پرسش‌نامه با روش آلفای کرونباخ، تنها هم‌خوانی درونی گویه‌ها ارزیابی شده است و پایایی دفعات آزمون و پایایی بین ارزیابان سنجیده نشده است [3]. در مطالعه ما ابزاری مشتمل بر 2 بخش اختصاصی (66 گویه) و عمومی (14 گویه) با توجه به مهارت‌هایی که آزمونگر باید در ارزیابی کودکان 1-42ماهه در تست بیلی داشته باشند تبیین شد. همانند ساختار تست بیلی، بخش اختصاصی برگرفته از محتوای تست جهت سنجش 3 مقیاس شناختی، زبانی و حرکتی بود و بخش عمومی شامل گویه‌هایی بود که آزمونگر در حین انجام کار باید در انجام تست رعایت کند. مراحل انجام مطالعه فوق دقیق طراحی شده، ولی برخلاف مطالعه ما بررسی روایی و پایایی و توافق بین ارزیابان محاسبه نشده است.
مطالعه منصوریان و همکاران در 3 مرحله انجام شد. مرحله اول: تهیه چک‌لیست ارزیابی مهارت‌های عملی دانشجویان دندانپزشکی و تعیین روایی و پایایی آن، مرحله دوم: کاربرد چک‌لیست، مرحله سوم: بررسی پیامدها (الف: تعیین میزان رضایت‌مندی ارزیابان و ارزیابی‌شوندگان، ب: آنالیز آماری). جهت تهیه چک‌لیست، ابتدا با توجه به اهداف آموزشی مندرج در کوریکولوم آموزشی مصوب، پیش‌نویسی از چک‌لیست مشتمل بر مهارت‌های بالینی تهیه شد. این چک‌لیست جهت تعیین روایی ظاهری به تأیید 5 نفر از اساتید و مدرسین رسید. برای تعیین روایی محتوایی از روش لاوشه استفاده شد. بدین‌ترتیب که نسخه‌ای از چک‌لیست در اختیار 5 تن از اساتید متخصص در رشته دهان و فک و صورت قرار گرفت و از آن‌ها خواسته شد تا هر سؤال را به 3 شکل «ضروری»، «مفید» و «غیرضروری» مورد داوری قرار دهند. نظر داوران با CVR و CVI تعیین شد. برای بررسی پایایی چک‌لیست، از روش آزمون ـ بازآزمون استفاده شد. فیلمی از انجام مهارت بالینی موردنظر تهیه شد و در اختیار 5 نفر از اساتید قرار گرفت و اساتید با مشاهده فیلم اقدام به نمره‌دهی کردند. 2 هفته بعد، فیلم مزبور توسط همان اساتید بررسی و نمره‌دهی شد. میزان ضریب همبستگی نمرات قبل و بعد برابر 0/98 بود [4]. در این مطالعه نیز مانند مطالعه ما روایی محتوایی و پایایی چک‌لیست با استفاده از روش‌های دقیق آماری تعیین شده است. ICC قبل و بعد در مطالعه ما در بخش اختصاصی 0/83 و در بخش عمومی 0/86 و ضریب همبستگی درون‌رده‌ای در مشاهدات ارزیابان 0/80 (فاصله اطمینان 95 درصد: 58-82) بود. 
در مطالعه مکرمی و همکاران که به‌منظور طراحی ابزاری جهت ارزش‌یابی دوره کارآموزی در عرصه مهندسی بهداشت حرفه‌ای انجام شد، در ابتدا 4 جلسه با متخصصان آموزش پزشکی، آموزشی و پژوهشی با محوریت وظایف حرفه‌ای دانش‌آموختگان تشکیل شد و درنهایت 3 حیطه تعریف شد که ضروری است تا یک فارغ‌التحصیل این رشته برمبنای آن تربیت شود. حیطه اول: اهداف آموزشی و یادگیری، حیطه دوم: مهارت‌های مدیریتی و فردی (اهداف رفتاری)، و حیطه سوم: توسعه صلاحیت‌های حرفه‌ای شغلی و کارآفرینی (اهداف مدیریتی). سپس معیارهای ارزش‌یابی جامع و متناسب با این اهداف سه‌گانه تهیه شد. این معیارها به‌عنوان یک چارچوب مفهومی برای طراحی گویه‌ها مورداستفاده قرار گرفتند. پرسش‌نامه اولیه با 44 گویه طراحی شد. از 40 متخصص تقاضا شد تا درمورد رعایت دستور زبان، جمله‌بندی و قرار‌گیری عبارات در جای مناسب نظر خود را اعلام کنند. در مرحله بعد میزان اهمیت هر گویه از نظر 10 متخصص با استفاده از نمرات تأثیر آیتم بررسی شد. برای بررسی روایی محتوایی کمی، از CVR و CVI استفاده شد. میانگین CVI برابر با 0/85، میانگین CVR برابر با 0/76 و نمرات تأثیر همه ‌گویه‌های ابزار بالاتر از 1/5 بود. برای تعیین پایایی چک‌لیست، همسانی درونی و بازآزمایی برآورد شد. درنهایت پرسش‌نامه نهایی شامل 3 حیطه و درمجموع 40 گویه تدوین شد. میزان ضریب آلفای کرونباخ کل پرسش‌نامه نهایی 0/835 به دست آمد [5]. شایان ذکر است که این مطالعه به‌دنبال ارزش‌یابی یک دوره کارورزی از یک مقطع آموزشی است و بنابراین 3 حیطه آموزشی و یادگیری، اهداف رفتاری و اهداف مدیریتی را در نظر گرفته است. ولی در مطالعه ما صلاحیت آزمونگران در انجام یک تست مشاهده‌ای مدنظر بود. البته بخش اختصاصی ابزار ما نیز منطبق بر حیطه آموزشی و یادگیری مطالعه فوق و بخش عمومی نیز منطبق بر اهداف رفتاری در مطالعه فوق است.
مطالعه یقینی و همکاران با هدف طراحی ابزاری برای بررسی صلاحیت بالینی دانشجویان پزشکی در بخش اطفال با تعیین حداقل‌های آموزشی و تعداد مواجهات بالینی دوره کارآموزی اطفال انجام شد. بدین‌منظور ابتدا حداقل‌های آموزشی گروه اطفال رشته پزشکی عمومی از لاگ‌بوک استخراج شد و سپس این حداقل‌های آموزشی با نظرخواهی از اعضای شورای آموزشی گروه اطفال و معاونت آموزشی به‌صورت چک‌لیستی طراحی شد. در مرحله دوم این چک‌لیست در اختیار 27 نفر از اعضای هیئت علمی 3 دانشگاه قرار گرفت و از طریق نظرسنجی میزان مواجهات بالینی موردنیاز تعیین شد. چک‌لیست طراحی‌شده به‌صورت 10 گروه گردش‌های آموزش بالینی شامل: نوزادان، عفونی، گوارش، کلیه، تنفس، خون، اورژانس، عمومی، غدد و درمانگاه و نیز 63 حداقل آموزش بالینی تعیین شد. روایی ظاهری و محتوایی چک‌لیست توسط اعضای هیئت علمی گروه اطفال تأیید شد. برای تأیید پایایی، این چک‌لیست در تعیین میزان مواجهات بالینی استفاده شد و پایایی این چک‌لیست با ضریب آلفای کرونباخ 0/82 تأیید شد [6]. آنچه در این مطالعه جای بحث و بررسی دارد این است که روش تعیین روایی ظاهری و محتوایی و همچنین روش‌های تعیین پایایی با جزئیات مشخص نیست. 
مطالعه صاحب‌الزمانی و همکاران با هدف بررسی روایی و پایایی استفاده از روش مشاهده مستقیم مهارت‌های عملی برای ارزیابی مهارت‌های بالینی دانشجویان پرستاری انجام شد. جهت تعیین روایی محتوایی، فهرستی از پروسیجرهای DOPS رشته پرستاری در اختیار 45 نفر افراد حرفه‌ای شامل اعضای هیئت علمی گروه داخلی جراحی و سرپرستاران باتجربه قرار گرفت و از آنان خواسته شد پروسیجرهای اساسی در پرستاری را رتبه‌بندی کنند. سپس چک‌لیست ارزیابی براساس این رتبه‌بندی تدوین شد. برای همگن شدن قضاوت آزمونگرها، دستورالعمل‌های نمره‌دهی و راهنمای استفاده از چک‌لیست در اختیار آنان قرار گرفت. دانشجویان نیز براساس راهنمای نوشتاری که شامل اهداف پژوهش، نحوه ارزیابی با روش DOPS، نوع پروسیجرها، اسامی آزمونگرها و چک‌لیست ارزیابی بود در یک جلسه توجیهی، توجیه شدند. برای هر دانشجو 8 آزمون در طی 6 ماه انجام شد. برای ارزیابی پایایی بین مشاهده‌گران 20 نفر دانشجو توسط 2 آزمونگر ارزیابی شدند. جهت تعیین پایایی به روش همسانی درونی کل از ضریب آلفای کرونباخ استفاده شد.
همبستگی نمرات DOPS با میانگین نمرات نظری و بالینی دانشجویان به‌ترتیب 0/117 (0/429=p) و 0/376 (0/008=p)به دست آمد. پایایی آزمون توسط ضریب آلفای کرونباخ 0/94 محاسبه شد. کمترین و بیشترین مقدار ضریب همبستگی در پایایی بین ارزیابان به‌ترتیب 0/42 و 0/84 بود که در تمام موارد معنی‌دار (0/001=p) بودند [19]. شایان ذکر است که در این مطالعه برای ارزیابی پایایی بین مشاهده‌گران 20 نفر دانشجو توسط 2 آزمونگر ارزیابی شدند که به نظر می‌رسد تعیین پایایی با همسانی نظر تنها 2 آزمونگر و اینکه آیا این 2 آزمونگر نسبت به یکدیگر بی‌اطلاع بودند یا نه، جای بررسی دارد.
مطالعه جباری و همکاران با هدف طراحی و تعیین روایی و پایایی ابزار ارزیابی صلاحیت بالینی کاردرمانگران انجام شد. در این پژوهش، ابتدا در دوره 2ماهه، براساس مرور متون و چک‌لیست‌ها و ابزارهای موجود در منابع، صلاحیت بالینی تعریف و حیطه‌های آن مشخص شد. سپس براساس مطالعات انجام‌شده و نقش و وظایف کاردرمانی، گویه‌های هر حیطه تدوین و پرسش‌نامه اولیه با 128 گویه تنظیم شد. هیئت خبرگان این پرسش‌نامه را دوبار در 2 جلسه 2ساعته بررسی کردند و پس از اصلاحات و بازبینی به 66 گویه کاهش یافت. سپس به‌منظور بررسی روایی ظاهری و محتوایی به روش لاوشه در اختیار 15 نفر از خبرگان قرار گرفت. در این روش CVR تک‌تک گویه‌ها محاسبه شد و گویه‌هایی که CVR کمتر از 0/49 داشتند حذف شد و پرسش‌نامه از 66 گویه به 54 گویه کاهش یافت. برای تأیید پایایی ابزار روی 30 کاردرمانگر، ضریب همبستگی دو آزمون در فاصله 2 هفته محاسبه شد و آزمون همبستگی پیرسون (0/995=r) پایایی ابزار را تأیید کرد. برای تعیین همبستگی درونی پرسش‌نامه نیز ضریب آلفای کرونباخ محاسبه شد. نقطه برش این پرسش‌نامه 162 محاسبه شد [20]. مطالعه فوق از روش مناسبی در طراحی و تعیین روایی و پایایی استفاده کرده است. 

نتیجه‌گیری
تا کنون ارزیابی عملکرد بالینی آزمونگر تست بیلی فقط با مشاهده فیلم‌های ارسالی توسط آزمونگر و بدون وجود یک ابزار استاندارد انجام گرفته و به‌سبب اعمال سلیقه ارزیاب، نتایج هم‌خوانی قابل‌قبولی نداشته‌اند. بنابراین، این مطالعه برای اولین‌بار به طراحی یک ابزار جامع و معتبر برای سنجش عملکرد بالینی آزمونگر تست بیلی در ایران پرداخت که می‌تواند چالش‌های وزارت بهداشت در ارزیابی آزمونگران بعد از اتمام دوره آموزشی نظری و عملی را مرتفع نماید. همچنین ارزیابی دوره‌ای مربیان و آزمونگران را جهت تأیید صلاحیت بالینی در طول زمان ممکن می‌سازد.
با توجه به مراحل کیفی طراحی ابزار، استفاده از مرور متون گسترده و نظرات خبرگان در طراحی گویه‌ها و با توجه به روایی و پایایی بالایی که در روان‌سنجی مشخص شد، ابزار طراحی‌شده جهت ارزیابی عملکرد بالینی آزمونگر تست بیلی از اعتبار و پایایی لازم برخوردار است.
از محدودیت‌های مطالعه ما، تعداد کم مربیان واجد شرایط به‌عنوان ارزیاب در سطح کشور بود و ما توانستیم از 8 ارزیاب جهت پایایی بین ارزیابان، هم‌خوانی درونی گویه‌ها و میزان توافق بین مشاهده‌گران در 6 گروه سنی استفاده کنیم. با توجه به اینکه هر گروه سنی به بررسی گویه‌هایی خاص که مربوط به همان گروه سنی است می‌پردازد، امکان سنجش هم‌خوانی درونی در بخش اختصاصی امکان‌پذیر نبود.
پیشنهاد می‌شود با توجه به اینکه مهارت‌های ارتباطی به‌عنوان جزئی مهم از خدمات سلامت شناخته شده و توانایی برقراری ارتباط مناسب، پایه و اساس عملکرد بالینی را تشکیل می‌دهد ابزار مناسب جهت ارزیابی مهارت ارتباطی آزمونگر بیلی طراحی شود.

ملاحظات اخلاقی

پیروی از اصول اخلاق پژوهش
قبل از شروع مطالعه، کد اخلاقی به شماره IR.USWR.REC.1400.273 از کمیته اخلاق دانشگاه علوم توانبخشی و سلامت اجتماعی اخذ شد. به‌منظور فیلم‌برداری از کودکان و ارسال آن‌ها به گروه خبرگان، یک رضایت‌نامه کتبی به زبان کاملاً ساده و روان اخذ شد. والدین کودکان در زمینه علت فیلم‌برداری و نحوه استفاده از این فیلم‌ها کاملاً توجیه شدند. والدین اطمینان یافتند که این رضایت کاملاً اختیاری است و در صورت عدم رضایت آن‌ها برای فیلم‌برداری، از خدمات مرکز محروم نخواهند شد. 

حامی مالی
این مطالعه با حمایت مالی اداره سلامت کودکان وزارت محترم بهداشت و درمان انجام شد.

مشارکت نویسندگان
مفهوم‌سازی و روش‌شناسی: همه نویسندگان؛ اعتبارسنجی، تحلیل، تحقیق و بررسی و منابع: دکتر فرین سلیمانی، ناهیده حسنی خیابانی، لیلا یزدی؛ نگارش: همه نویسندگان؛ ویراستاری: دکتر فرین سلیمانی، ناهیده حسنی خیابانی؛ مدیریت پروژه: دکتر فرین سلیمانی.

تعارض منافع
این مطالعه هیچ‌گونه تعارض منافع ندارد.

تشکر و قدردانی
از مرکز تحقیقات توانبخشی اعصاب اطفال و معاونت پژوهشی دانشگاه علوم توانبخشی و سلامت اجتماعی و مربیان و آزمونگران آزمون بیلی دانشگاه‌های علوم‌پزشکی کشور که به‌عنوان گروه خبرگان در طراحی گویه‌های ابزار و ارزیابی فیلم‌ها مشارکت داشتند و همچنین والدین کودکان تقدیر و قدردانی می‌شود.



 

1. Parsa Yekta Z, Ahmadi F, Tabari R. [Factors defined by nurses as influential upon the development of clinical competence (Persian)]. Journal OF Guilan University of Medcical Sciences. 2005; 14(54):9-23. [Link]
2. Carr SJ. Assessing clinical competency in medical senior house officers: How and why should we do it? Postgraduate Medical Journal. 2004; 80(940):63-6. [DOI:10.1136/pmj.2003.011718] [PMID]
3. Shayan S, Rafieyan M, Kazemi M. [Design and develop Logbook student’s nationwide health providers training courses of the entire country (Persian)]. Teb va Tazkie. 2018; 27(2):124-32. [Link]
4. Mansourian A, Shirazian S, Jalili M, Vatanpour M, Arabi LPM. [Checklist development for assessing the dental students' clinical skills in oral and maxillofacial medicine course and comparison with global rating (Persian)]. Journal of Dental Medicine. 2016; 2016; 29(3):169-76. [Link]
5. Mokarami H, Javid AB, Zaroug Hossaini R, Barkhordari A, Gharibi V, Jahangiri M, et al. [Developing and validating tool for assessing the field internship course in the field of occupational health engineering (Persian)]. Iran Occupational Health. 2019; 16(3):58-70. [Link]
6. Yaghini O, Parnia A, Monajemi A, Daryazadeh S. [Designing a tool to assess medical students’ clinical competency in pediatrics (Persian)]. Research in Medical Education. 2018; 10(1):39-47. [DOI:10.29252/rme.10.1.39]
7. Briggs-Gowan MJ, Carter AS, Irwin JR, Wachtel K, Cicchetti DV. The brief infant-toddler social and emotional assessment: Screening for social-emotional problems and delays in competence. Journal of Pediatric Psychology. 2004; 29(2):143-55. [DOI:10.1093/jpepsy/jsh017] [PMID]
8. Halfon N, Regalado M, Sareen H, Inkelas M, Reuland CH, Glascoe FP, et al. Assessing development in the pediatric office. Pediatrics. 2004; 113(6 Suppl):1926-33. [DOI:10.1542/peds.113.S5.1926] [PMID]
9. Rydz D, Srour M, Oskoui M, Marget N, Shiller M, Birnbaum R, et al. Screening for developmental delay in the setting of a community pediatric clinic: A prospective assessment of parent-report questionnaires. Pediatrics. 2006; 118(4):e1178-86. [DOI:10.1542/peds.2006-0466] [PMID]
10. Mayson TA, Harris SR, Bachman CL. Gross motor development of Asian and European children on four motor assessments: A literature review. Pediatric Physical Therapy. 2007; 19(2):148-53.[DOI:10.1097/PEP.0b013e31804a57c1] [PMID]
11. Soleimani F, Dadkhah A. Validity and reliability of Infant Neurological International Battery for detection of gross motor developmental delay in Iran. Child. 2007; 33(3):262-5. [DOI:10.1111/j.1365-2214.2006.00704.x] [PMID]
12. Levine DA. Guiding parents through behavioral issues affecting their child's health: The primary care provider's role. Ethnicity & Disease. 2006; 16(2 Suppl 3):S3-21-8. [PMID]
13. Ristovska L, Jachova Z, Trajkovski V. Early detection of developmental disorders in primary health care. Paediatria Croatica. 2014; 58:8-14. [DOI:10.13112/PC.2014.2]
14. Marks K, Hix-Small H, Clark K, Newman J. Lowering developmental screening thresholds and raising quality improvement for preterm children. Pediatrics. 2009; 123(6):1516-23. [DOI:10.1542/peds.2008-2051] [PMID]
15. King TM, Glascoe FP. Developmental surveillance of infants and young children in pediatric primary care. Current Opinion in Pediatrics. 2003; 15(6):624-9. [DOI:10.1097/00008480-200312000-00014] [PMID]
16. Sand N, Silverstein M, Glascoe FP, Gupta VB, Tonniges TP, O'Connor KG. Pediatricians' reported practices regarding developmental screening: Do guidelines work? Do they help? Pediatrics. 2005; 116(1):174-9. [DOI:10.1542/peds.2004-1809] [PMID]
17. Koo TK, Li MY. A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine. 2016; 15(2):155-63. [DOI:10.1016/j.jcm.2016.02.012] [PMID]
18. McHugh ML. Interrater reliability: The kappa statistic. Biochemia Medica. 2012; 22(3):276-82. [DOI:10.11613/BM.2012.031] [PMID]
19. Sahebalzamani M, Farahani H. [Validity and reliability of direct observation of procedural skills in evaluating the clinical skills of nursing students of Zahedan nursing and midwifery school (Persian)]. Zahedan Journal of Research in Medical Sciences. 2012; 14(2):e93588. [Link]
20. Jabbari A, Hosseini MA, Fatoureh-Chi S, Hosseini A, Farzi M. [Designing a valid & reliable tool for assessing the occupational therapist’s clinical competency (Persian)]. Archives of Rehabilitation. 2014; 14(4):44-9. [Link]