کلیدواژگان: ارزیابی، امتیازدهی، شاخص های ارزیابی، شاخص های کیفی، شاخص های کمّی.

مقدمه

امتیازدهی را می توان بر اساس شاخص های ارزیابی تعریف کرد. از آنجا که ارزیابی به سه بخش تقسیم می شود، امتیازدهی نیز به سه بخش مختلف تقسیم می گردد. در واقع، امتیازدهی به محصولات، کمّی کردن شاخص کیفی موجود در ارزیابی و برایند گرفتن از مجموع شاخص های ارزیابی می باشد.

سه نوع ارزیابی محصول

سه نوع امتیازدهی محصول بر اساس سه نوع ارزیابی

امتیازدهی توسط کاربران

امتیازدهی کاربران، در واقع، نظرات کاربران راجع به محصول تولیدشده می باشد که برای این نوع امتیازدهی، دو روش وجود دارد: نخست، تهیه پرسش نامه ها و در اختیار بخشی از کاربران قراردادن این پرسش نامه ها و دیگر اینکه نهایتاً از روی ارقام و اعدادی که به هرکدام از شاخص های ارزیابی در این امتیازدهی به دست می آید، محصول نمره ای را به خود اختصاص می دهد و اصطلاحاً به این نمره، نمره محصول از نظر کاربران گفته می شود. البته این پرسش نامه را باید به همراه محصول در اختیار تمامی کاربران قرار داد یا از طریق پایگاه پشتیبانی کننده محصول، از نظرات کاربران اطلاع حاصل کرد. در این میان، به نظر می رسد که ارزیابی از طریق پایگاه، به دلیل جامعه آماری بیشتر، نتایج دقیق تری را به دست می دهد.

نکته ای که در این نوع امتیازدهی باید در نظر داشت، شاخص های ارزیابی و پرسش نامه مورد نظر است که برای کاربران تهیه شده است.

شاخص های کاربران برای ارزیابی محصول

برخی از این شاخص ها عبارت اند از:

1. دسترسی آسان

• ♦ شیوه دستیابی شما به نرم افزار: دسترسی به محصولات مرکز تحقیقات کامپیوتری علوم اسلامی، از طریق نمایندگان در داخل و خارج کشور امکان پذیر است. نمایندگان مرکز در بیش از 40 شهر مستقر هستند که کاربران می تواند این محصول را از این نمایندگی ها دریافت کنند. گفتنی است که در یک کار آماری انجام شده در مورد دسترسی خود به محصول خاص مرکز (مثل جامع الأحادیث 3.5) به این صورت بوده اند که 93 کاربر از طریق فروشگاه های عرضه محصولات فرهنگی خرید کرده اند، 24 نفر انها از طریق دوستان و آشنایان با محصول آشنا شده اند، 18کاربر از طریق ادارات و مؤسسات و مراکز علمی به نرم افزار دسترسی داشته اند و با وجود اهمیت اینترنت، کمترین نوع دسترسی به نرم افزار از این طریق بوده است که برابر با 17 نفر می باشد.
• ♦ میزان سهولت دسترسی نرم افزار از طریق اینترنت: برای مورد خاصی که در نمونه گیری اتفاق افتاده، از میان 91 کاربر، تنها 17 نفر آنها از طریق اینترنت به محصول مورد نظر در مرکز دسترسی پیدا کرده اند.
• ♦ میزان سهولت دسترسی از طریق فروشگاه: 93 کاربر از طریق فروشگاه های عرضه محصولات فرهنگی به نرم افزار دسترسی پیدا کرده اند.

2. قیمت مناسب

• ♦ قیمت مناسب از نظر کاربر: بیش از نیمی از کاربران (88 نفر) ، با توجه به فرهنگی و آموزشی بودن هدف مرکز نور و توانایی مالی محدود قشر دانشجو، با سقف قیمت 10000 تومان موافق بوده اند. 50 کاربر، با توجه به نوع نرم افزار (تخصصی و عمومی بودن نرم افزار) قیمت 10000 تا 20000 تومان را مناسب دانستند. فقط 5 کاربر تا 40000 را برای خرید نرم افزار جامع الأحادیث 3.5 مناسب عنوان کرده اند و هیچ یک از کاربران، موافق خرید نرم افزار با قیمت بیش از 40000 تومان نبودند.
• ♦ میزان تخفیف برای خرید نرم افزار: عده بسیاری از کاربران (77 نفر)، هنگام خرید نرم افزار از تخفیف استفاده کرده اند؛ درحالی که 54 کاربر قیمت کامل نرم افزار را پرداخت کردند و 12 کاربر اصلاً نرم افزار را خریداری نکردند؛ یا از دیگران دریافت نمودند و یا از طریق ادارات و مؤسسات از نرم افزار استفاده کردند.

3. امنیت نرم افزار

• ♦ وجود قفل نرم افزاری بر روی نرم افزار: از مجموع 143 پاسخ به سؤال، تعداد 81 کاربر، با وجود قفل نرم افزاری موافق بوده اند و تعداد 62 کاربر با در نظر گرفتن قفل نرم افزاری مخالفت داشته اند.

4. گرافیک و رابط کاربری

• ♦ کیفیت و جذابیت بصری قاب محصول (جعبه) و تناسب آن با موضوع: بیشتر کاربران (83 نفر)، جذابیت بصری نرم افزار و تناسب موضوعی آن را در سطح خوب ارزیابی کرده اند. دیگر کاربران به ترتیب، سطح متوسط و عالی را برای نرم افزار در نظر گرفته اند و تنها 5 کاربر، آن را در سطح ضعیفی ارزیابی نموده اند.
• ♦ میزان تناسب عنوان و توضیحات نرم افزار با کارکردها و قابلیت های آن؛
• ♦ شباهت گرافیکی نرم افزار با محیط ویندوز، مانند: محل قرار گرفتن منوها، گرافیک آیکن ها، کوچک و بزرگ شدن پنجره ها؛
• ♦ تناسب و زیبایی عناصر گرافیکی نرم افزار، مانند: رنگ ها، نوع قلم (فونت)، آیکن ها، چینش ها، چینش صفحه؛
• ♦ میزان رعایت قواعد دستور زبان در منوها، راهنمای نصب و بخش های مختلف نرم افزار.

5. سهولت در استفاده

• ♦ امکان و سهولت تغییرها و ویرایش های دلخواه روی متون و بخش های مختلف نرم افزار؛
• ♦ سهولت کار با نرم افزار در حالت کلی.

6. کاربردپذیری

• ♦ سطح مطلوبیت بخش جست و جو، شامل: جست و جوی ساده، پیشرفته و ترکیبی؛
• ♦ سطح مطلوبیت نتایج جست وجو از لحاظ صحت و ربط موارد بازیابی شده؛
• ♦ قابلیت به کارگیری دستورهای محیط ویندوز در نرم افزار: به کارگیری دستورهای محیط ویندوز در نرم افزار از دیدگاه بیشتر کاربران (72 درصد)، در سطح خوب و عالی گزارش شده و کمتر از 5 درصد کاربران، گزینه ضعیف را در این پرسش علامت زده اند.

7. راه اندازی محصول

• ♦ عدم مواجهه با مشکل در هنگام نصب مجدد یا روی دستگاه های دیگر؛
• ♦ عدم مواجهه با مشکل در هنگام ثبت نرم افزار (Registery) و دریافت کد ثبت اطلاعات نرم افزار از طریق پیامک یا اینترنت.

امتیازدهی توسط کارشناسان تولید پروژه(مدیران و کارشناسان محتوا و کارشناسان قالب)

برخی از شاخص هایی که در این امتیازدهی قرار است، مورد بررسی قرار گیرد، به صورت ذیل می باشد:

این شاخص ها برای هر بخش واضح است و مسئولان هر بخش معمولاً با این شاخص ها آشنایی دارند و سعی می کنند که این شاخص های کیفی رعایت شود؛ هر چند این شاخص ها ممکن است هیچ گاه مستند نشود و به صورت تدوین شده قابل ارائه نباشد؛ ولی کارشناس بخش مورد نظر به طور تجربی یا علمی این شاخص ها را رعایت می کند.

بر آنیم که این شاخص ها را در هر قسمت به شمارش در بیاوریم و به صورت تدوین شده به بخش مورد نظر ارائه دهیم. شاخص های مدون شده و به صورت سند درآمده به کارشناسان این امکان را می دهند که همیشه آنها را مقابل خود بگذارند و از طریق این شاخص ها کار با کیفیت تری ارائه بدهند. سند شاخص ها، انتقال تجربه را به نیروهای تازه کار آسان تر می کند. این سندها قابل ارتقاء خواهد بود؛ یعنی اگر شاخصی از قبل وجود نداشته، ولی در کار می بینیم که اگر این شاخص رعایت شود، خیلی از اشکالات اتفاق نمی افتد، به فهرست شاخص ها اضافه می شود. در واقع، فهرست پویایی از شاخص ها خواهیم داشت.

برخی شاخص های پژوهش

مثال اوّل: رعایت اصول، ضوابط و استانداردهای کتابخانه

محصولات کتابخانه ای مرکز، استانداردهای خاصی دارند که محصولاتی که با این عنوان تولید می شوند، باید آنها را رعایت کنند.

شیوه کتابخانه ای، شیوه ای از سامان دهی اطلاعات است که در آن، متن کتب گوناگون درباره موضوعی خاص، با معیارهایی چون: اعتبار، اهمیت و پُراستناد، یا پُرکاربردبودن، با نظر کارشناسان آن موضوع، انتخاب و عرضه می شود. در این شیوه از سامان دهی اطلاعات، اساس کار بر ارائه حجم بسیار کتاب های گوناگون است و متون عرضه شده در این کتابخانه، بر اساس نمودار درختی ابواب و فصول متن در دسترس کاربر قرار می گیرد. از دیگر ارکان این شیوه، عرضه فهرستی از واژگان صحیح به کاربر است. همچنین در این شیوه، کاربر می تواند دو یا چند واژه را با هم ترکیب و جست و جو کند. این واژگان، به صورت ریشه و مشتق به کاربر عرضه می گردد.

• ♦ استفاده از فناوری های روز؛
• ♦ سهولت دسترسی به اطلاعات؛
• ♦ روش های دسترسی استاندارد؛
• ♦ دسته بندی منابع؛
• ♦ دسته بندی الفبایی؛
• ♦ منابع دست اوّل.

مثال دوم: رعایت اصول، ضوابط و استانداردهای فرمت عمومی

در فرمت عمومی، محتویات یک متن به شیوه های دستی و ماشینی فرمت گذاری می شود. پاره ای از این فرمت ها عبارت اند از: فرمت عناوین کتاب، فرمت شماره صفحه، فرمت پاورقی، فرمت نسخه بدل، فرمت ارتباط متن با ترجمه آن و فرمت اشعار. این نوع فرمت ها، در مرحله تایپ و با توجه به تناسب نوع فرمت با موضوع کتاب اعمال می شوند.

برخی از شاخص های فنی

مثال اوّل: رعایت اصول، ضوابط و استانداردهای گرافیک

به نظر می رسد که واحد گرفیک برای بهتر و با کیفیت تر کردن کار خود، به معیارهای زیر توجه بسیاری دارد و سعی می کند در ارائه طرح های گرافیکی در مرکز، موارد ذیل را رعایت کند:

مثال دوم: رعایت اصول، ضوابط و استانداردهای برنامه نویسی

امتیازدهی توسط کارشناسان بی طرف

با توجه به اینکه کارشناسان بی طرف در امر تولید، استانداردی خاص برای ارزیابی محصول خواهند داشت، شاخص های ارزیابی آنها طبق معیارهایی که برای موبایل و وب و دسکتاپ تعریف می کنند، می باشد و فقط از آنها نتیجه ارزیابی خواسته می شود.

انواع امتیازدهی به محصولات نور

بحث امتیازدهی به محصولات نور، از نظر دو گروه افراد بررسی می شود:

1. امتیازدهی از طریق کارشناسان مرکز نور؛
2. امتیازدهی از طریق کاربران محصولات نور.

پرسش نامه های این دو نوع امتیازدهی، از طریق سامانه شیرپوینتی مرکز قابل دسترس است و خروجی به صورت فایل اکسل نیز که دارای چارت های ارائه گزارشات بر اساس داده های پرسش نامه هاست، در اختیار مدیران قرار می گیرد.

امتیازدهی بر مبنای نوع محیط محصول

همچنین انواع محصولاتی را که مرکز ارائه می دهد، در سه دسته محصولات موبایلی، دسکتاپی و محصولات وبی می باشد که در زیر برای امتیازدهی این محصولات از هم جدا شده اند؛ مثلاً در محصولات وبی، امتیاز دو پایگاه نور مگز و نور لایب با همدیگر فرق خواهد کرد. یا در محصولات دسکتاپی، امتیازدهی به محصولات با قالب قدیم و محصولات با قالب جدید qt فرق خواهد کرد.

امتیازدهی بر مبنای قالب و شیوه ارائه محصول

محققان مرکز تحقیقات کامپیوتری علوم اسلامی شیوه های سامان دهی اطلاعات نرم افزارهای کاربردی را این گونه نام گذارده اند:

- معجم الفاظ (کتابخانه های الکترونیکی)؛
- معجم موضوعی (فرهنگ موضوعی/ چکیده نویسی)؛
- فرمت تخصصی؛
- دانش نامه؛
- درختواره؛
- معجم رجالی.

در روند امتیازدهی به تولیدات نور، قالب یا شیوه ارائه محتوا در آن محصول نیز مد نظر کارشناسان بوده است و در واقع، بین آنها فرق قائل شده اند.

انتخاب شیوه«کتابخانه ای» در روند امتیازدهی

انتخاب نام نرم افزار کتابخانه ای در روند امتیازدهی

در تصویر ذیل، پیشنهاد می شود که کارشناسان هر بخش به امتیازدهی فرآیند خود در پروژه بپردازند.

نمونه شاخص های ارزیابی در روند امتیازدهی

نمودارهای امتیازدهی

پس از بررسی و جمع آوری شاخص های ارزیابی و تبدیل شاخص های کیفی به شاخص های کمّی، نمودارهایی برای روند امتیازدهی و ارزیابی محصولات مرکز خواهیم داشت که همیشه برای مدیران مرکز با ارزش بوده و می توان از روی این نمودارها، تصمیمات لازم و مهم را برای پیشبرد بهتر کارها اتخاذ کرد.

نتیجه گیری

مرکز برای ارتقای کیفیت محصولات خود به خودکنترلی، ارزیابی و تضمین هر فرایند نیاز دارد. در این سیستم امتیازدهی، چون کارشناسان به فرایندی که انجام می دهند، ناچار هستند که امتیاز بدهند، سه گزینه: خودکنترلی، ارزیابی و تضمین فرایند توأم با هم در این سیستم وجود دارد. نتیجه این امتیازدهی به محصول که در چرخه تولید شکل می گیرد، در اختیار مدیران قرار داده می شود. بعد از تضمین کیفیت محصول توسط کارشناسان مرکز، این محصول به بازار عرضه می شود و آنگاه نوبت به ارزیابی کاربران می رسد که آن هم تحت سامانه شیرپوینتی در اختیار کاربران قرار داده می شود. پس از این نیز، موقع امتیازدهی به محصول از طریق مدیران خواهد بود.

سرجمع سه امتیازدهی کارشناسان مرکز، کاربران محصول مرکز و امتیاز مسئولان مرکز، نمره ای می شود که به محصولی که در بازار عرضه شده، داده می شود. گفتنی است که امتیازدهی به محصولات مرکز توسط کاربران، در نسخه بتا انجام می شود.

منابع: