آشنایی با روش تحقیق دلفی و مزایا و محدودیت های آن در پژوهش

به گزارش سایت خبری ساعد نیوز و به نقل از ایران پژوهان: 

چکیده

يكي از روش هاي كسب دانش گروهي مورد استفاده، تكنيك دلفي است (1) كه فرايندي است که داراي ساختار پيش بيني و كمك به تصميم گيري در طي راندهاي پيمايشي، جمع آوري اطلاعات و در نهايت، اجماع گروهي است 2) و  (3در حالي كه اكثر پيمايش ها سعي در پاسخ به سؤال چه هست؟ دارند، دلفي به سؤال چه مي تواند/ چه بايد باشد؟ پاسخ مي دهد(4).  با توجه به اينكه امروزه تكنيك دلفي در تحقيقات آینده پژوهی به شدت مورد توجه و استفاده قرار می گیرد،

تاريخچه دلفي

روش دلفي، از جمله روش‌هاي ذهني ـ شهودي# حوزه‌ي آينده‌نگاري به شمار مي‌آيد. موسسه رند اين روش را در دهه‌ي 1950 در سانتامونيكا (ايالت كاليفرنيا) و در جريان پژوهش در عمليات توسعه داد. نام اين روش برگرفته از معبد اساطيري يونان است. وودنبرگ# (1991) يادآور مي‌شود كه نام «دلفي» را نخستين بار يك استاديار فلسفه در دانشگاه يوسي‌ال‌اي به نام كاپلان# به كار برد. كاپلان اين عبارت را در جريان فعاليتي پژوهشي با همكاري موسسه رند در زمينه‌ي كاربرد پيش‌بيني‌هاي كارشناسي در تصميم‌گيري رايج ساخت. كاپلان و همكاران (1950) با اشاره به «اصل پيش‌گويي مكاشفه‌آميز» اين رويكرد را گونه‌اي از پيش‌بيني غير سفطه‌آميز# مي‌نامند و آن را گزاره‌اي مي‌دانند كه «درستي» يا «نادرستي» آن روشن نيست. بر اين منوال، «دلفي» در روش آيند‌ه‌نگاري مدرن چيزي فراتر از يك نام است.

شكل‌گيري پرستشگاه دلفي [در اساطير يونان باستان] و پيش‌گويي‌هاي مكاشفه‌آميز آن ريشه در زمان‌هايي دورتر از تاريخ مكتوب دارد. باستان‌شناسان و تاريخ‌نگاران به ما كمك كرده‌اند تا اطلاعات گسترده‌اي در زمينه‌ي كاركردها و سودمندي پيش‌گويي‌ها به دست آوريم (پارك/ورمل# 1956). يوناني‌ها و ملت‌هاي ديگر طي هزار سال از تاريخ ثبت شده (خواه به عنوان افراد عادي و گاه به عنوان سفيران رسمي) براي رايزني با پيتيا#، ايزد بانوي مستقر در پرستشگاه دلفي، به اين مكان مي‌آمدند. مردم سخنان اين ايزد بانو را بازتاب قوانين الهي مي‌دانستند. نقش پيتيا، بيان مقصود الهي در چارچوب‌هايي هنجاري براي شكل بخشيدن به رويدادهاي آينده بود؛ او در سخنان و پيش‌گويي‌هاي خود، اراده‌ي خدايان را به شيوه‌اي ساده بيان مي‌كرد و رويدادهاي آينده را نويد مي‌داد.  بدون ترديد، مشاوره‌ها در پرستشگاه دلفي رنگ و بويي ديني داشت و تنها بر گمانه‌زني‌هاي ادراكي درباره‌ي آينده و يا تلاش براي دستيابي عملي به راه‌هاي ميانبر كاميابي استوار نبود. (پارك/ورمل 1956).

1: درخت تبارشناسي دلفي

همان‌گونه كه يادآوري شد، تلاش آغازين در اين عرصه پس از سال 1948 در موسسه رند انجام گرفت. در آن زمان بود كه يافته‌هاي به دست آمده از پيمايش‌هاي كلان دلفي در حوزه‌ي غيرنظامي انتشار يافت (گوردون#/هلمر#، 1964). مدت كوتاهي پس از آن، ژاپني‌ها در كاربست و گسترش اين حوزه پيشرو شدند. ژاپن برنامه‌ي توسعه‌ي علم و فناوري خود را پس از كشورهاي غربي آغاز كرد، اما توانست در اين زمينه به موفقيت‌هاي گسترده‌اي دست يابد. عوامل فراواني كاميابي ژاپن در اين عرصه را رقم زدند كه يكي از اين عوامل، انجام شمار زيادي از برنامه‌هاي آينده‌نگاري در واپسين سال‌هاي دهه‌ي 1960 بود. ژاپني‌ها براي اجراي برنامه‌هاي آينده‌نگاري خود از روش دلفي بهره گرفتند و به همين دليل «آژانس علم و فناوري» ژاپن در سال 1969 پژوهش گسترده‌اي را در زمينه‌ي آينده‌ي علم و فناوري آغاز كرد. اگر چه نخستين مطالعات دلفي ژاپن به درستي نتوانست از نخستين شوك نفتي خبر دهد، حال‌‌ آن كه اين مطالعات درست پيش از شكل‌گيري اين بحران انجام گرفته بود و دستاوردهاي آن انتشار يافته بود، اما با اين حال، ژاپني‌ها اين مطالعات را هر پنج سال يك بار تكرار كردند. ژاپني‌ها در سال 1997، ششمين مطالعه‌ي دلفي خود را به انجام رساندند و يافته‌هاي هفتمين دور از اين مطالعه را در سال 2001 منتشر ساختند و اينك سرگرم انجام هشتمين مطالعه دلفي خود هستند. 

آلماني‌ها نیز شروع به فعالیت های آینده پژوهانه کردند؛ آن‌ها در اين مسير از آثار ايروين# و مارتين# (1984) و نيز تجربيات ژاپني‌ها بهره گرفتند و در چارچوب نخستين برنامه‌ي دلفي خود، با پنجمين دلفي ژاپن همكاري كردند (چولز/كواهارا#، 1994).  فرانسه نيز همان رويكرد آلمان را پيشه كرد. در هيچ يك از اين كشورها كاربست فن دلفي به تنهايي سودمند تلقي نشد. در هلند كسي به سراغ روش دلفي نرفت، اما در وجود آلمان دو رويكرد موازي در آينده‌نگاري گزارش شده است: برخي روش دلفي را به كار مي‌بستند و شمار ديگري نيز اين روش را به كار نبردند. همين حالت در فرانسه نيز حاكم بود. در فرانسه پيمايش دلفي و رويكرد فناوري‌هاي كليدي# به شكل همپا از سوي وزارت‌خانه‌ها و نهادهاي گوناگون كه گاه رقيب يكديگر نيز بودند، دنبال مي‌شد. هم‌چنين در چارچوب همكاري ميان نهادها و سازمان‌هاي ژاپني‌ و آلماني‌، روش‌شناسي مشتركي توسعه يافت كه از آن با نام «دلفي كوچك»# ياد مي‌شود.(5)

تعريف دلفي

فقدان چارچوب نظري، كه به عنوان عمده ترين ضعف اين روش مطرح بوده، موجب گرديد تا برخي دلفي را فن# و ديگران واژه هاي رويكرد# ، پيمايش دلفي#، مطالعه دلفي#، رأي گيري دلفي# ، دلفي مطالعه اجماع# ، روش دلفي#، را براي توصيف مطالعات دلفي صحيح تر بدانند ( 1و 9تا13 ) اين تنوع واژه، تعاريف متعددي از دلفي را به دنبال داشته است كه بعضي عبارتند از:

دلفي رويكرد يا روشي سيستماتيك در تحقيق براي استخراج نظرات از يك گروه متخصصان در مورد يك موضوع يا يك سؤال است (14) و يا رسيدن به اجماع گروهي از طريق يك سري از راندهاي پرسشنامه اي با حفظ گمنامي پاسخ دهندگان، و بازخورد نظرات به اعضاي پانل است (15)؛ درخواست قضاوت هاي حرفه اي از متخصص همگن و مستقل در مورد يك موضوع ويژه در سطح بزرگ جغرافيايي با استفاده از پرسشنامه ها است كه تا زمان دستيابي به اجماع نظرات مداوم تكرار مي شود ( 16و 17 ) و روش مطالعه چند مرحله اي براي گردآوري نظرات در موارد ذهني بودن موضوع و استفاده از پاسخ هاي نوشتاري بجاي گرد هم آوردن يك گروه متخصص است، و هدف اجماع با امكان اظهار نظر آزادانه و تجديد نظر عقايد با تخمين هاي عددي به دست مي آيد(18و19).

انواع دلفي

با توجه به اهمیت و کاربردهای مختلف، انواع گوناگونی از دلفی قابل تمیز است. حتی برخی، گروه های کانونی#   را نیز در زمره انواع دلفی تلقی می کنند یعنی بر این عقیده اند که میزگردها و جلسان طوفان فکری# نیز، به نوعی، دلفی به حساب می آید اما به نظر این نظریات با دلفی هم خوانی ندارد.

وودنبرگ انواع دلفی را به سه گروه تقسیم می کند

دلفی سنتی#- این نوع دلفی که همان روش استفاده شده توسط ابداع گنندگان آن است دو کاربرد دارد: پیش بینی و برآورد شاخص های نا شناخته. از این روش برای تعیین توافق صاحب نظران درباره پیش رفت های آینده در زمینه علم و فن آوری نیز استفاده می شود.

دلفی سیاسی#- این نوع دلفی در پی رسیدن به توافق نیست، بلکه در پی رسیدن به مهم ترین دیدگاه های مخالف در زمینه یک موضوع سیاسی روز است. هدف اصلی این نوع دلفی دست یابی به طیف مواضع و دیدگاه های موجود در اجتماع است.

دلفی تصمیم گیری#:  این دلفی برای دست یابی به تصمیمات مشترک گروهی از افراد متفاوت در مورد مسئله خاص به کار می آید. معمولا موضوع تصمیم گیری پیچیده، چند بعدی و فرآیند ارتباط ساختاری یک گروه متخصص در حل صحیح و ریشه ای آن موثر است.

اشتروس و زیگلر (1975) نیز دلفی را به سه گونه می دانند

دلفی عددی - این نوع دلفی برآوردهای عددی تاریخ ها، مقادیر یا ارزش ها را استخراج می کند. برای مثال اینکه جمعیت جهان در سال 2100 چه قدر و چگونه است و یا در چه سالی انسان خواهد توانست به مریخ سفر کند، این نوع دلفی همانند طبقه بندی سنتی در دیدگاه وودنبرگ است.

دلفی سیاست گذاری:  این روش به صورت کلامی انجام می گیرد و برآورد عددی در ان مد نظر نیست. این روش تا حدودی مشابه دلفی سیاسی وودنبرگ است.

دلفی تاریخی: در این روش هدف آزمون نظام دار از دیدگاه های بزرگ گذشته است (به ویژه فیلسوفان سیاسی) و کاربرد دیدگاه ها . منطق دانان برای حل مشکلات جوامع امروزی است. در این روش نیز چندین پنل تشکیل می شود و از افراد صاحب نظر درباره دیدگاه آن فیلسوف دوت به عمل می آید و پرسش های در مورددیدگاه فیلسوفی مانند افلاطون در خصوص یک موضوع جدید مانند علل افزایش جرم و جنایت طرح می شود.

هر یک از انواع دلفی کاربردی خاص دارد. از روش دلفی سنتی یا عددی، بیش تر در زمینه های علم و تکنولوژی و پیش بینی یپش رفت های آینده استفاده می شود. دلفی سیاسی عمدتا در حوزه ترمیم وضعیت آتی حزب ها و دولت ها و تعیین دیدگاه ها سیاسی معرض و قدرتمند به ویژه شناسایی گروه های فشار به کار می رود. دلفی تصمیم گیری بیشتر در زمینه مسائل روز و توسط رسانه های گروهی برای تاثیرگزاری کارایی داردو در نهایت دلفی تاریخی در زمینه هایی مانند تاریخ سیاسی، فلسفه آموزش و پرورش کاربرد فراوان دارد.

اهداف دلفی

همان طور که آمد، این روش ابزاری است برای تحقق هدف های زیر:

الف: هدف های عام:

استخراج استنتاج و تجمع دانسته های آکادمیک و اجرایی، و تحلیل آن، آن  چنان که راهنمای عمل برای مجریان گردد و امکان حراست از آن در حوزه های آکادمیک فراهم آید.

ب: هدف های خاص:

شناخت نظرات و عقاید کارشناسان در هر رشته از دانش بشری

شناخت تحرک اندیشه و جا به جایی آن با توجه به برخورد اندیشه ها و  دلایل

شناخت محورها با خطوط اصلی هر مبحث

تعیین اولویت ها با توجه به توزیع چندگانه محورهای مورد بحث (6)

موهاپاترا، بورا و ساهو پیشنهاد می کنند: ( یک دلفی کیفی، باید معطوف به 4 طبقه موضوعی وسیع باشد:

    موضوعات هنجاری

    موضوعات روایتی#

    موضوعات پیش بینی

        پیش بینی رخداد رویدادهای جدید

        پیش بینی مسائل ارزشی و روند تحول شاخص های اصلی

    مسائل پیشنهادی یا توصیه ای مانند:

        ایجاد مدل های کلی و گسترش آن

        تعبیه سیاست های جدید.(6)

اهداف و كاربردهاي دلفي

هدف اصلي دلفي، پيش بيني آينده بود (26) اما در زمينه هاي تصميم گيري و افزايش اثربخشي آن، قضاوت، تسهيل حل مسأله، نيازسنجي، هدف گذاري، كمك به برنامه ريزي، تعيين اولويت، پيش بيني آينده، خلاقيت، سازمان دهي ارتباطات گروهي، جمع آوري گروهي اطلاعات، آموزش گروه پاسخ دهنده، تعيين سياست ها، تخصصيص منابع و اجماع يا توافق گروهي نيز به كار مي رود ( 21،16،7 و 27 تا 29 ) همچنين به عنوان روش تحقيق : تحقيق كمي در مطالعات توصيفي، روش تحقيق كيفي و تلفيقي ذكر شده است (4،19و30) در منابع به مصاحبه دلفي به عنوان نوعي مصاحبه اتنوگرافيك نيز اشاره شده است. (31)

شرايط كاربرد دلفي

مهم ترين شرايط مورد نياز براي كاربرد دلفي: نياز به قضاوت متخصصان و نظرات گروه وسيع، توافق گروهي در دستيابي به نتايج، وجود مشكل پيچيده، بزرگ و بين رشته اي و عدم توافق يا ناكامل بودن دانش، در دسترس بودن متخصصين با تجربه و متخصص، از نظر جغرافيايي پراكنده، لزوم گمنامي در جمع آوري داده ها، عدم محدوديت زماني و عدم وجود روش هزينه -اثربخش ديگري است (32 ،21،7،4 و 33)

اجزاي اصلي دلفي

اجزاي اصلي دلفي شامل تكرار يا بازگويي پرسشنامه#، متخصصين، بازخورد كنترل شده، گمنامي، آناليز نتايج، اجماع، زمان و تيم هماهنگ كننده است ( 34،20،9،7،4،3 و 35) كه در زير هر يك به اختصار شرح داده مي شود:

بازگويي يا تكرار

منظور تكرار يكسري راندها به صورت فرايندي، سيستماتيك و نوشتاري به وسيله پرسشنامه و با هدف روشن تا اجماع نظرات است (34) كه متخصصين حداقل دو بار در مورد سؤال مشابه نظر داده (7) و با دريافت اطلاعات از سايرين، امكان تجديد نظردر پاسخ هاي خود را دارند كه باعث توسعه كار گروهي بدون آگاهي از وجود سايرين مي شود (28) و در اصل، از تأثير منفي نفوذ شخصيت و وضعيت شركت كنندگان در پاسخ هاي سايرين اجتناب مي گردد(22).  از نظر تعداد راندها، مقالات 2 تا 10 راند را گزارش داده اند(23). اما دلفي كلاسيك در برگيرنده چهار راند بوده كه محققين معمولاً براي دستيابي به اهداف تحقيق خود، آن را به دو تا سه راند كوتاه مي نمايند (4، 37) در هر صورت، تصميم گيري در مورد تعداد راندها تا حد زيادي عملي يا تجربي بوده و بستگي به زمان در دسترس و نوع سؤال آغازين دارد (گرچه با افزايش راندها، صحت افزايش يافته اما اغلب بعد از سه راند، خستگي ايجاد مي كند و معمولاً نتايج جديد و مفيدي به دست نمي آيد همچنين شيوه تكرار در طي راندها نوشتاري و بطور معمول مداد و كاغذي، از طريق پست معمولي و يا پست الكترونيك و دورنگار است (24)

متخصصين

شركت كنندگان دلفي متخصصين يا خبرگان يا پانليست ها مي باشند ( 4). آنها به چهار خصوصيت: دانش و تجربه در موضوع، تمايل، زمان كافي براي شركت و مهارت هاي ارتباطي مؤثر نياز دارند (13،7و 36) و پارامترهاي كليدي مطالعه نيز صلاحيت پانليست ها، اندازه پانل و روش انتخاب آنها است. (4)

صلاحيت پانليست ها

شناسايي متخصصين، نكته مهمي در دلفي بوده چنان كه دستيابي به اهداف، وابسته به انتخاب دقيق شركت كنندگان است(21).  دلفي تمركز بر استخراج نظرات از متخصصين در زمان كوتاه داشته و نتايج وابسته به تخصص افراد در دانش مورد نظر، كيفيت و صحت پاسخ ها، و همكاري و درگيري مداوم آنها در دوره مطالعه است ( 5و7).  به عبارتي، موفقيت دلفي در رابطه با انتخاب نمونه ها است (37). متخصص دلفي بايد دانش كافي در زمينه موضوع مورد نظر داشته باشد، در بحث درگير و بر نتايج فرايند تأثير بگذارد، با اين وجود، افراد غير متخصصص و علاقمند نيز شامل مي شوند( 3و 20 ) پاسخ دهنده ها بايد نسبتاً بي طرف، و اطلاعات كسب شده منعكس كننده دانش و درك آنها باشد. (4،15) علاوه بر توانايي، علاقه و تعهد شركت كنندگان به موضوع، درگيرشدن مداوم در كليه راندها نيز مورد نيازاست ( 2و 20) هرچند كه دلفي با فراهم سازي بحث در محدوده محترمانه و ارائه نظرات متفاوت اعضا به هم موجب علاقمندي و درگيري خواهد شد (4).

تعداد متخصصين

هيچ قانون قوي و صريحي در مورد نحوه انتخاب و تعداد متخصصين وجود ندارد و تعداد آنها وابسته به فاكتورهاي: هموژن يا هتروژن بودن نمونه، هدف دلفي يا وسعت مشكل، كيفيت تصميم، توانايي تيم تحقيق در اداره مطالعه، اعتبار داخلي و خارجي، زمان جمع آوري داده  ها و منابع در دسترس، دامنه مسأله و پذيرش پاسخ است ( 37،20،7،4 و 38 ) تعداد شركت كنندگان معمولاً كمتر از 50 نفر و اكثراً 15 تا 20 نفر بوده است . هرچند در مقالات تعداد 10 تا بيشتر از 2000 نفر گزارش را نيز گزارش نموده اند ( 7،4  و 39 ) اما در گروه هاي هموژن معمولاً 15 -10 نفر كافي است ( 34 ). در دلفي معمولا از نمونه هاي همگن براي به دست آوردن طيف گسترده نظرات، پاسخ هاي با كيفيت و راه حل هاي قابل پذيرش استفاده مي شود. اين نمونه گيري موجب افزايش حجم نمونه، مشكلات جمع آوري داده ها و در نهايت، پيچيدگي رسيدن به اجماع، اجراي آناليز و بازبيني نتايج مي شود (21،18 و 40)، هرچند كه با حجم نمونه بزرگتر تعداد قضاو ت ها افزايش و تركيب آنها اعتماد را افزايش مي دهد.( 17 و 21 ) بعضي محققين متذكر مي شوند معمولا 30 نفر براي ارائه اطلاعات كافي است و با افزايش آنها پاسخ ها تكراري شده و اطلاعات جديدي اضافه نمي شود (4و 7)، اما بعضي ديگر مي نويسند شواهد تجربي كمي در مورد اثر تعداد شركت كنندگان بر اعتبار و اعتماد فرايند اجماع در دسترس است. (4و 24 ) در شناسايي و انتخاب متخصصين از روش هاي ، مختلف از قبيل فرايند نامگذاري#(41)، قضاوت و تصميم گيري مديريت اصلي پروژه، موقعيت سازماني افراد و مرور نويسندگان مقالات استفاده مي شود كه دو مورد اخير نامناسب هستند. ( 7و 17).

نمونه گيري

در اكثريت موارد، نمونه گيري مبتني بر هدف استفاده شده 21) و (34 ، اما در صورت عدم شناسايي متخصصين، نمونه گيري گلوله برفي نيز بكار مي رود . اگر متخصصين شناخته شده و زياد باشند، از نمونه گيري تصادفي استفاده مي گردد(4)  بعضي مقالات، دلفي را از نظر عدم نمونه گيري تصادفي نقد نموده، اما نماينده بودن نمونه ها اهميت نداشته، بلكه كيفيت پانليست ها مهم تر از تعدادآنها است (4،22)

پرسشنامه

دلفي يكسري از راندهاي پيمايشي يا پرسشنامه اي بوده كه با پرسشنامه اوليه، پرسشنامه راندهاي بعدي را نيز شكل مي دهد(35)  و بايد در مرحله طراحي تحقيق در مورد آن تصميم گرفته شود(21).  در مورد سؤال اوليه پيوستاري از سؤالات متمركز تا وسيع (معمولاً وسيع و بازپاسخ) بكار رفته است. اما در مواردي كه راهنمايي شركت كنندگان نسبت به موضوع خاص هدف باشد سؤالات متمركز و داراي ساختار استفاده مي گردد. ( 7و 36)

بازخورد كنترل شده

بازخورد، به معني فرصت بازنگري نظرات خود و ارزشيابي نظرات سايرين توسط متخصصين است كه جز و مهم حركت به سمت اجماع است (8). بنابراين، شركت كنندگان تشويق مي شوند و اجازه دارند تا قضاوت هايشان در راند اول يا راندهاي قبلي را دوباره بررسي نمايند اما تبادل اطلاعات بين متخصصين آزاد نيست.  (4و 17)

آناليز نتايج

در دلفي، اطلاعات كيفي و كمي جمع آوري شده ولي متأسفانه روش مورد استفاده براي آناليز و چگونگي مديريت اطلاعات توليد شده تعريف نگرديده است. نقصان راهنما منجر به تنوع رويكرد و تفسير گزارش ها به طرق مختلف شده كه در نتيجه، انسجام و پيوستگي روش را تحت تأثير قرار مي دهد (7و 23) روش هاي آناليز براساس هدف دلفي، ساختار راندها، نوع سؤالات و تعداد شركت كنندگان تعيين مي شود. (22 ،4 و 34 ) آمارهاي اصلي استفاده شده در مطالعات دلفي انداز ه هاي مركزي (ميانگين، ميانه و نما) و شاخص پراكندگي (انحراف معيار و محدوده ميان چاركي)  است. (  4،2 و 24 ) كه استفاده از ميانه و نما در اين ميان مطلوب تر مي باشد، هرچند ميانگين نيز قابل كاربرد است( 34 ).  در بعضي مقالات استفاده از ميانه براي پرسشنامه هاي طراحي شده بر اساس مقياس ليكرت به شدت توصيه شده است (17). استفاده از نما نيز براي

گزارش داده هاي دلفي مناسب و توصيه شده چرا كه فرايند دلفي تمايل به نمايش همگرايي يا تقارب داشته كه خود يك نقطه منفرد است. بنابراين، استفاده از نتايج اطراف يك نقطه يا دو نقطه مناسب است و اصولاً شايد  استفاده از ميانگين و ميانه گمراه كننده باشد ( 4). در كل، بطور معمول، براي آناليز نتايج دلفي، در اولين راند، آناليز محتوي براي شناسايي تم هاي اصلي در پرسشنامه بدون ساختار اوليه انجام مي گيرد كه نتايج آن پرسشنامه بدون ساختار را به پرسشنام هاي با ساختار تبديل نموده، اساس راندهاي بعدي را تشكيل مي دهد. در دومين راند، آغاز بكارگيري روش ها كمي است كه تكنيك رتبه بندي و درجه بندي (ميانه و چارك ها)  استفاده مي شود و در سومين راند و راندهاي متعاقب، شا خص ها ي مركزي و پراكندگي بكار مي روند (7و 10)

اجماع

منظور از اجماع، رسيدن به اتفاق نظر در مورد يك ايده و گاه تلاش براي مشخص ساختن تفاوت ها است .اجماع به معني يافتن پاسخ صحيح نيست، بلكه صرفاً توافق شركت كنندگان در يك سطح خاص در موضوع است. (  2و 4)

البته دستيابي به توافق صد درصد امكان پذير نيست، چرا كه زمينه سياسي، اجتماعي، اقتصادي و علمي افراد متفاوت است(7).  همچنين اين روش جايگزيني براي مرور علمي گزارشات يا مقالات منتشر شده نيست. (37)  معيارهاي نشان دهنده اجماع درصد آيتم ها (رايج ترين)، ثبات پاسخ ها و تفسير بر مبناي نظر متخصصين است. (19،17،1 و 39)

اكثريت مقالات، جنس و نوع معيار مورد استفاده در تعريف و تعيين اجماع را بر اساس تفسير نمون ه ها مي دانند و اساساً زماني در مورد اجماع تصميم گيري شده كه درصد مشخصي از آرا درون سطح خاصي قرار گيرد (4)، هرچند برخي استفاده از درصد را ناكافي دانسته و كاربرد شقوق معتبرتري را براي تعيين ثبات پاسخ ها طي راندها توصيه مي نمايند (7و 37) همچنين سطح استانداردي براي اجماع وجود ندارد و بعضي مطالعات در نشان دادن اجماع ضعيف هستند. در نتايج مطالعات محدوده متفاوتي از سطح، اجماع 51 تا 100 درصد گزارش شده است. (22،7 و 23)

گمنامي شركت كنندگان

در دلفي، اطلاعات بدون تماس فيزيكي منتقل مي شود و شركت كنندگان، ساير افراد درگير در مطالعه را نمي شناسند و يا حداقل پاسخ هاي آنها گمنام است (34). گمنامي به هر عضو پانل فرصت برابر مي دهد تا نظرات خود را بيان و ايده ها را بدون فشار رواني و شناسايي به وسيله ساير اعضا ارائه كند، كه تسهيل كننده تحقيقات گويي و پاسخ هاي باز بوده و موجب كسب بينش و دانش كافي در تحقيق مي شود ( 6،5  و 18) در مواردي ممكن است افراد همديگر را شناخته اما در هر صورت، به پاسخ هاي يكديگر بطور مشخص دسترسي ندارند (7). به نظر مي رسد احتمال گمنامي كامل نيست، چرا كه محقق، افراد پاسخ دهنده اصلي را مي شناسد. بنابراين، گاه واژه شبه گمنامی# در دلفي استفاده مي شود (4). حفظ حقوق شركت كنندگان به آنها رخصت مي دهند تا در آخرين فرم تحقيق نامشان را به عنوان همكار بنويسند. (17)

زمان

اجراي دلفي زمان بر است. زمان هاي مورد نياز دلفي شامل زمان هماهنگ كردن (سازمان دهي، درخواست و دريافت اطلاعات) ، فكركردن، نوشتن و ارسال به متخصصين است (7و 31) در مطالعات، زمان هاي متفاوتي گزارش شده است ( 8،4 و 20 ) اما استفاده از تكنولوژي الكترونيك فرصتي است كه با امتيازهاي ذخيره سازي، پردازش و توانايي انتقال پرسرعت، حفظ گمنامي پاسخ دهندگان و پتانسيل بازخورد سريع از طريق رايانه و اينترنت سريع تر و آسانتر انجام مي شود. (20،2 و42)

فرايند دلفي

همان طور كه قبلاً اشاره شد ، دلفي در برگيرنده يكسري از راندها است و دلفي كلاسيك معمولاً شامل چهار راند مي باشد كه بطور معمول به سه راند تعديل مي گردد (4و10) بنابراين، فرايند دلفي را مي توان به صورت زير در نظر گرفت:

فعاليت قبل از شروع؛

راند اول؛

راند دوم؛

راند سوم؛

تصميم و تصويب

فعاليت قبل از شروع

فعاليت هاي قبل از شروع شامل تكوين سؤال تحقيق و پيش آزمون براي مناسب بودن كلمات از قبيل ابهام و عدم وضوح است كه پايلوت بايد در خارج از جايگاه پژوهش و بخصوص در صورت ب يتجربه بودن محقق براي مشخص سازي ابهامات و برآورد زمان تخميني صورت گيرد (4،3 و14) البته محققين ممكن است در ابتدا و يا هر مرحله پرسشنامه را پيش آزمون يا پايلوت كنند تا سؤالات روشن و تمركز سؤالات بر هدف تحقيق حفظ گردد. (8) هچنين با افراد شركت كننده تماس برقرار گردد كه نيازمند توجه به موارد: عرض ادب و احترام، معرفي فرم، ارائه هدف و معرفي مركز يا شخص انجام دهنده، علت انتخاب، پاسخ دادن به چند سؤال يا پرسشنامه، زمان مورد نياز، نحوه دريافت پرسشنامه، نحوه دريافت نتايج، تمايل به شركت و تشكر است (17)

راند اول

در دلفي كلاسيك ، اولين پرسشنامه به صورت بدون ساختار يا بازپاسخ ارسال مي گردد كه به عنوان استراتژي زايش ايده ها عمل نموده و هدف آن آشكارسازي كليه  موضوعات مرتبط با عنوان تحت مطالعه است.(30، 34)

هر يك از متخصصين درخواست مي شود تا شخصاً طوفان مغزي برقرار كند، هر نوع ايده و نظر خود را آزادانه مطرح نمايد، و فهرست موضوعات مورد نظر خود را بطور مختصر و بدون نام برگرداند (31). نيازي به توسعه كامل ايده ها نيست و تلاشي براي ارزيابي يا قضاوت نظرات صورت نمي گيرد. (26،4 و 43) در اين مرحله، تمام پاسخ هاي مرتبط تا حد امكان جمع آوري شده، چرا كه بقيه مراحل بر اساس مرحله اول شكل مي گيرد(28 ).  پس از جمع آوري پرسشنامه هاي برگشتي، پاسخ ها سازماندهي، نظرات مشابه تركيب، گروه بندي و موضوعات تكراري و حاشيه حذف مي شود و تا حد امكان پاسخ ها كوتاه مي گردد ( 36و 44 ) آناليز پاسخ هاي اولين راند بر اساس پارادايم تحقيق (كدهاي كيفي و يا خلاصه ها ي آماري) صورت مي گيرد( 7).  نتيجه نهايي، مشخص شدن تم ها و شناسايي عناوين است كه محقق آن را تبديل به پرسشنامه داراي ساختاري مي نمايد كه به عنوان ابزار راند دوم مورد استفاده قرار مي گيرد. ( 20و 40) نكته مهم اين كه هرچند سؤالات بازپاسخ روشي قوي در جمع آوري اطلاعات هستند، اما اگر اطلاعات پايه در زمينه موضوع وجود داشته باشد، از پرسشنامه نيمه ساختاري يا داراي ساختار بر اساس مطالعات قبلي استفاده مي شود.(7)

راند دوم

از ر اند دوم به بعد، اغلب پرسشنامه داراي ساختار استفاده شده و از افراد مشابه در راند اول خواسته مي شود تا هر عنوان را با استفاده از مقياس ليكرت رتبه بندي، و به عبارتي، كميت پذير نمايند (3و 45) در اينجا موارد توافق و عدم توافق مشخص مي شود و فضايي براي شناسايي ايده هاي جديد، تصحيح، تفسير، حذف و توضيح قدرت و ضعف آنها به وجود مي آيد ( 24 ) و حتي در بعضي موارد، از شركت كنندگان خواسته مي شود تا استدلال و  دليل اولويت بندي خود بين ايتم ها را بيان نمايند(7)  در اين راند، انگيزه اعضاي پانل به شركت بيشتر مي گردد چر ا كه آنها باز خورد پاسخ هاي خود را دريافت مي كنند و مشتاق به تعيين كيفيت پاسخ هاي همكاران خود هستند. به عبارتي، انگيزه در اعضاي پانل منجر به شركت فعال آنها در توسعه ابزار و يا برنامه مي شود كه امتياز مهم دلفي است (4و 21) پس از جمع آوري پرسشنامه دوم، آناليز و خلاصه آماري (از قبيل چارك و ميانه) و يا تم ها و رتبه بندي تهيه مي گردد (32 و 46) نتيجه آن آغاز شكل گيري همگرايي نظرات بين شرك كنندگان است. (4)

راند سوم

در اين مرحله ، از شركت كنندگان درخواست مي شود تا پاسخ ها را مجدداً مرور نموده در صورت نياز در نظرات و قضاو ت هاي خود ت جديد نظر كرده و دلايل خود را در موارد عدم اجماع ذكر نمايند و با در نظر گرفتن ميانگين و ميانه نمرات هر عنوان، اهميت آن را درجه بندي نمايند(22).  در اينجا نيز رتبه بندي نظرات انجام شده، پيش بيني هاي جديد ارائه مي شود و خلاصه آماري پاسخ ها تهيه مي گردد( 4). بطور معمول، از اين راند به بعد، اعضا پاسخ هاي خود و سايرين را دوباره ملاحظه نموده و فرايند تا زمان عدم دستيابي به ايده جديد و شناسايي ضعف ها و قوت هاي همه نظرات تكرار مي گردد(18).  البته تعداد راندهاي بعدي با توجه به زمان، هزينه و احتمال خستگي شركت كنندگان در نظر گرفته مي شود( 4).  در صورت لزوم، نامه هاي يادآوري در هر راند ارسال مي شود و بازرسي مداوم در سرتاسر فرايند دلفي صورت خواهدگرفت. (23)

راند چهارم

در راند چهارم كه اغلب آخرين راند مي باشد، ليست آيتم هاي باقيمانده، رتبه بندي ها، نظرات اقليت و موارد اجماع بين پانليست ها توزيع مي شود و آخرين فرصت را براي شركت كنندگان فراهم مي كند تا در نظرات خود  تجديد نظر كنند (3و 37)

تصميم و تصويب

در اين قسمت نتايج نهايي تهيه و منتشر و متخصصين  در نتايج سهيم مي گردند. (17)

تعريف روش دلفي فازي

روش سنتي دلفي، هميشه از همگرايي پايين نظرات متخصصان، هزينه اجراي بالا و احتمال حذف نظرات برخي از افراد رنج برده است. موري و همكاران براي بهبود روش دلفي سنتي، مفهوم يكپارچه سازي  روش دلفي سنتي با تئوري فازي را در سال 1985 ارائه دادند  ( 27)ايشيكاوا و همكاران كاربرد تئوري فازي را در روش دلفي بيش تر معرفي كردند و الگوريتم يكپارچه سازي فازي را براي پيش بيني ضريب نفوذ آتي كامپيوترها در سازمان ها توسعه دادند(11 ) پس از آنها سو و يانگ عدد فازي مثلثي را براي دربرگرفتن نظرات متخصصان و ايجاد روش دلفي فازي به كار بردند. مقادير بيشينه و كمينه نظرات متخصصان به عنوان نقاط مرزي اعداد مثلثي فازي در نظر گرفته شد و ميانگين هندسي به عنوان درجه عضويت اعداد مثلثي فازي و براي حذف اثر نقاط مرزي به كار برده شد.( 28 ) مزيت روش ابداع شده به وسيله سو و يانگ در سادگي آن مي باشد. زيرا نظرات متخصصان در يك مرحله جمع آوري مي شوند. ويژگي هاي دو روش دلفي سنتي و دلفي فازي در جدول 4 با هم مقايسه شده اند.

فرايند روش دلفي فازي

• جمع آوري نظرات متخصصان با استفاده از پرسشنامه ها به شرح زير :

پرسشنامه طراحي شده از طيف ليكرت پنج نقطه اي كه در آن نقاط بالاتر عملكرد بهتري را نشان مي دهند، استفاده مي كند. پرسشنامه ب دو بخش تقسيم مي شود. بخش اول به تعيين عملكرد گزينه ايدئال در هر معيار و بخش دوم به تعيين عملكرد هر گزينه در هر معيار در هر سناريو مي پردازد.

• خلق عدد فازي مثلثي  tAj براي عملكرد هر سيستم در هر معيار به شرح زير:

 (LAj,MAj,UAj)= tAj

که در آن

به ازای هر j داشته باشیم LAj=min (XAj)

به ازای هر j داشته باشیم UAj = (Xij)

به ازای هرj داشته باشیم MAj=

می باشند، اندیس I  خبره ام و اندیس j  به معیار j  ام اشاره دارد، به طوری که

XAj : مقدار ارزیابی خبره i ام از عملکرد سیستم A در معیارj   ام

LAj: حداقل مقدار ارزیابی ها برای عملکرد سیستم A در معیار i ام

UAj: حداکثر مقدار ارزیابی ها برای عملکرد سیستم A در معیار j ام

MAj: میانگین هندسی MAj در عدد فازی مثلثی مربوط به هر سیستم برای اشاره به اجماع گروه متخصصان در مورد عملکرد آن سیستم در هر معیار به کار رفته است.

مقايسه روش هاي تحقيق سنتي و مطالعه دلفي(26)

معيار ارزيابي

تحقيق سنتي

مطالعه دلفي

شرح رويه        

پس از طراحي پرسش نامه و اعتبارسنجي آن، مورد مطالعه انتخاب شده و نمونه تصادفي از آن انتخاب مي شود. بخشي از پاسخ دهندگان پرسشنامه را پر مي كنند. سپس پاسخ ها تحليل شده و سؤال هاي تحقيق بررسي مي شوند.

پس از طراحي پرسشنامه و اعتبارسنجي آن، گروه مناسب از خبرگان انتخاب شده و تحقيق انجام مي شود. پاسخ ها تحليل شده و تحقيق ديگري بر پايه پاسخ ها به تحقيق اوليه طراحي مي شود. اين فرايند تكراري مي شود تا پاسخ دهندگان به درجه اي از اجماع برسند.

قابليت نمايش نمونه

با استفاده از تكنيك هاي آماري، محققان به صورت تصادفي نمونه نماينده جمعيت را انتخاب مي كنند.

يك پانل مجازي از خبرگان براي پاسخ گويي به سؤال ها با عدم قطعيت بالا ايجاد مي شود. سؤال هايي كه ممكن است نمونه نماينده جمعيت، دانش كافي در مورد آن نداشته باشند.

اندازه نمونه براي قوت آماري

جهت تعميم نتايج به يك جمعيت بزرگ تر، اندازه نمونه بايد به اندازه كافي بزرگ باشد.

تعداد افراد در گروه دلفي يه قدرت آماري وابسته نيست. بلكه متناسب با پويايي گروه براي رسيدن به اجماع مي باشد. ادبيات 10 تا 18 خبره را در يك پانل دلفي توصيه مي كند.

پاسخ گويي فردي در مقابل گروهي     

محققان ميانگين پاسخ هاي افراد را به عنوان ميانگين پاسخ براي نمونه براي تعميم به جمعيت در نظر مي گيرند.

مطالعات نشان داده اند كه در سؤال هايي كه به قضاوت متخصص نيازمندند ميانگين پاسخ هاي افراد نامرغوب تر از ميانگين توليد شده به وسيله فرايندهاي تصميم گروهي است و روش دلفي اين نامرغوبي ار تحمل مي كند.

قابلبت اعتماد و بازنگري پاسخ

محققان با پيش آزمايش و آزمايش مجدد از قابليت اعتماد آزمايش و آزمايش مجدد اطمينان حاصل مي يابند

به دليل انتظار محققان از پاسخ دهندگان پاسخ ها مرورد مي شوند در اين صورت قابليت اعتماد آزمايش و آطزمايش مجدد مطرح نيست

اعتبار ساخت

با استفاده از تحقيق و پيش آزمايش از اعتبار ساخت اطمينان حاصل مي شود تفسير و طبقه بندي محققان از متغير ها را اعتبار سنجي كند

ناشناس بودن

پاسخ دهندگان نسبت به هم و نسبت به محقق ناشناس اند

پاسخ دهندگان نسبت به هم نشناس ولي براي محقق شناس اند

موارد بدون پاسخ

براي اطمينان از اين كه نمونه، نماينده جمعيت است احتاال اريبي عدم پاسخ محاسبه مي شود

احتمال عدم پاسخ بسيار پايين است

غني بودن داده ها

غني بودن داده به شكل و عمق سؤال ها و احتمال پيگيري آن وابسته است

به دليل تكرارهاي چندگانه و مرور پاسخ ها، از داده هاي غني تري برخوردارند.

تعداد مراحل مورد نياز

پس از چندين مرحله بررسي، متخصصان در مورد يك موضوع به اجماع مي رسند.      

با يك مرحله بررسي، همه نظرات پوشش داده مي شوند.

لزوم انعطاف پذيري

خبرگان براي رسيدن به ميانگين نظرات ديگران،

نظرات خود را تغيير مي دهند. در غير اين صورت ممكن است حذف شوند.    

عقايد همه خبرگان محترم است و درجه عضويت متفاوتي براي هر اجماع محتمل در نظر گرفته مي شود.

هزينه و زمان

نيازمند صرف زمان و هزينه بالايي است و ابهام فرايند قابل حذف نيست.       

نياز به صرف زمان و هزينه بالا ندارد و ابهام فرايند حذف خواهد گرديد.

مزاياي دلفي

دلفي روشي ارزان، چندكاره، عيني، بدون تهديد و آسان براي شناسايي و فهميدن است (18 و 22) و با استفاده گسترده از نظرات، اجماع قوي و مستحكم از نظرات، بخصوص در موارد عدم وضوح و كمبود شواهد تجربي، ارائه مي دهد (4و 14) با آن كه هزينه و زمان مورد نياز براي دلفي با توجه به هدف، ابزار و تعداد شركت كنندگان است، ولي در بعضي منابع هزينه بردار ذكر گرديده است .

انعطاف پذيري زياد رويكرد، كاربرد در ديسيپلين هاي مختلف، بكارگيري رويكردهاي ارتباطي مختلف و امكان استفاده در سطح جغرافيايي وسيع، عدم نياز به آموزش مصاحبه گران، گمنامي، ارائه بحث هاي باز،شناسايي و فهم زيربناي موضوع از مزاياي ديگر دلفي است ( 7،5 و 37) از ديگر فوايد، كسب اجماع در گرو ه هاي مخالف ، اعتبار محتوي و طراحي برنامه ها با حمايت نسبي شركت كنندگان است(18 و 34)و بخصوص عدم نفوذ عقايد و شخصيت افراد خاص در نظرات گروه ، آزادي از هرگو نه فشار، تسهيل درستكاري اعضا ي پانل و ارائه ديد بي طرفانه همراه با صداقت در بيان ايده ها و گزينه ها امكان پذير است(31،4 و 47)

همچنين بازخورد بين راندها محرك ايده هاي جديد و موجب گسترش دانش شده كه خود موجب نوآوري بيشتر و آموزش شركت كنندگان مي گردد( 8).  اين تكنيك از هدررفتن زمان و انرژي براي تصميمات نامربوط يا مغرضانه جلوگيري مي كند چراكه پيش بيني هاي دلفي با يك روش تحليلي و نظا مدار صورت مي گيرد (4و 31)

محدوديت هاي دلفي

از مهم ترين محدوديت هاي اين تكنيك ، نيازمندي به تلاش و كار زياد، سير آهسته و وقت گيربودن آن است ( 4و 30 ) از نظر روش شناسي نيز داراي نقيصه مهمي بوده كه ممكن است عملاً آن را بي اعتبار سازد، چنان كه دلفي در اصل كوشش نموده تا با نزديك كردن مصنوعي عقايد متخصصان به يكديگر از توزيع آماري اطراف ميانه استفاده نمايد (7و 32 ) به عبارتي ممكن است اجماع ظاهري يا فشار براي همنوايي با رتبه بندي رخ دهد و يا بازخورد توافقات گروه بر نظرات پانليست ها تأثير بگذارد( 18 و 34)

همچنين تكنيك دلفي تنها مرحله آغازيني است كه صرفا براي كسب اجماع مي كوشد و اين اجماع ضرورتاً دقيق ترين نظر نيست ( 17 ) و ممكن است نتيجه، شناسايي يكسري بجاي عناوين خاص اطلاعاتي (general) عبارات عمومي باشد. چرا كه در دلفي فرض، برابري شركت كنندگان از دانش و تجربه است، اما در عمل اين فرض ممكن است صحيح نباشد. بخصوص در موضوعات خاص معمولاً توزيع متخصصين نابرابر بوده و بعضي از متخصصين داراي دانش عميق در مورد موضوع بوده، در حالي كه ساير پانليست ها دانش زياد در مورد موضوع داشته باشند .بنابراين، افرادي كه دانش عميق نداشته قادر به تعيين موضوعات بسيار مهم نيستند و نتيجه يكسري عبارات كلي يا عمومي خواهد بود ( 4). از طرف ديگر ، تورش منبع اطلاعات و تجانس زياد متخصصان همراه با احتمال چولگي اطلاعات است(19).  خصوصيت بازگويي يا تكرار نيز مي تواند محقق را قادر به شك لدهي پاسخ ها يا نظرات نمايد (4) از محدوديت هاي ديگر ، فقدان محرك ها و انگيزه ناشي از حمايت و نظر موافق ساير اعضا و رويارويي چهره به چهره است ( 2و 17) كمبود تعهد و التزام و پاسخ هاي عجولانه نيز در گمنامي ذكر گرديده است ( 21 ) كه شايد فقط مختص دلفي نبوده و در تمام مطالعات با پرسشنامه هاي بدون نام اتفاق بيفتد (17). همچنين ريزش پانل متخصصين، احتمال دريافت ميزان پايين پاسخ، خستگي از موضوع، عدم وجود معيار كليدي و مشخص در تعريف متخصص، سطح اجماع و اندازه گروه ، تأثير كم محققين بر توسعه ابزار تحقيق، احتمال طرح بيشتر رويدادهاي مطلوب ، از ساير محدوديت ها است. (34،7 و 35)

پايايي و روايي

متأسفانه كنترل روايي و پايايي دلفي آسان نيست (43) چنان كه دلفي به دليل نداشتن شواهدي از پايايي شديداً مورد انتقاد قرار گرفته است (7و 33) به عبارتي، اگر اطلاعات يا سؤالا ت مشابه به پانليست ها داده شود، دستيابي به نتايج يكسان حتمي نيست ( 26 ) هرچند كه كاربران دلفي، صحت تكنيك را تأئيد نموده اند(17) اين تكنيك در رابطه با روايي نيز مورد انتقاد قرار گرفته است، چنان كه پژوهشگر بر توسعه مراحل پيمايش يا ابزار تأثيري نداشته كه در روايي صوري تأثير دارد (7)، با اين وجود، اگر اعضا ي شركت كننده در مطالعه، نماينده گروه يا حوزه دانش مورد نظر باشند، اعتبار محتوي تضمين مي شود(6). البته شايد موارد بالا به همه تحقيقات كيفي وارد بوده و نبايد دلفي را با رويكرد كمي (پوزيتويست) مورد قضاوت قرار داد و استفاده از معيارهاي انتقا ل پذيري، اعتبارپذيري، كاربردپذيري و تأئيد پذيري براي اعتبار و اعتماد نتايج صحيح تر باشد. (4)

ملاحظات اخلاقي

دلفي از نظر ملاحظات اخلاقي مشابه تحقيقات پيمايشي يا پرسشنامه اي است. گمنامي شركت كنندگان تا حد امكان بايد حفظ شده و پاسخ هاي آنان بطور خاص و قابل شناسايي براي سايرين ارسال نگردد (4و35) اما تعيين اينكه چه افرادي پرسشنامه را تكميل نموده، تمايل به بحث با سايرين داشته و آيا پانليست ها به درستي يا بر  اساس نظر محقق پاسخ داده اند، غير ممكن است (33 و 34)

پيشنهاداتي براي انجام بهتر دلفي

دلفي به عنوان يك روش يا ابزار حمايت كننده و توسعه دهنده مطالعات در نظر گرفته و داده ها با ساير ابزار و فنون تكميل گردد (48)

موضوع مورد مطالعه بايد مناسب بوده و پاسخ ها از  قبل مشخص نشده باشد (20 ) پانليست ها از ديسيپلين هاي مختلف انتخاب شوند و  در هر رشته متخصص باشند (3و 22) از سؤالات محدودتر استفاده شود تا متخصصين با توجه به محدوديت زماني از شركت در مطالعه امتناع نكنند و براي متخصصين زمان كافي براي ت فكر عميق در  نظر گرفته شود( 4و12) براي كاهش ريزش پانل، متخصص ين علاقمند انتخاب و از نظر تئوريكي توجيه شوند ، نامه هاي يادآوري ارسال  و محرك مالي و معنوي استفاده گردد (21) گروه تحقيق يا هماهنگي براي پاسخ گويي و روشن سازي هرگونه سؤال و ارائه اطلاعات در دسترس باشند (12و 49 ) و تا حد امكان، كمترين مداخله يا دستكاري را در فرايند  تحقيق انجام دهند. (8)

معيار رسيدن به اجماع، قبل از آغاز پروژه تعيين گردد و اجماع بر اساس نظرات پانليست ها باشد و چنان كه پذيرفتن اكثريت آرا جايگزيني براي نمايش يافته هاي  قابل اطمينان و بدون فشار براي اجماع است (17و 50) براي تعيين اعتبار يافته ها با چند نفر محقق و اهل دانش كه در مطالعه شركت نداشته اند مصاحبه شود (21) يك راند پيگير يا ثانويه براي افزايش اعتبار يافته ها  انجام شود(7).

منابع :

تكنيك دلفي: ابزاري در تحقيق، فضل اله احمدي، خديجه نصيرياني، پروانه اباذري، مجله ايراني آموزش در علوم پزشكي

بهار و تابستان- 1387185 :(1)8 ؛

    Imani Jajarami H. [Ashnaie ba ravesh Delphi va karborde an dar tasmimgiri]. Faslnameh Modiriat Shahri 2000; 1(1): 35-9. Persian

    Kennedy HP. Enhancing Delphi research: methods and results. J Adv Nurs 2004 Mar; 45(5): 504-11.

    Dunham R. The Delphi technique. 1996. [Cited 2002 Mar 24]. Available from: http://www.medsch.wisc.edu/adminmed/2002/orgbehav/delphi.pdf

    Powell C. The Delphi technique: myths and realities. J Adv Nurs 2003 Feb; 41(4): 376-82.

    Foresight Methodologies; UNIDO;2004

    Mohapatra, P.; Bora, M.; Sahu, K. (1984). "Incorporating Delphi Results in System Dynamics Models: A Case of Indian Tea Industry". Technological Fore and Social Change Journal. Vol. 25, pp. 159-177.