Метод «Дельфи»: различия между версиями
[непроверенная версия] | [непроверенная версия] |
Нет описания правки |
Mvk608 (обсуждение | вклад) →Примечания: дополнение |
||
(не показаны 33 промежуточные версии 25 участников) | |||
Строка 1: | Строка 1: | ||
'''Дельфийский метод''' — способ организации [[Коллективный интеллект|коллективного интеллекта]], разработанный в 1950—1960 годы в [[Соединённые Штаты Америки|США]] для прогнозирования влияния будущих [[Научная работа|научных разработок]] на методы ведения [[Война|войны]] (разработан корпорацией [[RAND (корпорация)|RAND]], авторами считаются Olaf Helmer, Norman Dalkey, и Nicholas Rescher). Название заимствовано от [[Дельфийский оракул|Дельфийского Оракула]]. |
|||
{{викифицировать}} |
|||
[[Файл:DELPHIST.png|thumb|right|''The Delphi Method communication structure'']] |
|||
{{Нет ссылок|дата=13 мая 2011}} |
|||
Является методом [[Экспертное оценивание|экспертного оценивания]]<ref>{{книга|заглавие=[[Большой энциклопедический словарь]]|часть=Дельфийский метод|год=2000|автор=|язык=ru}}</ref>. Особенности: заочность, структурированность, регулярная обратная связь, многоуровневость, анонимность. |
|||
'''Метод Дельфи''' (иногда дельфийский метод) был разработан в 1950—1960 годы в [[Соединённые Штаты Америки|США]] для прогнозирования влияния будущих научных разработок на методы ведения войны (разработан корпорацией [[RAND (корпорация)|RAND]], авторами считаются Olaf Helmer, Norman Dalkey, и Nicholas Rescher). Имя заимствовано от [[Дельфийский оракул|Дельфийского Оракула]]. |
|||
Исходная предпосылка метода — если грамотно обобщить и обработать индивидуальные оценки квалифицированных экспертов по поводу ситуации на рынке, то можно получить коллективное мнение, обладающее достаточной степенью достоверности и надёжности. |
|||
Является методом [[Экспертное оценивание|экспертного оценивания]]<ref>{{cite web| author=| datepublished=| url=http://dic.academic.ru/dic.nsf/enc3p/115806| title=Дельфийский метод | publisher=// dic.academic.ru| accessdate=2012-6-16|archiveurl=http://www.webcitation.org/68hvr4HPj|archivedate=2012-06-26}}</ref>. Особенности: заочность, многоуровневость, анонимность. |
|||
Исходная предпосылка метода — если грамотно обобщить и обработать индивидуальные оценки квалифицированных экспертов по поводу ситуации на рынке, то можно получить коллективное мнение, обладающее достаточной степенью достоверности и надежности. |
|||
На первом этапе формируется представительная группа экспертов, перед которыми выдвигается комплекс задач (древо целей) и предлагается выставить свои оценки (в баллах) каждому элементу (фактору), влияющему на решение поставленных задач. |
|||
Затем мнения экспертов обобщаются с помощью формулы: |
|||
— оценка относительной важности (в баллах), выставленная -м экспертом -му элементу; |
|||
— коэффициент компетентности -го эксперта, учитывающий степень знакомства с обсуждаемым вопросом (Кз) и аргументированность ответа (Ка): |
|||
— номера экспертов; |
|||
— число экспертов; |
|||
— номера изучаемых элементов; |
|||
— число элементов древа целей. |
|||
Среднее значение ответа варьирует между 1 и 100 баллами. Чем больше , тем важнее элемент. Надежность результата определяется с помощью дисперсии экспертных оценок. Чем меньше дисперсия (разбросанность оценок), тем согласованнее ответы и надежнее результат. |
|||
Опрос экспертов является анонимным; каждый эксперт не знает, кто еще привлечен к этой работе, и не ознакомлен с ответами других экспертов. |
|||
Если разбросанность мнений слишком велика, то экспертов знакомят с противоположными точками зрения и их обоснованием. Затем каждому эксперту предлагается изменить свою оценку. И вся процедура повторяется заново до тех пор, пока оценки не сблизятся настолько, что их средняя может считаться надежной. |
|||
Показатель степени надежности эксперта исчисляется по формуле: |
|||
— общее число оценок, произведенных данным экспертом; |
|||
— число правильных оценок. |
|||
== Основная идея == |
== Основная идея == |
||
Суть этого метода в том, чтобы с помощью серии последовательных действий — опросов, интервью, мозговых штурмов — добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами. |
|||
Базовым принципом метода является то, что некоторое количество независимых экспертов (часто несвязанных и не знающих друг о друге) лучше оценивает и предсказывает результат, чем структурированная группа (коллектив) личностей. |
|||
Суть этого метода в том, чтобы с помощью серии последовательных действий – опросов, интервью, мозговых штурмов – добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами. |
|||
'''Заочность''' позволяет избежать открытых столкновений между носителями противоположных позиций, так как исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства, даёт возможность проводить опрос экстерриториально, не собирая экспертов в одном месте (например, посредством электронной почты). |
|||
'''Анонимность''' предотвращает доминирование авторитета, личности или репутации одних участников над другими в процессе, сводит к минимуму «эффект победившей партии» или «эффект ореола», позволяет свободно выражать мнения, поощряет открытую критику, освобождает участников в некоторой степени от их личных предубеждений, так как облегчает признание ошибок при пересмотре ранее вынесенных суждений. |
|||
'''Структурирование информационного потока''' силами организатора (фасилитатора) позволяет отфильтровывать то, что не относится к делу. Это также позволяет избежать негативных последствий очных групповых дискуссий и решает обычные проблемы [[Групповая динамика|групповой динамики]]. |
|||
Субъекты: |
Субъекты: |
||
* группы исследователей, каждый из которых отвечает индивидуально в письменной форме. |
* группы исследователей, каждый из которых отвечает индивидуально в письменной форме. |
||
* организационная группа |
* организационная группа — сводит мнения экспертов воедино. |
||
Это метод не оперативного, а [[Стратегическое планирование|стратегического]] планирования. |
|||
== Этапы == |
|||
Применяется в стратегическом планировании в: |
|||
* [[Техника|технике]], |
|||
* [[Футурология|футурологии]], |
|||
* [[бизнес]]е. |
|||
== Этапы == |
|||
Предварительный: |
Предварительный: |
||
* подбор группы экспертов |
* подбор группы экспертов — чем больше, тем лучше — до 20. |
||
Основной: |
Основной: |
||
* |
* Постановка проблемы — экспертам рассылается вопрос и предлагается его разбить на подвопросы. Каждый человек вносит дополнительную информацию, которая, по его мнению, имеет отношение к данному вопросу. Организационная группа отбирает наиболее часто встречающиеся. Появляется общий опросник. |
||
* |
* Этот опросник рассылается экспертам. Их спрашивают — можно ли добавить ещё что-то; достаточно ли информации; есть ли дополнительная информация по вопросу? В итоге получаем 20 вариантов ответов с дополнительными аспектами и информацией. На основе этого составляется следующий опросник. |
||
* |
* Улучшенный опросник вновь рассылается экспертам, которым теперь надо дать свой вариант решения, а также рассмотреть наиболее крайние точки зрения, высказанные другими экспертами. Эксперты должны оценить проблему по аспектам: эффективность, обеспеченность ресурсами, в какой степени соответствует изначальной постановке задачи. Таким образом выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно выбиваются из общего русла. После этого все эксперты могут менять мнение, а процедура повторяется. Цель — достичь понимание того, как группа рассматривает этот вопрос, то есть где участники согласны или не согласны и что они подразумевают под относительными терминами, такими как важность, желательность или осуществимость. После каждого раунда организатор предоставляет анонимное краткое изложение прогнозов экспертов по итогам предыдущего раунда, а также причин, по которым они высказали свои суждения. Таким образом, экспертам рекомендуется пересмотреть свои предыдущие ответы в свете ответов других членов их группы. Считается, что в ходе этого процесса диапазон ответов уменьшится, и группа сойдётся в направлении «правильного» ответа. Наконец, процесс останавливается после заданного критерия остановки (например, количество раундов, достижение консенсуса, стабильность результатов) и среднего или медианного значения.<ref>{{Книга|автор=Rowe and Wright|заглавие=The Delphi technique as a forecasting tool: issues and analysis.|год=1999}}</ref> |
||
* |
* Операции повторяются, пока не будет достигнута согласованность между экспертами, или не будет установлено отсутствие единого мнения по проблеме. Изучение причин расхождений в оценках экспертов позволяет выявить незамеченные ранее аспекты проблемы и зафиксировать внимание на вероятных последствиях развития анализируемой проблемы или ситуации. В соответствии с этим и вырабатывается окончательная оценка и практические рекомендации. Обычно проводится три этапа, но если мнения сильно разнятся — то больше. |
||
Аналитический: |
Аналитический: |
||
* проверка согласованности мнений экспертов, анализ полученных выводов и разработка конечных рекомендаций |
* проверка согласованности мнений экспертов, анализ полученных выводов и разработка конечных рекомендаций.<ref name=":0">{{Cite web|url=https://web.njit.edu/~turoff/pubs/delphibook/ch1.html|title=The Delphi Method: Techniques and Applications--Harold A. Linstone and Murray Turoff (Eds.)--1975|website=web.njit.edu|access-date=2021-11-20|archive-date=2019-11-28|archive-url=https://web.archive.org/web/20191128162502/https://web.njit.edu/~turoff/pubs/delphibook/ch1.html|deadlink=no}}</ref> |
||
В компьютеризированной версии метода этапы сглаживаются, благодаря чему[[Файл:HYPERD.GIF|thumb|right|''A web-based communication structure (Hyperdelphi)''<ref name=":1" />]] |
|||
== Критика — с 60-х == |
|||
* отдельные этапы могут быть заменены процессом непрерывного (без подведения промежуточных итогов) взаимодействия, что позволяет участникам дискуссии в любое время изменять свои оценки и ослабляет влияние организатора; |
|||
* беззащитность эксперта перед организационной группой — слишком большие полномочия. |
|||
* ответ статистической группы может обновляться в режиме реального времени и отображаться всякий раз, когда участник дискуссии даёт новую оценку;<ref>{{Книга|автор=Murray Turoff, Starr Roxanne Hiltz|заглавие="Computer-based Delphi processes", Gazing Into the Oracle|ответственный=Michael Adler, Erio Ziglio}}</ref> |
|||
* мнение большинства — не обязательно правильное; креативное решение — меньшинства, наиболее эффективные решения — отбрасываются. |
|||
* возможно участие большого числа участников; |
|||
* анализ — много времени. Минимум на каждый этап — сутки. Не подходит для оперативного анализа. |
|||
* возможно использование двух или более экспертных групп, представляющих различные типы респондентов (например, политики, эксперты, граждане), которым организатор может дать задания, отражающие их различные роли и опыт, и заставить их взаимодействовать в рамках специальных коммуникационных структур.<ref name=":1">{{Книга|автор=Maurizio Bolognini|заглавие=Democrazia elettronica. Метод Delphi e politiche pubbliche (Электронная демократия. Метод Дельфи и формирование государственной политики) (на итальянском языке)|год=2001|место=Рим|издательство=Carocci Editore|isbn=978-88-430-2035-5}}</ref> |
|||
* возрастает конформизм экспертов - стремление попасть в большинство. |
|||
* возможность манипуляции экспертами организационной группой. |
|||
== Причины неудачного применения метода == |
|||
Противодействия: |
|||
* Навязывание участникам мнений и предубеждений. |
|||
* подбор организационной группы из различных структур, научных и социальных школ. |
|||
* Чрезмерная специализация участников, отсутствие разнообразия. |
|||
* ту же проблему прогнать через другую группу |
|||
* Пренебрежение другими точками зрения, связанными с проблемой. |
|||
* самые оригинальные решения можно включать в качестве дополнений |
|||
* Плохие методы обобщения и представления группового ответа и обеспечения общей интерпретации шкал оценки, используемых в этой деятельности. |
|||
* Игнорирование разногласий и их недостаточное изучение, чтобы обескураженные несогласные выбыли и был создан искусственный консенсус. |
|||
* Недооценка требовательного характера метода и того факта, что респонденты должны быть признаны консультантами и должным образом вознаграждены за потраченное время, если Delphi не является неотъемлемой частью их должностных функций.<ref name=":0" /> |
|||
== Примеры применения == |
|||
Это метод не оперативного, а стратегического планирования. |
|||
Одним из успешных примеров является проведение пяти раундов Delphi (с участием 1454 участников) для разработки Планов действий eLAC в Латинской Америке. Считается, что в настоящее время это самое масштабное в истории межправительственных процессов онлайн-мероприятие по прогнозированию процесса разработки политики с участием общественности.<ref>{{Статья|ссылка=https://www.sciencedirect.com/science/article/pii/S0040162509000031|автор=Martin Hilbert, Ian Miles, Julia Othmer|заглавие=Foresight tools for participative policy-making in inter-governmental processes in developing countries: Lessons learned from the eLAC Policy Priorities Delphi|год=2009-09-01|язык=en|издание=Technological Forecasting and Social Change|том=76|выпуск=7|страницы=880–896|issn=0040-1625|doi=10.1016/j.techfore.2009.01.001}}</ref> |
|||
Разработка первой версии классификатора и процедурой управления кодификации [[UNSPSC]] была организована в 1998 году под эгидой [[Программа развития ООН|Программы развития Организации Объединённых Наций]] методом статистического прогнозирования Delphi. Этот процесс позволил быстро достичь консенсуса без доминирования или влияния. |
|||
Применяется в стратегическом планировании в |
|||
* технике |
|||
* футурологии |
|||
* бизнесе |
|||
== Критика == |
|||
== Технические недостатки == |
|||
С 60-х годов подвергается критике: |
|||
* беззащитность эксперта перед организатором — слишком большие полномочия. |
|||
* мнение большинства — не обязательно правильное; креативное решение — меньшинства, наиболее эффективные решения — отбрасываются. |
|||
* анализ — много времени. Минимум на каждый этап — сутки. Не подходит для оперативного анализа. |
|||
* возрастает [[Конформность|конформизм]] экспертов — стремление попасть в большинство. |
|||
* возможность манипуляции экспертами со стороны организатора. |
|||
Противодействия: |
|||
* подбор организационной группы из различных структур, научных и социальных школ, |
|||
* ту же проблему прогнать через другую группу, |
|||
* самые оригинальные решения можно включать в качестве дополнений. |
|||
== • избавляет от == |
|||
* время проведения зависит от средств коммуникации экспертов. |
* время проведения зависит от средств коммуникации экспертов. |
||
* опрашиваемые должны уметь хорошо излагать свои мысли, так как данный метод основан на получении информации в письменной форме, в противном случае обработка затрудняется |
* опрашиваемые должны уметь хорошо излагать свои мысли, так как данный метод основан на получении информации в письменной форме, в противном случае обработка затрудняется |
||
* анкетируемые должны обладать высоким уровнем мотивации, так как отсутствует поощрение за заполнение анкет. |
* анкетируемые должны обладать высоким уровнем мотивации, так как отсутствует поощрение за заполнение анкет. |
||
== В России == |
|||
В России (по состоянию на конец 2010 года) применяется мало, так как: |
|||
* долгое время аналитика была централизована — высок конформизм экспертов; |
|||
* нужны независимые аналитические структуры — в России их нет; |
|||
* стратегический анализ мало востребован — все авторы знают свои цели; |
|||
* нет традиции проведения таких исследований — нет профессионалов, все эксперты знают друг друга и их очень мало. |
|||
== Примечания == |
== Примечания == |
||
{{примечания}} |
{{примечания}} |
||
{{вс}} |
|||
{{Исследования будущего}} |
|||
== Ссылки == |
|||
* [http://maglicey.u-education.ru/?q=node/51 Дельфийский метод] |
|||
* [http://stra.teg.ru/lenta/innovation/2350 Юргенс: "Дельфийский метод" с российской спецификой - дальний прицел] |
|||
* [http://polbu.ru/kovalev_ecanalysis/ch14_i.html В.В. Ковалев, О.Н. Волкова. Анализ хозяйственной деятельности предприятия Методы экспертных оценок] |
|||
[[Категория:Методы исследования|Дельфи]] |
[[Категория:Методы исследования|Дельфи]] |
||
[[Категория: |
[[Категория:Прогностика]] |
||
[[Категория:Экспертное оценивание]] |
[[Категория:Экспертное оценивание]] |
||
[[Категория:Коллективный интеллект]] |
Текущая версия от 16:43, 2 сентября 2024
Дельфийский метод — способ организации коллективного интеллекта, разработанный в 1950—1960 годы в США для прогнозирования влияния будущих научных разработок на методы ведения войны (разработан корпорацией RAND, авторами считаются Olaf Helmer, Norman Dalkey, и Nicholas Rescher). Название заимствовано от Дельфийского Оракула.
Является методом экспертного оценивания[1]. Особенности: заочность, структурированность, регулярная обратная связь, многоуровневость, анонимность. Исходная предпосылка метода — если грамотно обобщить и обработать индивидуальные оценки квалифицированных экспертов по поводу ситуации на рынке, то можно получить коллективное мнение, обладающее достаточной степенью достоверности и надёжности.
Основная идея
[править | править код]Суть этого метода в том, чтобы с помощью серии последовательных действий — опросов, интервью, мозговых штурмов — добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами.
Базовым принципом метода является то, что некоторое количество независимых экспертов (часто несвязанных и не знающих друг о друге) лучше оценивает и предсказывает результат, чем структурированная группа (коллектив) личностей.
Заочность позволяет избежать открытых столкновений между носителями противоположных позиций, так как исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства, даёт возможность проводить опрос экстерриториально, не собирая экспертов в одном месте (например, посредством электронной почты).
Анонимность предотвращает доминирование авторитета, личности или репутации одних участников над другими в процессе, сводит к минимуму «эффект победившей партии» или «эффект ореола», позволяет свободно выражать мнения, поощряет открытую критику, освобождает участников в некоторой степени от их личных предубеждений, так как облегчает признание ошибок при пересмотре ранее вынесенных суждений.
Структурирование информационного потока силами организатора (фасилитатора) позволяет отфильтровывать то, что не относится к делу. Это также позволяет избежать негативных последствий очных групповых дискуссий и решает обычные проблемы групповой динамики.
Субъекты:
- группы исследователей, каждый из которых отвечает индивидуально в письменной форме.
- организационная группа — сводит мнения экспертов воедино.
Это метод не оперативного, а стратегического планирования. Применяется в стратегическом планировании в:
Этапы
[править | править код]Предварительный:
- подбор группы экспертов — чем больше, тем лучше — до 20.
Основной:
- Постановка проблемы — экспертам рассылается вопрос и предлагается его разбить на подвопросы. Каждый человек вносит дополнительную информацию, которая, по его мнению, имеет отношение к данному вопросу. Организационная группа отбирает наиболее часто встречающиеся. Появляется общий опросник.
- Этот опросник рассылается экспертам. Их спрашивают — можно ли добавить ещё что-то; достаточно ли информации; есть ли дополнительная информация по вопросу? В итоге получаем 20 вариантов ответов с дополнительными аспектами и информацией. На основе этого составляется следующий опросник.
- Улучшенный опросник вновь рассылается экспертам, которым теперь надо дать свой вариант решения, а также рассмотреть наиболее крайние точки зрения, высказанные другими экспертами. Эксперты должны оценить проблему по аспектам: эффективность, обеспеченность ресурсами, в какой степени соответствует изначальной постановке задачи. Таким образом выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно выбиваются из общего русла. После этого все эксперты могут менять мнение, а процедура повторяется. Цель — достичь понимание того, как группа рассматривает этот вопрос, то есть где участники согласны или не согласны и что они подразумевают под относительными терминами, такими как важность, желательность или осуществимость. После каждого раунда организатор предоставляет анонимное краткое изложение прогнозов экспертов по итогам предыдущего раунда, а также причин, по которым они высказали свои суждения. Таким образом, экспертам рекомендуется пересмотреть свои предыдущие ответы в свете ответов других членов их группы. Считается, что в ходе этого процесса диапазон ответов уменьшится, и группа сойдётся в направлении «правильного» ответа. Наконец, процесс останавливается после заданного критерия остановки (например, количество раундов, достижение консенсуса, стабильность результатов) и среднего или медианного значения.[2]
- Операции повторяются, пока не будет достигнута согласованность между экспертами, или не будет установлено отсутствие единого мнения по проблеме. Изучение причин расхождений в оценках экспертов позволяет выявить незамеченные ранее аспекты проблемы и зафиксировать внимание на вероятных последствиях развития анализируемой проблемы или ситуации. В соответствии с этим и вырабатывается окончательная оценка и практические рекомендации. Обычно проводится три этапа, но если мнения сильно разнятся — то больше.
Аналитический:
- проверка согласованности мнений экспертов, анализ полученных выводов и разработка конечных рекомендаций.[3]
В компьютеризированной версии метода этапы сглаживаются, благодаря чему
- отдельные этапы могут быть заменены процессом непрерывного (без подведения промежуточных итогов) взаимодействия, что позволяет участникам дискуссии в любое время изменять свои оценки и ослабляет влияние организатора;
- ответ статистической группы может обновляться в режиме реального времени и отображаться всякий раз, когда участник дискуссии даёт новую оценку;[5]
- возможно участие большого числа участников;
- возможно использование двух или более экспертных групп, представляющих различные типы респондентов (например, политики, эксперты, граждане), которым организатор может дать задания, отражающие их различные роли и опыт, и заставить их взаимодействовать в рамках специальных коммуникационных структур.[4]
Причины неудачного применения метода
[править | править код]- Навязывание участникам мнений и предубеждений.
- Чрезмерная специализация участников, отсутствие разнообразия.
- Пренебрежение другими точками зрения, связанными с проблемой.
- Плохие методы обобщения и представления группового ответа и обеспечения общей интерпретации шкал оценки, используемых в этой деятельности.
- Игнорирование разногласий и их недостаточное изучение, чтобы обескураженные несогласные выбыли и был создан искусственный консенсус.
- Недооценка требовательного характера метода и того факта, что респонденты должны быть признаны консультантами и должным образом вознаграждены за потраченное время, если Delphi не является неотъемлемой частью их должностных функций.[3]
Примеры применения
[править | править код]Одним из успешных примеров является проведение пяти раундов Delphi (с участием 1454 участников) для разработки Планов действий eLAC в Латинской Америке. Считается, что в настоящее время это самое масштабное в истории межправительственных процессов онлайн-мероприятие по прогнозированию процесса разработки политики с участием общественности.[6]
Разработка первой версии классификатора и процедурой управления кодификации UNSPSC была организована в 1998 году под эгидой Программы развития Организации Объединённых Наций методом статистического прогнозирования Delphi. Этот процесс позволил быстро достичь консенсуса без доминирования или влияния.
Критика
[править | править код]С 60-х годов подвергается критике:
- беззащитность эксперта перед организатором — слишком большие полномочия.
- мнение большинства — не обязательно правильное; креативное решение — меньшинства, наиболее эффективные решения — отбрасываются.
- анализ — много времени. Минимум на каждый этап — сутки. Не подходит для оперативного анализа.
- возрастает конформизм экспертов — стремление попасть в большинство.
- возможность манипуляции экспертами со стороны организатора.
Противодействия:
- подбор организационной группы из различных структур, научных и социальных школ,
- ту же проблему прогнать через другую группу,
- самые оригинальные решения можно включать в качестве дополнений.
• избавляет от
[править | править код]- время проведения зависит от средств коммуникации экспертов.
- опрашиваемые должны уметь хорошо излагать свои мысли, так как данный метод основан на получении информации в письменной форме, в противном случае обработка затрудняется
- анкетируемые должны обладать высоким уровнем мотивации, так как отсутствует поощрение за заполнение анкет.
Примечания
[править | править код]- ↑ Дельфийский метод // Большой энциклопедический словарь . — 2000.
- ↑ Rowe and Wright. The Delphi technique as a forecasting tool: issues and analysis.. — 1999.
- ↑ 1 2 The Delphi Method: Techniques and Applications--Harold A. Linstone and Murray Turoff (Eds.)--1975 . web.njit.edu. Дата обращения: 20 ноября 2021. Архивировано 28 ноября 2019 года.
- ↑ 1 2 Maurizio Bolognini. Democrazia elettronica. Метод Delphi e politiche pubbliche (Электронная демократия. Метод Дельфи и формирование государственной политики) (на итальянском языке). — Рим: Carocci Editore, 2001. — ISBN 978-88-430-2035-5.
- ↑ Murray Turoff, Starr Roxanne Hiltz. "Computer-based Delphi processes", Gazing Into the Oracle / Michael Adler, Erio Ziglio.
- ↑ Martin Hilbert, Ian Miles, Julia Othmer. Foresight tools for participative policy-making in inter-governmental processes in developing countries: Lessons learned from the eLAC Policy Priorities Delphi (англ.) // Technological Forecasting and Social Change. — 2009-09-01. — Vol. 76, iss. 7. — P. 880–896. — ISSN 0040-1625. — doi:10.1016/j.techfore.2009.01.001.