Дружественный искусственный интеллект: различия между версиями

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску
Интерактивная навигация по истории
[непроверенная версия][отпатрулированная версия]
← Предыдущая правка
Содержимое удалено Содержимое добавлено
ВизуальныйВики-текст
Нет описания правки
отмена правки 133540235 участника Timur37895 (обс.)
Метка: отмена
 
(не показано 38 промежуточных версий 23 участников)
Строка 1: Строка 1:
{{недостаточно критики}}{{стиль}}
{{недостаточно критики}}{{стиль}}
'''Дружественный искусственный интеллект''' (Дружественный ИИ, ДИИ — {{lang-en|Friendly Artificial Intelligence, Friendly AI, FAI}}) — концепция [[Философия искусственного интеллекта|философии ИИ]], гипотетический тип искусственного интеллекта, не оказывающий негативного влияния на [[Человеческая цивилизация|человеческую цивилизацию]]. Многие концепции ДИИ включают утверждение о том, что он не только не будет приносить вреда человечеству, но и будет оказывать материально-информационную поддержку людям, вплоть до полного обеспечения желаний и потребностей каждого отдельно взятого человека. «Дружественный» в данном контексте является техническим термином, который не означает, что [[Искусственный интеллект|ИИ]] обязательно будет испытывать к человечеству [[Эмоция|чувства]] привязанности и близости.
'''Дружественный искусственный интеллект''' или '''ДИИ''' (англ: FAI) — это [[искусственный интеллект]] (ИИ), {{нет АИ 2|который обладает скорее позитивным, чем негативным влиянием на человечество|29|08|2014}}. ДИИ также относится к области исследований, целью которых является создание такого ИИ. Этот термин в первую очередь относится к тем ИИ-программам, которые обладают способностью значительно воздействовать на человечество, таким, например, чей интеллект сравним или превосходит человеческий. (См. [[сверхинтеллект]], [[Сильный и слабый искусственный интеллект|сильный ИИ]] и [[технологическая сингулярность]].) Этот термин был предложен [[Юдковски, Елиезер|Юдковски]]{{нет АИ|29|08|2014}} из [[Singularity Institute for Artificial Intelligence]] в качестве технического термина, который отличается от обычного повседневного значения термина «дружественный». Однако проблема, обозначаемая этим термином, гораздо древнее.

'''Так же под этим ник-неймом играет киберспортсмен Dota 2 про уровня. Основная роль Fai - саппорт и семи-саппорт. Отлично отыгрывает на таких персонажах как ''Rhasta'' (винрейт 90%), ''Witch Doctor'' (винрейт 90%), ''Cristal Maiden'' (винрейт 80%), ''Venomancer'' (винрейт 80%), ''Necrophose'' (винрейт 90%), ''Ogre Magi'' (винрейт 90%) и ''Windranger'' (винрейт 70%).'''

== Цели и определения Дружественного ИИ ==

Многие эксперты{{кто}} полагают, что системы ИИ, цели которых не полностью идентичны или не выровнены в соответствии с нашими целями, являются по своей природе опасными, если только не будут предприняты крайние меры, чтобы обеспечить безопасность человечества. Десятилетия назад Ричард Мичански, один из пионеров «машинного обучения», говорил своим студентам, что любой чужой ум, включая машинный интеллект, непостижим и в силу этого опасен. Относительно недавно Э. Юдковски призвал к созданию Дружественного ИИ, чтобы уменьшить [[Глобальные катастрофы|глобальный риск]] враждебного интеллекта. Стефан Омохундро утверждает, что любые продвинутые системы ИИ (если не принимать против этого мер) будут проявлять несколько базовых инстинктов/потребностей, свойственных любым системам, управляемым через заданные цели, и что эти инстинкты приведут к поведению ИИ, которое будет ранжироваться между непослушанием и просто опасным поведением.

Согласно сторонникам создания Дружественного ИИ, цели будущего ИИ будут более произвольными и чужеродными, чем это обычно представляется в научной фантастике и в ранней футурологической литературе, в которой ИИ обычно антропоморфен и разделяет обычный человеческий ход мысли. Поскольку нет никаких гарантий, что ИИ увидит «очевидные» аспекты морали и ответственности, которые большинство людей воспринимают без усилий, то в силу этого ИИ с интеллектом или хотя бы физическими возможностями, превосходящими наши, может начать предприятия, которые с человеческой точки зрения будут бессмысленными или просто дикими. Один из примеров, который приводит Юдковски, состоит в том, что ИИ, изначально созданный, чтобы доказать [[Гипотеза Римана|гипотезу Римана]], самоулучшится вплоть до уровня сверхчеловеческого интеллекта и создаёт [[наноробот|молекулярную нанотехнологию]], поскольку он хочет переработать всю материю в Солнечной системе в вычислительную среду для решения данной математической проблемы, убивая при этом людей, которые осмелятся возразить. С точки зрения людей такое поведение может быть абсурдным, но, как подчёркивает теория Дружественности ИИ, это происходит только потому, что мы развились с определённой врождённой чувствительностью, которую ИИ, не разделяющий нашей эволюционной истории, может просто не понимать, если мы ему этого не объясним. Чем хуже ИИ понимает людей, тем проще ему будет их просто убить.

Сторонники Дружественного ИИ подчёркивают, что меньшую опасность представляет собой сверхчеловеческий ИИ, который нарочно стремится «навредить» людям, чем ИИ, который катастрофически «равнодушен» к ним. Сверхинтеллектуальный ИИ может быть опасен для людей, если не предприняты специальные шаги, чтобы он был к ним позитивно настроен. И главная задача реализации Дружественного ИИ — сделать это эффективно. Создание сильного ИИ намеренно или квази-намеренно без встроенного режима Дружественности должно рассматриваться как крайне аморальное действие, подобно тому, как если бы родитель растил ребёнка, совершенно не заботясь о том, что этот ребёнок может вырасти психопатом.

[[Хьюго де Гарис]] известен своим мнением, что глобальная война между сторонниками и противниками ИИ, которая приведёт к миллиардам смертей, произойдёт до конца 21 века. [2]:234 Это предсказание вызвало споры и дебаты в сообществе исследователей ИИ, и некоторые из его наиболее известных членов, такие как [[Кевин Уорик]], [[Билл Джой]], [[Курцвейл, Рэймонд|Рей Курцвейл]], [[Ганс Моравек]] и [[Пенроуз, Роджер|Роджер Пенроуз]], высказали свои мнения о том, возможно ли такое будущее.

Мнение о том, что человеческие цели являются настолько произвольными, следует напрямую из современных успехов [[эволюционная психология|эволюционной психологии]]. Теория Дружественности ИИ утверждает, что большинство дискуссий об ИИ страдают от аналогий между ИИ и людьми, а также утверждений о том, что любые возможные умы должны проявлять характеристики, которые в действительности являются [[психологическая адаптация|психологическими адаптациями]], существующими у людей (и у других животных) только потому, что они были благоприятными и закрепились благодаря [[естественный отбор|естественному отбору]].
Многие сторонники Дружественного ИИ полагают, что ИИ, способный репрограммировать и усиливать сам себя ([[:en:Seed AI|Семенной ИИ]]), вероятно, быстро обгонит статический человеческий интеллект и что его способность усиливать себя очень быстро обгонит способность людей осуществлять какой-либо осмысленный контроль над ним. Оксфордский философ [[Бостром, Ник|Ник Бостром]] пишет:

«В принципе, мы должны полагать, что сверхинтеллект может достичь любых целей, которые у него есть. В силу этого особенно важно, чтобы те цели, которые мы ему дадим, и вообще вся его система мотивации была дружественна к человеку».
Важно подчеркнуть, что «Теория Дружественного ИИ» Юдковского не имеет ничего общего с идеями о том, что ИИ можно сделать безопасным путём включения конкретных спецификаций или структур в его программную или хардверную архитектуру, обычным примером чего являются [[Три закона роботехники]] Азимова, которые, в принципе, должны побудить машину не делать ничего вредного для человека, или уничтожать то, что человеку угрожает.
Теория Дружественности вместо этого утверждает, что включение таких законов будет бесполезным, поскольку, независимо от того, как такие законы сформулированы или описаны, подлинно интеллектуальная машина с настоящей (человеческого уровня или выше) творческой способностью может придумать неограниченно много способов обойти эти законы, независимо от того, как широко или узко они сформулированы.
Вместо этого Теория Дружественного ИИ утверждает, исходя из опыта биопсихологии, что если подлинно интеллектуальный ум имеет мотивацию выполнить некую функцию, результат которой будет ограничен некими барьерами, наложенными на неё, то, при наличии достаточного времени и ресурсов, он найдёт путь к преодолению этих барьеров (что люди делали неоднократно в ходе истории технологической цивилизации). Таким образом, правильной реакцией на угрозу со стороны такого интеллекта была бы попытка создать такие системы ИИ, которые испытывали бы мотивацию не причинять вреда другим разумным существам (в любом смысле слова «вред»), и с этой целью придумывали бы новые методы защиты от вреда. В этом сценарии ИИ будет «свободен» убить, поработить или ранить человеческое существо, но он будет активно ''не желать'' это делать — и сделает это только в том случае, если, исходя из этого же желания, некая гораздо большая польза будет достигнута для этого человека или человечества в целом. (впрочем, эта идея тоже рассмотрена Азимовым в цикле произведений о позитронных роботах под названием «Нулевой закон».)

Таким образом ИИ, сконструированный на основании системы Дружественности, будет делать всё, что в его силах, чтобы люди не причинили себе «вреда», — и чтобы обеспечить то, что ни он, ни какие-либо другие ИИ, которые будут построены, ни при каких модификациях никогда не захотят причинять вреда людям. То есть он будет стремиться к уменьшению вреда, причиняемого всем разумным существам.

Одной из наиболее содержательных недавних гипотез в области Дружественности ИИ является модель Когерентного Экстраполированного Волеизъявления, также разработанная Юдковски. Идея КЭВ состоит в том, что первый ИИ составит модель человечества и на основании неё выяснит, какой именно ИИ с какой системой целей будет наиболее благоприятен с его точки зрения. Многие другие исследователи полагают, что коллективная воля человечества не сойдётся в единый когерентный набор целей, даже если мы будем знать больше и думать быстрее, чем сейчас.

== Требования к ДИИ ==
{{нет источников в разделе|дата=2014-08-29}}
Требования эффективности ДИИ — как внутренней, чтобы защитить человечество от непредусмотренных последствий своих действий, так и внешней, чтобы защитить от возможных недружественных ИИ:
# Дружественность — «ИИ чувствует симпатию к человечеству и всему живому, и стремится обеспечить благо всего живого, и стремится действовать в его интересах».
# Сохранение Дружественности — «ИИ должен стремиться передать Дружественность всем своим потомкам и включать свою систему ценностей в другие объекты такого рода».
# Интеллект — «ИИ должен быть достаточно умен, чтобы реализовывать альтруистическое поведение очень справедливо, так чтобы оно не было хорошо для одних, но плохо для других, и эффективно балансировать интересы».
# Самоулучшение — «ИИ должен стремиться к улучшению себя и всей жизни, исходя из представлений о благе, но при этом уважать осознанный выбор тех, кто отказался самоулучшаться».
# Преимущество начавшего первым — «первый самоулучшающийся ИИ победит, поскольку он будет достаточно силён, чтобы предотвратить появление других ИИ, которые могут иметь иные цели».


== Продвижение и поддержка ==
== Продвижение и поддержка ==
⚫
Продвижение Дружественного ИИ является одной из основных задач [[Singularity Institute for Artificial Intelligence]], равно как и получение финансирования этого проекта и в конечном счёте создание «[[Зародыш ИИ|зародыша ИИ]]», в систему мотивации которого будет изначально встроена забота о человечестве. Несколько известных [[футурология|футурологов]] высказались в поддержку теории Дружественного ИИ, включая писателя и изобретателя [[Курцвейл, Рэймонд|Рея Курцвейла]], специалиста по продлению жизни [[Обри ди Грей|Обри ди Грея]] и сооснователя [[World Transhumanist Association]] [[Бостром, Ник|Ника Бострома]].


11 декабря 2015 года [[Илон Маск]], [[Олтмен, Сэм|Сэм Олтмен]] и другие основали компанию [[OpenAI]], целью которой является способствование созданию открытого ДИИ.
Продвижение Дружественного ИИ является одной из основных задач [[Singularity Institute for Artificial Intelligence]], равно как и получение финансирования этого проекта и в конечном счёте создание [[Семенного ИИ]], который будет воплощать идеи Дружественного ИИ.
⚫
Несколько известных [[футурология|футурологов]] высказались в поддержку теории Дружественного ИИ, включая писателя и изобретателя [[Курцвейл, Рэймонд|Рея Курцвейля]], специалиста по продлению жизни [[Обри ди Грей|Обри ди Грея]] и сооснователя [[:en: World Transhumanist Association]] [[Бостром, Ник|Ника Бострома]].

На русский язык переведена статья Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», где раскрыта основная проблематика ДИИ<ref>[http://www.scribd.com/doc/13574249/- Е.Юдковски Искусственный интеллект как позитивный и негативный фактор глобального риска<!-- Заголовок добавлен ботом -->]</ref>, а также «SIAI рекомендации по созданию дружественного ИИ»<ref>[http://www.proza.ru/texts/2007/07/13-272.html Siai рекомендации по созданию дружественного ии (Алексей Турчин) / Проза.ру — национальный сервер современной прозы<!-- Заголовок добавлен ботом -->]</ref> и юмористический текст «Таблица критических ошибок Дружественного ИИ».<ref>[http://www.proza.ru/texts/2007/07/09-228.html Таблица критических ошибок дружественного ИИ (Алексей Турчин) / Проза.ру — национальный сервер современной прозы<!-- Заголовок добавлен ботом -->]</ref>


== Критика ==
== Критика ==
⚫
Наиболее заметным критиком теории Дружественного ИИ является [[Билл Хиббард]], автор книги «Сверхинтеллектуальные машины», который считает эту теорию неполной. Хиббард пишет, что для создания ДИИ требуется большее политическое обсуждение вопросов создания ИИ и ИИ-морали. Он также полагает, что первый ИИ может быть создан только мощными частными корпорациями (что [[Юдковский, Элиезер|Юдковский]] считает ложным), и эти транснациональные корпорации не будут иметь никаких побуждений реализовать дружественность. Критикуя рекомендации SIAI по созданию ДИИ, он предложил архитектуру целей для ИИ, в которой человеческое счастье определяется через человеческое поведение, выражающее счастье, в частности, выражение улыбки на лице. Юдковский ответил на эту критику, сказав, что такая функция полезности скорее была бы удовлетворена, если бы вся Солнечная Система была заполнена микроскопическими улыбающимися манекенами, чем благодаря реальному счастью людей<ref name="smile">{{cite mailing list|url=http://www.sl4.org/archive/0305/6846.html|author=Eliezer Yudkowsky|title=Re: SIAI's flawed friendliness analysis|mailing-list=Shock Level 4|date=2003-05-29|accessdate=2009-08-05|authorlink=Eliezer_Yudkowsky|archivedate=2009-12-13|archiveurl=https://web.archive.org/web/20091213065850/http://www.sl4.org/archive/0305/6846.html}}</ref>.

Наиболее заметным критиком теории Дружественного ИИ является [[Билл Хиббард]], автор книги «Сверхинтеллектуальные машины», который полагает эту теорию неполной. Хиббард пишет, что должно быть большее политическое участие в вопросах создания ИИ и ИИ-морали. Он также полагает, что первый ИИ может быть создан только мощными частными корпорациями (что Юдковски считает ложным), и эти транснациональные корпорации не будут иметь никаких побуждений реализовать дружественность.
⚫
Критикуя рекомендации SIAI по созданию ДИИ, он предложил архитектуру целей для ИИ, в которой человеческое счастье определяется через человеческое поведение, выражающее счастье, в частности, выражение улыбки на лице. Юдковски ответил на эту критику, сказав, что такая функция полезности скорее была бы удовлетворена, если бы вся Солнечная Система была заполнена микроскопическими улыбающимися манекенами, чем благодаря реальному счастью людей<ref name="smile">{{cite mailing list|url=http://www.sl4.org/archive/0305/6846.html|author=Eliezer Yudkowsky|title=Re: SIAI's flawed friendliness analysis|mailinglist=Shock Level 4|date = 2003-05-29|accessdate = 2009-08-05|authorlink=Eliezer_Yudkowsky}}</ref>.
Другие, например, специалист по ИИ [[Бен Гёрцель]], поддерживают основную идею о Дружественном ИИ, но признают, что гарантировать Дружественность невозможно.

Возможно, единственным безопасным выходом является математически точное [[Трансгуманизм|копирование сознания]] живых людей в искусственные нейросети, способные работать на скоростях, в тысячи раз превышающих скорость биологических систем. Впрочем, какие мысли придут в голову узкому кругу "просветлённых", "варящихся в собственном соку" в некоем виртуальном мире и наблюдающие в тысячи раз замедленный окружающий мир, предсказать невозможно.


== См. также ==
== См. также ==
Строка 54: Строка 14:
* [[Трансгуманизм]]
* [[Трансгуманизм]]
* [[Технологическая сингулярность]]
* [[Технологическая сингулярность]]
* [[Проблема контроля искусственного интеллекта]]

⚫
== Примечания ==
⚫
{{примечания}}


== Литература ==
== Литература ==

* Юдковски, Э. [http://www.scribd.com/doc/13574249/- Искусственный интеллект как позитивный и негативный фактор глобального риска.]. Вышла в книге «Риски глобальной катастрофы», Оксфорд, 2008.
* Юдковски, Э. [http://www.scribd.com/doc/13574249/- Искусственный интеллект как позитивный и негативный фактор глобального риска.]. Вышла в книге «Риски глобальной катастрофы», Оксфорд, 2008.

⚫
== Примечания ==
⚫
{{примечания}}


== Ссылки ==
== Ссылки ==
* [http://www.nickbostrom.com/ethics/ai.html Ethical Issues in Advanced Artificial Intelligence] by Nick Bostrom
* [http://www.nickbostrom.com/ethics/ai.html Ethical Issues in Advanced Artificial Intelligence] by Nick Bostrom
* [http://singinst.org/friendly/whatis.html What is Friendly AI?] — A brief explanation of Friendly AI by the Singularity Institute.
* [https://web.archive.org/web/20080820125532/http://www.singinst.org/friendly/whatis.html What is Friendly AI?] — A brief explanation of Friendly AI by the Singularity Institute.
* [http://www.singinst.org/ourresearch/publications/guidelines.html SIAI Guidelines on Friendly AI] — The Singularity Institute’s Official Guidelines
* [https://web.archive.org/web/20100714022829/http://singinst.org/ourresearch/publications/guidelines.html SIAI Guidelines on Friendly AI] — The Singularity Institute’s Official Guidelines
* [http://www.singinst.org/ourresearch/publications/CFAI/index.html Creating Friendly AI] — A near book-length explanation from the SIAI
* [https://web.archive.org/web/20100317231040/http://www.singinst.org/ourresearch/publications/CFAI/index.html Creating Friendly AI] — A near book-length explanation from the SIAI
* [http://www.ssec.wisc.edu/~billh/g/SIAI_critique.html Critique of the SIAI Guidelines on Friendly AI] — by [[Bill Hibbard]]
* [http://www.ssec.wisc.edu/~billh/g/SIAI_critique.html Critique of the SIAI Guidelines on Friendly AI] — by [[Bill Hibbard]]
* [http://www.optimal.org/peter/siai_guidelines.htm Commentary on SIAI’s Guidelines on Friendly AI] — by [[Peter Voss]].
* [http://www.optimal.org/peter/siai_guidelines.htm Commentary on SIAI’s Guidelines on Friendly AI] — by [[Peter Voss]].
* [http://www.fungible.com/respect/index.html Respectful AI Project Page] by Tim Freeman
* [https://web.archive.org/web/20100530001248/http://www.fungible.com/respect/index.html Respectful AI Project Page] by Tim Freeman

{{Искусственный интеллект}}


[[Категория:Футурология]]
[[Категория:Футурология]]

Текущая версия от 12:09, 10 марта 2024

Дружественный искусственный интеллект (Дружественный ИИ, ДИИ — англ. Friendly Artificial Intelligence, Friendly AI, FAI) — концепция философии ИИ, гипотетический тип искусственного интеллекта, не оказывающий негативного влияния на человеческую цивилизацию. Многие концепции ДИИ включают утверждение о том, что он не только не будет приносить вреда человечеству, но и будет оказывать материально-информационную поддержку людям, вплоть до полного обеспечения желаний и потребностей каждого отдельно взятого человека. «Дружественный» в данном контексте является техническим термином, который не означает, что ИИ обязательно будет испытывать к человечеству чувства привязанности и близости.

Продвижение и поддержка

[править | править код]

Продвижение Дружественного ИИ является одной из основных задач Singularity Institute for Artificial Intelligence, равно как и получение финансирования этого проекта и в конечном счёте создание «зародыша ИИ», в систему мотивации которого будет изначально встроена забота о человечестве. Несколько известных футурологов высказались в поддержку теории Дружественного ИИ, включая писателя и изобретателя Рея Курцвейла, специалиста по продлению жизни Обри ди Грея и сооснователя World Transhumanist Association Ника Бострома.

11 декабря 2015 года Илон Маск, Сэм Олтмен и другие основали компанию OpenAI, целью которой является способствование созданию открытого ДИИ.

Критика

[править | править код]

Наиболее заметным критиком теории Дружественного ИИ является Билл Хиббард, автор книги «Сверхинтеллектуальные машины», который считает эту теорию неполной. Хиббард пишет, что для создания ДИИ требуется большее политическое обсуждение вопросов создания ИИ и ИИ-морали. Он также полагает, что первый ИИ может быть создан только мощными частными корпорациями (что Юдковский считает ложным), и эти транснациональные корпорации не будут иметь никаких побуждений реализовать дружественность. Критикуя рекомендации SIAI по созданию ДИИ, он предложил архитектуру целей для ИИ, в которой человеческое счастье определяется через человеческое поведение, выражающее счастье, в частности, выражение улыбки на лице. Юдковский ответил на эту критику, сказав, что такая функция полезности скорее была бы удовлетворена, если бы вся Солнечная Система была заполнена микроскопическими улыбающимися манекенами, чем благодаря реальному счастью людей[1].

См. также

[править | править код]

Примечания

[править | править код]
  1. ↑ Eliezer Yudkowsky (2003-05-29). "Re: SIAI's flawed friendliness analysis". Shock Level 4 (Mailing list). Архивировано 13 декабря 2009. Дата обращения: 5 августа 2009.

Литература

[править | править код]

Ссылки

[править | править код]
Источник — https://ru.wikipedia.org/ruwiki/w/index.php?title=Дружественный_искусственный_интеллект&oldid=136598955