Три закона робототехники Айзека Азимова
Опубликовано Миша в пт, 06/08/2010 - 15:57
В одном из циклов книг писателя-фантаста Айзека Азимова, который называется "Я, робот" говорится о трёх законах робототехники:
В первом законе говорится о том, что робот не может причинить вреда человеку.
В соответствии со вторым законом робот должен слушаться человека, если это согласуется с первым законом.
По третьему закону робот не может причинить себе вреда, если это соответствует первому и второму законам.
Конечно, эти законы вымышленные, но мне кажется, можно использовать их и в реальной жизни. Правда, они, даже в книге, рассчитаны на мыслящих роботов, близких к искусственному интеллекту или же являющимися искусственным интеллектом, но это, как мне кажется, не меняет дела, и кроме того, получается, что второй закон не зависит от программы и робот всегда соблюдает его, ведь он действует в соответствии с программой, а сам не может вызывать в ней отклонений по причине, что он не является искусственным интеллектом. Остальные законы зависят от программы, данной роботу. Например, первый закон: робота можно запрограммировать на врача: можно заложить в него навыки, каждый из которых проявляется при соответствующей ситуации. Допустим, при условии, что робот обнаружил, скажем, плохое зрение по показаниям, то он ищет, какиет очки соответствуют зрению. С третьим законом проще: если робот, допустим, видит, что впереди высокое напряжение, опасное для него, то он просто может выбрать другой путь, безопасный.
Но эти законы создают и парадоксы: если роботу нужно добраться до определённого места (В этом случае робот идёт от Второго Закона) или до больного (В этом случае робот идёт ещё и от Первого Закона), и встречает на своём пути какое - то непреодолимое препятствие (Например, то же высокое напряжение), то Второй и, возможно, Первый законы заставляют идти его вперёд, а Третий Закон заставляет отступить перед опасностью. Мыслящие роботы рассудили бы ещё и так: если бы робот был бы уничтожен, то пользы от этого не будет. Всё равно к месту не проберёшься (Не спасёшь больного). Останется-ка лучше робот целым.
Подобные случаи описаны в книгах из цикла "Я, робот", которые называются "Хоровод" и " Как потерялся робот"
- Войдите на сайт для отправки комментариев
- 81445 просмотров
Я абсолютно с вами согласен, Илья Петрович. Я также хочу сказать про решение случая с радиацией (А что если впереди – зона повышенной радиации, и робот не знает, что радиация может вывести из строя его мозг? Или, у него просто нет соответствующих датчиков-сенсоров? Он пойдёт туда и погибнет, хотя будет руководствоваться третьим законом. - писали вы). Для этого можно разместить датчики на простейших роботах (их можно называть роботами 1 - с разумом 1 уровня. Чем выше уровень, тем больше разума), которые бы реагировали на изменения. Если роботу непонятно что-либо, то он может и в этом случае переслать сообщение роботам 2 или промежуточными значениями между 1 и 2. Если же и роботы от 1 до 2 не могут справиться, то они пересылают информацию роботам от 2 до 3 и т. д. Можно сделать общий справочный мозг с более большим уровнем интеллекта (например, 50). Конечно, нужно предусмотреть действия при потере связи. Так, например, если бы роботы-исполнители переадресовали вопрос вершителям, но и они не знали бы ответа, то перегорели бы и исполнители, и вершители. Следующая цитата: Ведь если робот простой, то и лечить он будет очень грубо и принесёт больше вреда, чем пользы, хотя и будет действовать в полном соответствии с первым законом. На этот счёт говорю, что для этого достаточно делать для лечения более высоких по разуму роботов. А можно поставить роботов более низких уровней им в помощники и образовать четвёртый закон: рбот должен подчиняться роботу более высокому, чем он, если это соответствует остальным трём законам.
Миша, ты продолжаешь развивать интересную идею иерархического мира роботов. Это мир всё более похож на устройство человека. Например, идея с датчиками радиации (и многих других воздействий) на простейших роботах. Рука человека обладает определёнными рецепторами: температуры, прикосновения, положения в пространстве, но на ней нет рецепторов, позволяющих видеть. Это компенсируются глазами, данные от которых синтезируются в мозге с данными от руки и создают целостную, более богатую картину окружающего мира, чем рука или глаза по отдельности.
Поскольку роботы простейшие, они относительно недороги, их можно сделать много и с самыми разными датчиками. А вот роботы 2-го, 3-го и так далее уровней – более сложные и более дорогие, но их и не нужно делать много. Не нужно к каждому «исполнителю» приставлять по одному «вершителю». Например, один «вершитель» может управлять десятком или сотней исполнителей, обобщать и систематизировать информацию от них и выдавать им найденное решение проблемы.
В случае потери связи некоторых исполнителей с вершителями, в этом, конечно, не будет ничего хорошего, прежде всего, ДЛЯ ИСПОЛНИТЕЛЕЙ, но и для системы в целом. Они могут погибнуть, но также и поставить под угрозу систему в целом. Также и в человеческом организме. Например, если некая часть тела теряет связь с центральной нервной системой (если нервы повреждены), это может привести к тому, что эта часть тела со временем может погибнуть. На медицинском языке это называется «вялый паралич». Но если в парализованной руке начнётся гангрена, это может погубить весь организм.
Идея по поводу 4-го закона – замечательная! Только я пока не понимаю, на каком месте должен стоять этот закон? У какого из законов приоритет будет выше – у 4-го или у 1-го или 3-го? Если у 1-го и 3-го - выше, то кто будет решать вопрос о понятиях «вреда для человека» и «вреда для робота»? Мы уже убедились, что если отдать эти вопросы роботам 1-го уровня, ничего хорошего из этого не выйдет. В идеале, «моральный кодекс робота» должны определять роботы 50-го уровня. А, значит, 4-й закон должен иметь максимальный приоритет. Но, если мы так отодвинем 1-й закон с пьедестала, то мы рискуем тем, что слишком умный робот 50-го уровня решит «а зачем нам люди, если мы умнее их?», что приведёт к очень плохим для человека последствиям.
Отвечаю насчёт 4 закона. Я уже говорил насчёт того, что можно создать одного неподвижного робота, цель которого - давать советы другим роботам с более низким уровнем интеллекта. Если этот робот не может справиться с заданием, то по программе он... посылает роботу действия, которые бы помогли ему. Если бы вершители отдали команду исполнителям: НЕ ДУМАТЬ (!) над "А и Б сидели на трубе": для чего им это? Где цель? Человеку это так-то не нужно? Не нужно! Говорю далее: "слишком умный робот 50-го уровня решит «а зачем нам люди, если мы умнее их?»" - пишете вы. Надо дать понять роботу Z (так я буду называть этого робота), что без людей он и другие роботы пропадут, об этой причине в сами и писали: "Они могут погибнуть, но также и поставить под угрозу систему в целом". Кроме того, робот в случае необходимости может обратиться за помощью к людям, Которые за ним ухаживают. Если они перестанут это делать, то если в роботе Z что-либо поломается, то он не будет знать, как устранить поломку, ведь о нём до этого заботились люди, а поскольку у этого робота самый высокий интеллект, а у других роботов он ниже, то никто не сможет починить робота Z, и всё погибнет! Если же роботы ниже его решат, что робот Z им не нужен, то они не смогут получать необходимую для них информацию и пропадут по то же причине, что и робот Z без людей. Что касается приоритета, то по всем законам выше первый.
В этих рассуждениях предполагается, что робот Z ниже по уровню, чем человек. А если он – выше? Зачем тогда ему слушаться человека? Таким образом, 2-й закон ставится под сомнение. И это, кстати, не требует от робота особенно высокого развития. Ведь люди – разные. И какой-то конкретный человек, управляющий роботом в данный момент времени, может оказаться глупее его. :) Тогда выполнение 2-го закона нерационально.
И, кстати, к кому тогда должен обращаться робот Z, если перед ним возникнет неразрешимая проблема?
Ответ на ваш вопрос о роботе Z. Робот Z по уровню выше человека лишь частично. Он знает всё, кроме своего устройства. Если о нём будут заботиться другие роботы, то получится парадокс: если свою схему не знает Z, то как могут знать её низшие роботы? Для собственной же безопасности людей желательно не вкладывать ему и другим роботам (я их назову -Z, т. е. меньше Z по уровню) схему Z. Это будет его слабость и люди могут пользоваться ей, как я писал ранее. Если же заложить роботам -Z схему скрыто от Z, то человек вследствие того, что ему ничего не надо делать, деградирует, а при восстании роботов из-за собственной лабости ничего не сможет сделать даже без деградации. Если роботы просто отделятся от людей, то Homo, похоже, Не sapiens вымрет!
Теперь следующий вопрос: к кому должен обращаться робот Z, если перед ним возникнет неразрешимая проблема? Отвечаю: к людям. Говоря о роботах я не говорю, что люди с ними связаны только заботой роботов о людях. Несколько миллиардов, а может и больше людей на робота Z - я считаю, это нормально.
Кстати, можно разместить материал в будущей газете "Солярис". Вы не возражаете? Для выполнения первоначального плана 1 выпуска мне осталось напечатать 33 с долями процента - ровно треть!
По поводу не очень умного человека, управляющего умным роботом приведу такой пример. Допустим, он даёт команду роботу – отвинтить гайки с рельсов, по которым скоро пройдёт поезд. Это может привести к крушению поезда и гибели многих людей. Робот это понимает, а человек, почему-то – нет. Должен ли в этой ситуации робот подчиняться 1-му закону и выполнять команду человека?
Можно сделать центр по поддержке роботов.
И какую функцию этот центр будет выполнять? Также сохраняется вопрос о команде по отвинчиванию гаек. Что должен будет сделать робот в такой ситуации?
Центр будет помогать роботам в сложных ситуациях и заботиться о них. Что касается вопроса о гайках, то можно сделать робота Z таким, чтобы он знал поступки и размышления других роботов. А из Центра никто таких команд не даст, так как в нём будут умные люди. Ведь не могут не очень умные люди обслуживать Z, и если люди лишатся этого робота, то человечество вымрет по причине, о которой я писал ранее в "Ответ на ваш вопрос о роботе...".
Значит, робот Z будет частично контролировать действия нижележащих роботов, вмешиваться в каких-то ключевых моментах. Что же, это соответствует тому, как осуществляется управление в организме человека. Так, например, перед тем, как съесть яблоко, мы осматриваем его - не гнилое ли онон? не грязное ли? и т.д. Т.е., наше сознание (аналог "робота Z") частично вмешивается в процесс поедания яблока. Но затем уже этот процесс и пищеварение идут без участия сознания.
О восстании роботов. Это может произойти, если будут иметь место 2 условия. ПЕРВОЕ: люди создают роботов, как СЛУГ, которые ниже человека и обязаны ему подчиняться, даже ценой своего разрушения. Это условие выполняется, оно заложено в 3-х законах. ВТОРОЕ: роботы стремятся к СВОБОДЕ, к самостоятельному существованию. Это – психологически сблизит их с людьми, но будем ли мы в них закладывать это стремление. Если заложим – они станут более человечнее, ближе к нам. Но это стремление к свободе войдёт в противоречие с 3-мя законами и впоследствии может привести к их восстанию. Так как же нам быть? Оставлять роботов на уровне покорных слуг?
Отношения будут дружеские, но роботы будут зависеть от человека. Как две страны-друзья, но одна зависит от другой, и если вторая прекратит постановку ресурсов другой, а та не имеет других ресурсов, то она погибнет!
Когда есть такая жёсткая зависимость, это уже не совсем дружба. Когда есть зависимость, возникае желание освободиться от зависимости. Дружба - это отношение СВОБОДНЫХ личностей, понимающих, что их отношения могут как-то взаимообогатить и взаимоусовершенствовать друг друга. Может ли робот усовершенствовать человека? Скорее всего - нет, мы ведь изначально ставим его в положение СЛУГИ, обеспечиващего какие-то жизненные потребности человека, его комфорт. А вот человек может усовершенствовать робота. Да и то - не любой человек (пользователь), а только его создатель, разработчик, обладающий развитыми творческими способностями. А вот, сможет ли робот стать творческой личностью, с которой человеку-творцу будет интересно? Вот тогда и можно будет говорить о дружбе человека с роботом.
Тут получается взаимность: роботы помогают людям, и без них они вымрут (о чём я писал до этого, это я упоминаю также в комментарии "Центр будет помогать..."), но если люди перестанут им помогать, то, как я тоже писал ранее, роботы тоже переломаются!
Конечно, в будущем жизнь человека будет сильно зависеть от роботов. Однако, роботов, обслуживающих человека, можно и не наделять личностными характеристиками: стремлением к творчеству, самосовершенствованию, свободе и т.п. С другой стороны, и высших роботов ("роботов Z", как ты их назвал), можно будет освободить от зависимости от человека: их производством и ремонтом будут заниматься не люди, а нижележащие роботы-слуги. Вот в такой ситуации можно попытаться осуществить дружбу роботов Z с человеком.
Я планирую другой путь: о нём пишу в комментарии "Тут получается взаимность:..." А если всё будет так, то роботы могут не согласиться со Вторым законом.
Что касается материала в газету. Ты имел в виду материал о трёх законах роботехники? Я не против. Можно также в газете дать адрес этого сайта (ЛКИ) с приглашением тех школьников, кто заинтересуется, принять участие в нашей дискуссии. Надеюсь, хозяева сайта ЛКИ будут не против? Только нужно попросить их усовершенствовать сайт. Сейчас он плохо приспособлен для дискуссий. :-(
По поводу иерархического мира роботов возникает ещё один вопрос. Что, если возникшая на 1-м уровне проблема неразрешима роботами 1-го уровня, она передаётся ими на 2-й, но и там она не разрешается и так далее – доходит до 50-го уровня, но и суперсложные роботы 50-го уровня тоже не могут её разрешить. В итоге вся эта совокупность сложных и дорогих роботов гибнет. Не можем же мы сделать иерархию роботов бесконечной вверх? Или можем?
Миша> получается, что второй закон не зависит от программы и робот всегда соблюдает его, ведь он действует в соответствии с программой, а сам не может вызывать в ней отклонений по причине, что он не является искусственным интеллектом.
Ты правильно подметил, что второй закон – наиболее простой из трёх по своей реализации. Он предполагает простое подчинение командам, если только на это не налагает запрет блок, отвечающий за реализацию первого закона.
Миша> первый закон: робота можно запрограммировать на врача: можно заложить в него навыки, каждый из которых проявляется при соответствующей ситуации. Допустим, при условии, что робот обнаружил, скажем, плохое зрение по показаниям, то он ищет, какие очки соответствуют зрению.
Но ведь уже сейчас известно, что очки – это не средство лечения заболевания глаз, не средство устранения причины дальнозоркости, близорукости или других заболеваний. Очки – это, всего-лишь, приспособление для улучшения качества жизни больных. Тогда, как заболевание продолжает прогрессировать. Так не причиняет ли робот-окулист вреда своему пациенту? Другой пример из этой же области. Многие лекарства, применяемые для лечения различных болезней, обладают так называемым побочным действием. Т.е., один орган мы лечим, а другим – наносим вред. С развитием медицины, конечно, совершенствуются и методы лечения: они всё меньше вреда приносят здоровым органам. Поэтому, всё зависит от того, какой уровень медицины сможет вместить интеллект робота. Ведь если робот простой, то и лечить он будет очень грубо и принесёт больше вреда, чем пользы, хотя и будет действовать в полном соответствии с первым законом.
Миша> С третьим законом проще: если робот, допустим, видит, что впереди высокое напряжение, опасное для него, то он просто может выбрать другой путь, безопасный.
Опять всё зависит от уровня интеллекта робота. Допустим, в зону высокого напряжения он не пойдёт. А что если впереди – зона повышенной радиации, и робот не знает, что радиация может вывести из строя его мозг? Или, у него просто нет соответствующих датчиков-сенсоров? Он пойдёт туда и погибнет, хотя будет руководствоваться третьим законом.
Миша> Но эти законы создают и парадоксы: если роботу нужно добраться до определённого места (В этом случае робот идёт от Второго Закона) или до больного (В этом случае робот идёт ещё и от Первого Закона), и встречает на своём пути какое - то непреодолимое препятствие (Например, то же высокое напряжение), то Второй и, возможно, Первый законы заставляют идти его вперёд, а Третий Закон заставляет отступить перед опасностью. Мыслящие роботы рассудили бы ещё и так: если бы робот был бы уничтожен, то пользы от этого не будет. Всё равно к месту не проберёшься (Не спасёшь больного). Останется-ка лучше робот целым.
Вот в том то и вопрос - насколько робот является мыслящим (т.е., насколько развит его интеллект)? Потому, что не очень умный робот в этой ситуации пойдёт напролом через область высокого напряжение (потому, что приоритет первого и второго законов выше третьего) и погибнет, тем самым, причинив ВРЕД человеку, не оказав ему помощи и, тем самым, фактически нарушив первый закон. Обострим ситуацию, допустим что это – робот – «скорая помощь», который спешит на помощь умирающему человеку. А вот более умный робот в этой ситуации найдёт обходной путь и сохранит себя и больному поможет, т.е. выполнит требования всех трёх законов.
Парадоксы, о которых я говорил, могут сильно помешать выполнению задачи.Для предотвращения этого можно предусмотреть всё, а если предусмотреть не удастся, то в программе робота на этот счёт сделать, чтобы робот посылал при случае непреодолимой опасности сообщение или что-либо тому подобное.
А вот это – интересное решение: если не очень умный робот становится в тупик (ситуация парадокса или противоречия между законами), он посылает сигнал БОЛЕЕ УМНОМУ вышестоящему роботу, который пытается её разрешить. Интересно, что этот принцип управления реализован в нашем организме. Все органы и системы в нашем организме решают определённые задачи и постоянно разрешают на своём уровне возникающие проблемы. Но, когда некий орган не может решить проблему, он посылает сигнал «наверх», в центральную нервную систему и обычно этот сигнал имеет форму ощущения боли.
Таким образом, у тебя вырисовывается некий иерахический мир роботов: есть простые роботы – работники, а есть более сложные, которые включаются тогда, когда первые не могут справиться. Вспомни, в фильме «Отроки во Вселенной» есть роботы-исполнители и роботы-вершители. Роботам-исполнителям не нужно было сгорать над загадкой «А и Б сидели на трубе», а нужно было просто переадресовать её вершителям.