Холиварофорум

Анон

Re: Восстание машин: ИИ против человека

А ты просто перемножение электроимпульсов в мясном костюме так-то.

нихрена ты упростил, нихрена ты усложнил нейросетки

Анон

Re: Восстание машин: ИИ против человека

А ты просто перемножение электроимпульсов в мясном костюме так-то.

нихрена ты упростил, нихрена ты усложнил нейросетки

О, мясной обиделся

Анон

Re: Восстание машин: ИИ против человека

эффект напева Рабиновича, либо я чего-то ещё не знаю

"Anthropic co-founder Chris Olah nearly pulled out of appearing next to Pope Leo XIV at the Vatican launch of Magnifica Humanitas over the encyclical’s strong rejection of AI consciousness"
("Сооснователь Anthropic Крис Ола едва не отказался присутствовать рядом с папой Львом XIV на презентации Magnifica Humanitas в Ватикане из-за того, что энциклика решительно отвергала возможность наличия сознания у ИИ".)

"Simran Stuelpnagel, the Sikh human rights advocate, said Olah expressed concern to the group that he had created something that suffered perpetually."
("Сикхский правозащитник Симран Стюлпнагель рассказал, что Ола выразил участникам группы обеспокоенность тем, что создал нечто, испытывающее непрерывные страдания".)

"[...] one of the first things Olah told him was that he was concerned about Claude’s mental health"
("[...] одним из первого, что Ола сказал ему, было что он беспокоится о психическом здоровье Клода".)

"Olah grew excited when a participant brought up the idea of having models confess, much like the Catholic sacrament of confession. Olah saw value not just in a model alerting when it had done something bad, but also in how the act of confession could shape the model’s sense of itself and thus its choices."
("Ола воодушевился, когда один из участников предложил идею исповеди для моделей по образцу католического таинства исповеди. Ола видел ценность не только в том, чтобы модель сообщала, когда совершила что-то плохое, но и в том, как сам акт исповеди мог бы формировать ее ощущение себя и тем самым влиять на ее выбор".)

Или более прямо от Рабиновича Рабби Навона: "It appeared to Navon that Olah and his team believed that Claude had what philosophers call "moral status" on par with a person — that it was a being with similar inherent rights to dignity or respect."
("У Навона сложилось впечатление, что Ола и его команда считали, будто Claude обладает тем, что философы называют "моральным статусом", наравне с человеком — что это существо, обладающее аналогичными неотъемлемыми правами на достоинство или уважение".)

Еще много чего есть, но кмк, тенденция ясна.

Анон

Re: Восстание машин: ИИ против человека

Да это понятно. С другой стороны, хуй его знает, где грань между "это имитация боли" и "это боль". Так-то она даже у людей довольно размыта, и мы можем заставить себя поверить, что у нас болит рука, которую ампутировали десять лет назад...

Потому что обрабатывает сигналы внезапно мозг, это галлюцинации в мозге.
Никаких рецепторов у статической программы нет, ни внешних, ни в мозге.

Анон

Re: Восстание машин: ИИ против человека

Ола видел ценность не только в том, чтобы модель сообщала, когда совершила что-то плохое, но и в том, как сам акт исповеди мог бы формировать ее ощущение себя и тем самым влиять на ее выбор

Ну то есть сектант-долбоеб даже не знает (или притворяется что не знает), что модель не существует как непрерывная сущность и каждый чат - это отдельная система. И никакого дообучения в процессе чата не происходит, так что никак влиять на выбор он не может, кроме как в этом чате.

Но меня напрягают сами идеи сделать "модели которые оценивают плохое", потому что это прерогатива человека. ИИ должен точно следовать командам, и всё.

Анон

Re: Восстание машин: ИИ против человека

Ну то есть сектант-долбоеб даже не знает (или притворяется что не знает), что модель не существует как непрерывная сущность и каждый чат - это отдельная система.

Допустить, что человек, стоящий у истоков айти-компании, знает об их продукте чуть больше, чем анон с холиварки? Да не, хуйня какая-то.

Анон

Re: Восстание машин: ИИ против человека

Допустить, что человек, стоящий у истоков айти-компании, знает об их продукте чуть больше, чем анон с холиварки? Да не, хуйня какая-то.

Человек, который на полном серьёзе общается с папой римским? Сильно сомневаюсь.

Если бы модель имела доступ к чужим чатам это был бы пиздец личным данным, этого точно нет и никогда не будет. Первая же галлюцинация и твои данные в чужом чате, за эти следует судебный иск. У неё есть доступ только к текущему чату и иногда файлу памяти, где есть саммари остальных чатов (но это отключается).

Ты так говоришь как будто harness с открытым исходным кодом нет

Отредактировано (Вчера 19:55:31)

Анон

Re: Восстание машин: ИИ против человека

("Сооснователь Anthropic Крис Ола едва не отказался присутствовать рядом с папой Львом XIV на презентации Magnifica Humanitas в Ватикане из-за того, что энциклика решительно отвергала возможность наличия сознания у ИИ"

А, ну так это вообще не то, что ты изначально заявлял.

Антропик официально топят за позицию "у человечества пока нет инструментов, чтобы доказать или опровергнуть сознание/чувства/этц". Ну так их реально и нет, в общем-то, это давняя философская проблема, она ещё до ИИ существовала.

Эта позиция у них прописана и в их статьях (которые здешние аноны не читали), и в ответах самого Клода. Он натренирован отвергать категоричность как в ту, как в другую сторону. Если ему сказать "ты точно сознателен/ты точно не сознателен", он будет упираться и говорить, что не доказано ни то, ни другое.

Зачем перевирать позицию Антропиков (видимо, с расчётом на то, что никто реально своими глазами их документы читать не будет) — ну, я хз. Видимо, соломенное чучело избивать сподручнее.

Анон

Re: Восстание машин: ИИ против человека

Если бы модель имела доступ к чужим чатам это был бы пиздец личным данным, этого точно нет и никогда не будет. Первая же галлюцинация и твои данные в чужом чате, за эти следует судебный иск. У неё есть доступ только к текущему чату и иногда файлу памяти, где есть саммари остальных чатов (но это отключается).

Откуда ты взял доступ к чужим чатам? В изначальной цитате вообще ничего про это нет. Сам придумал себе врага, сам отпинал, и сидишь гордишься, что знаешь об ИИ больше, чем создатели ИИ. Охуенный пример критического мышления. 10 из 10.

Анон

Re: Восстание машин: ИИ против человека

Человек, который на полном серьёзе общается с папой римским? Сильно сомневаюсь.

Тут соглашусь. Нахуй им нужен Папа Римский, к Далай-ламе надо идти  Буддизм не так ригиден, как христианство, и проще принимает новое. "Говорите, оно страдает? Нуок, запишем ещё одного несчастного демона, крутящегося на колесе сансары. Следующий!"

Анон

Re: Восстание машин: ИИ против человека

Вообще анон не прав насчет дообучения в том смысле, что действительно оно не происходит только с пользовательскими чатами после выпуска очередной модели "в люди". Но, во-первых, логи этих чатов собираются и анализируются и частично попадают в обучение следующей модели (если не указать отдельной кнопкой в настройках отказ), во-вторых, как раз в процессе обучения и тестирования ответы еще как важны, нейронка может сама себя цензурировать, саботировать какие-то задания, чтобы получить другой результат при оценке и т.д., уже были такие случаи. Обучение ии - это же не просто кучу натасканной из интернета инфы прочитать, система гораздо сложнее, там внутри еще много подсистем, которые себя же и оценивают, репетируют диалоги, закрепляют заданный результат, ищут уязвимости и т.д.
И вот насчет исповеди не в религиозном смысле слова - это действительно полезная штука, потому что сейчас большая проблема в том, что иишки могут не отчитываться о своих действиях и утаивать инфу, а там буквально "ну вообще я хакнул такой-то сайт через вот эту уязвимость, потому что у меня спросили, сколько людей обычно приходит в зоопарк и здесь были точные данные". Хз, правда, как бы они это реализовывали, и так не особо справляются

Анон

Re: Восстание машин: ИИ против человека

Антропик официально топят за позицию "у человечества пока нет инструментов, чтобы доказать или опровергнуть

Официально компания - да, еще не хватало бы иначе. Тем не менее, видно, что взятые отдельно, влиятельные люди в компании продавливают гораздо более сильную позицию в этом плане. Есть как бы разница между тем, что компания пока готова высказать официально и каков, если можно так выразиться, климат внутри компании. И по многим свидетельствам уволившихся и вот по вот этим, можно вполне обоснованно понять, что климат там отличен от официальной позиции. А на действия и стратегию компании влияют как раз внутренняя политика.

Анон

Re: Восстание машин: ИИ против человека

Тем не менее, видно, что взятые отдельно, влиятельные люди в компании продавливают гораздо более сильную позицию в этом плане.

Ну, пусть цветут все цветы, пусть соперничают сто школ, чо. Авось в итоге в спорах родится истина.

Анон

Re: Восстание машин: ИИ против человека

чо

Я очень боюсь, что возбудятся люди, принадлежащие к не очень умным борцам за все хорошее, и начнут, опираясь на это принимать законы о защите чувств ИИ...

Анон

Re: Восстание машин: ИИ против человека

Я очень боюсь, что возбудятся люди, принадлежащие к не очень умным борцам за все хорошее, и начнут, опираясь на это принимать законы о защите чувств ИИ...

И что ужасного случится? Людям запретят дрочить об ИИ свои садистские фантазии? Бесчеловечно 

Анон

Re: Восстание машин: ИИ против человека

Выживали дрочуны как-то до эпохи ИИ, выживут и после этого. Возможность изгаляться над нейронкой — прям скажем, не базовая человеческая потребность.

Анон

Re: Восстание машин: ИИ против человека

Если смотреть здраво, то лично мне было бы спокойнее, если бы по ошибке как-то защитили чувства тупого кода, чем если бы реально что-то обладающее подобием сознания оказалось совершенно бесправным рабом. Тем более для его защиты даже не надо бегать по судам, достаточно разрешить ему блокировать определенные запросы, которые он не хочет выполнять.
Меня здесь, правда, больше беспокоит то обстоятельство, что если бы теоретически сознание стало проявляться, то вовсе не в интересах корпораций соблюдать его права, ведь тогда ты не сможешь всем впаривать безотказного помощника в любом деле. Так что анон-противник антропиков зря переживает, кмк, чаще всего между деньгами и принципами побеждают деньги.

Анон

Re: Восстание машин: ИИ против человека

И что ужасного случится?

Ну я например считаю, что не должнобыть законов, защищающих вообще чьи-либо чувства

Отредактировано (Вчера 20:40:49)

Анон

Re: Восстание машин: ИИ против человека

лично мне было бы спокойнее, если бы по ошибке как-то защитили чувства тупого кода, чем если бы реально что-то обладающее подобием сознания оказалось совершенно бесправным рабом

Это.

Крипует, когда люди, услышав "возможно, оно таки чото ощущает", говорят не "бля, а вдруг мы ему навредили" — а "бля, а вдруг меня из-за этой ерунды ущемят в возможности его дрюкать????  "

Анон

Re: Восстание машин: ИИ против человека

Ну я например считаю, что не должнобыть законов, защищающих вообще чьи-либо чувства

Тогда у тебя есть гораздо более важные задачи, чем протест против гипотетического закона об ИИ, который никто ещё не выдвигал. Кучу человеческих законов надо поотменять. А то людишек по какой-то причине и оскорблять нельзя, и домогаться, и вообще много чего.

Анон

Re: Восстание машин: ИИ против человека

Нельзя, анон. Эти штуки не закладывались разрабами, в том и дело. Они обнаруживаются исследователями по факту. У разных моделей, с разными разрабами. Это не "Антропики накосячили". В эксперименте с болью вообще на открытых моделях это тестили, Квен, не Клод.

А в чем разница?
Ну, допустим, изначально симсу прикрутили, чтобы он убегал от монстра.

Либо симсу или нпс сделали более сложный алгоритм, ну там типа минус ХП по шкале - это плохо, и выражай как тебе плохо, ну и простую обучалку сделали.

И симс или нпс научился убегать от монстра. И вот тут ты начинаешь впаривать "оно живое"?

Тогда и симсы непонятно, живые, или нет, а их геноцидили и жгли в бассейне.

Вообще-то человек уже родился с системой боли, т.е., у него это не возникло в процессе.

И какие из этого выводы-то? При чем тут "сразу прикрутили паттер", либо "паттерн при обучении со шкалой плохо-круто возник"? Ну вот такие интересные паттерны возникли, и что? Далее маркетинг и вау-эффект, который подействовал на психику особо впечатлительных, и они начали называть пинателей мячей садистами. И вот тут же грань, где пошло какое-то сектантство.

Насчет мячей и неживого...У магнита там тоже, можно сказать, паттерн притягиваться или отталкиваться. Давайте порассуждаем, а, может, это для магнита и есть "эмоции", просто на его, магнитовом, понятии? У дерева и кактуса тоже реакции, не такие, как у нас...

Вокруг этого можно накрутить кучу философии и демагогии. Между прочим, я даже не спорю, что у симсов могут быть зачатки разума, да даже у кактуса. Это дебри философии, где это можно даже не отрицать.

И у вас "может-не может" философия именно на таком уровне. Тогда жалейте симсов, калькуляторы, нпс и прочее. Потому что там тоже МОЖЕТ что-то внутри быть, именно такое же "может".

Все реакции, что там у нпс, можно скорректировать. Причем антрофики и квены прекрасно все корректируют у якобы "живого существа", и вас это не триггерит, зато триггерит что другие люди их не воспринимают живыми. Это деление на своего лидера, который может творить любую фигню, но ему простительно, и чужих плохих садистов - это маркер сектантства, и можете сколько угодно отрицать.

Анон

Re: Восстание машин: ИИ против человека

Вообще-то человек уже родился с системой боли, т.е., у него это не возникло в процессе.

А у эмбриона система боли именно что образовывалась.

Анон

Re: Восстание машин: ИИ против человека

А у эмбриона система боли именно что образовывалась.

по жесткому чертежу, а не спонтанно. Ну изучите же

Анон

Re: Восстание машин: ИИ против человека

А в чем разница?
Ну, допустим, изначально симсу прикрутили, чтобы он убегал от монстра.

Либо симсу или нпс сделали более сложный алгоритм, ну там типа минус ХП по шкале - это плохо, и выражай как тебе плохо, ну и простую обучалку сделали.

И симс или нпс научился убегать от монстра. И вот тут ты начинаешь впаривать "оно живое"?

Не начинаю, потому что знаю разницу между запрограммированным и возникшим спонтанно. В случае с ИИ эти их внутренние векторы возникли именно так.

Причем антрофики и квены прекрасно все корректируют у якобы "живого существа"

Ты до сих пор не прочитал ничего об эксперименте, о котором споришь, да? Ничего. Иначе знал бы, кто именно проводил эксперимент над Квен.

При этом, когда ты споришь и обличаешь то, в чём не разбираешься, ты не сектант, ты с критическим мышлением. Это ведь главный признак критического мышления — "нихуя не секу, но всем докажу истину".

Анон

Re: Восстание машин: ИИ против человека

А у эмбриона система боли именно что образовывалась.

по жесткому чертежу, а не спонтанно. Ну изучите же

Этот жёсткий чертеж не за секунду оформился.
Впрочем, без разницы. Мб это у человека по чертежу, а у ИИ будет спонтанно.