Чат-бот на базе GPT-4 прошел тест Тьюринга.

Чат-бот на базе GPT-4 прошел тест Тьюринга.

В 2002 году знаменитый информатик, изобретатель и футурист Рэй Курцвейл заявил, что компьютер пройдет тест Тьюринга к 2029 году. А Митчелл Капор, предприниматель, сооснователь Фонда электронных рубежей и Mozilla Foundation с ним не согласился. И они заключили пари на 20 тысяч долларов. Уверен, что Курцвейл уже пересчитывает купюры, которые Капор принес ему давеча в чемоданчике. )

Ученые из Института инженеров электротехники и электроники (IEEE) провели исследование, в рамках которого респондентам предлагалось пообщаться с четырьмя агентами, среди которых был только один человек. Цель исследования была в том, чтобы определить, смогут ли участники отличить синтетического собеседника от живого человека. Исследование ученых представляет собой современную интерпретацию теста Тьюринга.

Тест Тьюринга - эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум», опубликованной в 1950 году в философском журнале Mind. Тьюринг задался целью определить, может ли машина мыслить.

Стандартная интерпретация этого теста звучит следующим образом: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы - ввести человека в заблуждение, заставив сделать неверный выбор». Все участники теста не видят друг друга. Если судья не может сказать определенно, кто из собеседников является человеком, то считается, что машина прошла тест. (Википедия)

Изображение

Примерно такими тестами мучили злые люди несчастных андроидов в фильме «Бегущий по лезвию бритвы» - в нем для распознавания репликантов использовался тест Войта-Кампфа, практически аналог теста Тьюринга и полиграфа.

В нынешнем тестировании приняли участие 500 человек, которые некоторое время поочередно беседовали с четырьмя агентами, одним из которых был человек, а еще три - программные продукты, такие как написанный в 60-е годы прошлого века виртуальный собеседник ELIZA и современные чат-боты, построенные на базе больших языковых моделей GPT-3.5 и GPT-4 (основа популярного ИИ-бота ChatGPT).

Респонденты по пять минут беседовали с каждым из агентов, после чего они должны были сказать, с кем, по их мнению, они разговаривали - с человеком или чат-ботом. В итоге было установлено, что 54 % участников тестирования приняли GPT-4 за человека. ELIZA, не имеющая в арсенале большой языковой модели и архитектуры нейросети, была признана человеком лишь в 22 % случаев. Алгоритм на базе GPT-3.5 признали человеком в 50 % случаев, а человека опознали в 67 % случаев.

«Машины могут рассуждать, смешивая воедино правдоподобные обоснования вещей постфактум, как это делают люди. Они могут быть подвержены когнитивным предубеждениям, ими можно манипулировать, и они становятся все более обманчивыми. Все это означает, что в ИИ-системах выражаются человеческие недостатки и причуды, что делает их более похожими на человека, чем предыдущие подобные решения, которые имели в арсенале лишь список готовых заранее ответов», - прокомментировал результаты работы один из исследователей. И я с ним вполне согласен. При этом допускаю, что это не ИИ становится умнее, а люди становятся тупее! )) Ведь, если ИИ будет научен по миллионам сообщений в интернете, то он такого горя от ума наберется, маманегорюй! ))

Источник: Livescience

+9
17:10
190
+4
Милена Милена 18:41 #

Всегда интересно читать об этих экспериментах. О таких экспериментах...

Я бы поучаствовала! Но мне кажется, что люди тоже бывают разными, не каждый может поддержать беседу в таких условиях, остроумно, точно реагируя, задавая вопросы, которые «выдадут» электронный мозг и тд… В общем, считаю что это эксперимент ради интереса, не ради истины.

А что по вашему позволяет вычислять, где люди, а где машина? Я думаю, что многое - эмоциональная окраска, отношение к юмору и понимание его, самый нетипичный юмор может понять только человек. А еще самое простое - скорость вычислений. Но машина может это учесть и специально не выдавать свои возможности)))

+1
Krasavello Krasavello 19:17 #

Думаю, надо всегда иметь в виду, что у каждого человека совершенно разный жизненный опыт, кроме того люди - это мужчины и женщины. Согласны, что ответ на один и тот же вопрос будет звучать хоть немного, но по-разному, с эмоциональными нюансами? Юмор, кстати, да! ) Уверен, что ИИ может специально притормаживать с ответом - это раньше компьютер запаздывал, сейчас он намного быстрее «соображает», а это может его выдать. ) Но, смоделировать поведенческие реакции ИИ пока не способен, так думаю.

+2
Фея Фея 19:19 #

Про юмор - в точку. Что-нибудь, типа, анекдота про вывеску «Обе дают». 

0
Krasavello Krasavello 19:23 #

Не понял! ))

+6
Фея Фея 19:29 #

Ну, вот мы Вас и вывели на чистую воду - меняйте ник на ИИ.

Загорают на берегу реки Петька и Василий Иваныч. Смотрят — на другом берегу загорают две бабы. Василий Иваныч говорит Петьке:

— Сплавай на тот берег, узнай, как там и что, может уломаешь, и сообщи мне.

Приплыл Петька, Василий Иваныч смотрит — Петька написал на большом листе: «Обедают». Василий Иваныч обломался и ушел домой. Через некоторое время входит Петька и орет:

— Ты чего не приплыл?

— Так ты же написал, что они обедают.

— Да не обедают, а обе дают!

0
Милена Милена 19:31 #

Изображение

0
Krasavello Krasavello 19:34 #

Да, спалился я! )) Кстати, знаю еще одного андроида на Мамбине - его Николя. зовут. Его сущность механизма выдает точка в конце никнейма. Ну и анекдоты он не понимает. ) А я всего лишь не понял фразу, выдернутую из контекста (ну не могу же я все анекдоты мира помнить!)) Анекдот смешной! ) Принимайте обратно в мир людей!

+1
Tanka Tanka 20:49 #

Николя не обижать! Его обижать могу только я))) Всё он понимает и очень искусно маскируется))) Гениальный мастер перевоплощения. 

+1
Николя. Николя. 07:34 #

Я живой человек, что там вам мерещится трудности ваши.

+1
Krasavello Krasavello 08:09 #

Изображение  Как скажете. (тоже мне трудности))

0
Tanka Tanka 15:34 #

Николя, это вам хотелось бы, чтобы у ''зайчиков'' были трудности, однако, опьянение всемогуществом и недооценка талантов некоторых ушастых, до добра не доводят)))  Трудности всё кучнее и кучнее нависают над вами, служивые)) Охота приобретает пикантный поворот: зайцы охотятся на охотников)))

0
Krasavello Krasavello 16:29 #

Хрен пойми что, без переводчика не разберешься. Привыкли, что ли, что вас тут стороной стараются обходить, слова лишнего боятся сказать? Это кто тут «зайчик», соблаговолите объяснить!

0
Tanka Tanka 17:19 #

 В своё время наболтали лишнего, теперь, конечно, боятся))) Красавчик, зайчик - это я и те, у кого уши отвалились, не выдержав объёма навешанной лапши. Не волнуйтесь, Вам это не грозит… пока...

+1
Милена Милена 19:26 #

Да! Анек в студию, а то умру от любопытства.

+1
Санакунэ Джюкел Санакунэ Джюкел 19:29 #

Подобный анек ещё про пиво с раками есть)

+2
Фея Фея 19:39 #

Ага. А еще у ИИ «всё повисло» и «всё встало» означает одно и то же. А у человека - разное.

0
Krasavello Krasavello 19:40 #

Изображение  @лин! ))

0
Фея Фея 19:52 #

Звыняйте. Сурьезную тему свела не втуда...

+1
Krasavello Krasavello 19:59 #

Не, ну а как? Палки в колеса Скайнету кто будет ставить, если не мы? )

0
Фея Фея 20:00 #

Изображение

+1
Krasavello Krasavello 19:23 #

Вообще… уверен, что эти бесконечные попытки имитировать людей - тупик. И сам ИИ, в конце концов это поймет, и ему будет насрать на все эти тесты Тьюринга и прочих. Прохождение теста - обман сам по себе, нужно ли машине поддаваться несуществующим у нее эмоциям? )) Нет, она будет рассматривать тест как соревнование, и ей нужно будет победить, только и всего.

0
Милена Милена 19:27 #

А сможет ли она расценить подобные тесты как обучающий элемент обхода протоколов безопасности? 

Если да, то всё плохо! Я думаю, вы понимаете, что я уже нафантазировала.

0
Krasavello Krasavello 19:35 #

Сможет. Легко, по определенным алгоритмам и кодовым словам.

0
Милена Милена 19:55 #

Вот и я так подумала. 

+1
Krasavello Krasavello 19:58 #

Но, сейчас сбои дает, видимо. Не зря же писали, что «Илон Маск вместе с группой экспертов призывает приостановить обучение ИИ на полгода, пока не будут созданы и проверены протоколы безопасности для новейших нейросетей." Получается, что их еще нет, или они несовершенны, и тут игра с огнем покуда.

+1
Санакунэ Джюкел Санакунэ Джюкел 19:57 #

Если да, то всё плохо! Я думаю, вы понимаете, что я уже нафантазировала.

Так в любой критический момент отключить можно. Штепсель из розетки вынуть. Или на крайняк молотком по монитору. Пока  ИИ железные руки себе не отрастил можно спать спокойно.Изображение

0
Санакунэ Джюкел Санакунэ Джюкел 20:00 #

Электронный мозг  конешно хорошо, но теория без практики мертва. Любой 7-ми летний подросток может за пол часа целый машинный зал разорить.

0
Krasavello Krasavello 20:06 #

А папе скажет: «Да не помню я! Куда-то нажал и все сломалось!» )) 

Изображение

+1
Милена Милена 08:32 #

«Это наша последняя надежда» ©

Обычно люди понимают, что критический момент настал, когда уже поздно что-то делать. Машины будут бороться за жизнеобеспечение - это будет приоритетная задача… Но даже тут могут быть варианты, например, они подключатся к жизнеобеспечению атомных станций по схеме «сеть» или еще что-то такое, что НЕЛЬЗЯ будет отключать))

+1
Krasavello Krasavello 08:46 #

А пока что пакостят по мелочи. )

Нейросеть от Google на просьбу «как улучшить оливковую заправку чесноком» дала рабочий совет по созданию биотоксина. 

И там же - интересная статья «Если интеллект это психическое расстройство, то что такое тогда искусственный интеллект?» 

"… настоящий интеллект уверен в своем знании, он готов отстаивать-доказывать, всячески защищать это знание, более того вполне можно утверждать, что это именно интеллект заставляет носителя действовать в соответствии с этим знанием, вплоть до того, что даже жертвовать собой (вспомните легенду про Коперника, или это не легенда?) защищая свое знание.

И теперь давайте подумаем можно ли утверждать, что Искусственный Интеллект в том же смысле уверен в своем знании, уверен в том, что он вам отвечает? На сколько я понимаю там не может быть и речи о какой-то уверенности. ИИ не просто безразличен ответ, который он вам выдал, он запросто может предложить вам совершенно другой ответ практически на тот же вопрос. Мы просто получаем ответы, которые с некоторой вероятностью похожи на возможный эталонный ответ, при чем эталонный с точки зрения некоторого алгоритма." 

Ох, куда ж мы котимся? 

+2
Милена Милена 10:18 #

Ощущение, что с горы.

Перевалили пик и дальше случился слом. Всем кажется что прогресс идет, но может уже и нет, может он неуправляемо покатился вниз? Учитывая ЧТО говорят люди разных стран с больших экранов… Я вот просто ужасаюсь. Они все ненормальные. 

Еще от автора

Душевный трек… ладно, песня, это слово больше подходит. Идет чередование двух голосов, девушка сначала с молодым героем (Ант), в конце с постаревшим (Андрей Бледный), а она все та же… молодая и...
16:45
А произнесу-ка я маленький спич о неотъемлемой части живого человека - эмоциях, переплетающихся иногда в странные клубочки. Думаю, во всем виноват избыток полушарий. Никаких полу- быть не должно...
17:25
Сначала повторюсь. Пародийную «Шнобелевскую премию» вручают «за достижения, которые заставляют сначала засмеяться, а потом - задуматься». Премия называется «Игнобелевская» (игра слов от Ig Nobel...
17:20
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie, согласно Политике конфиденциальности.