Іван
Прачытаў If Anyone Builds It, Everyone Dies by Yudkowsky & Soares. Кніга пра тое чаму дастаткова прасунуты штучны інтэлект прывядзе да зьнішчэньня чалавецтва. І прапанова, што можа давайце ня будзем сябе забіваць так бяздарна. Я лічу гэтую праблему самым важным экзамэнам чалавецтва ў гэтым стагоддзі. Беларусь, Украіна, Палестына, Ізраіль, Тайвань, усё будзе ня важна, калі мы ўсе памром.
Sep 29 at 8:41pmWeb
Show threadMaximus Decimus MeridiusSep 29
@alpha_mouse дзе можна спампаваць каб пачытаць?
Show threadІванSep 30
@maximus Думаю, там жа, дзе ўсе іншыя рэчы, на the pirate bay, ці дзе яшчэ. Я сваю пакупаў. Зусім бясплатна і легальна можна пачытаць кшталту FAQ на сайце кнігі, https://ifanyonebuildsit.com/resources
Online Resources | If Anyone Builds It, Everyone Dies | If Anyone Builds It, Everyone Dies

Supplementary materials and extended discussions for the book If Anyone Builds It, Everyone Dies by Eliezer Yudkowsky and Nate Soares

Show threadSpectral Sep 30
@alpha_mouse а можна тэзісна? Чаму пабудова прасунутага ШІ прывядзе абавязкова да знішчэння чалавецтва?
Show threadIjon TichySep 30
@spectral @alpha_mouse можна напрыклад у чатагпт запытаць - ен мне ўсе падрабязна растлумачыў.
Show threadІванSep 30
@ijontichy @spectral Так, пакуль яшчэ можна верыць адказам ШІ пра пагрозу ШІ.
Мой варыянт:
1. "Інтэлект" як уменьне дасягаць мэтаў, не карэлюе з чалавечымі каштоўнасьцямі.
2. Мы ствараем усё больш інтэлектуальныя сыстэмы, але маем толькі магічнае разуменьне як яны працуюць, і ня маем механізмаў што гарантавалі б захаваньне каштоўнасьцяў.
Аналёгія, як у казках калі джын выконвае загад, але ня так як хацелі. Не са зла, а бо колькасьць спосабаў зрабіць як літаральна сказана неімаверна большая.
Show threadIjon TichySep 30
@alpha_mouse @spectral у сучасных "інтэллектуальных" сістэмах няма нічога магічнага. Магія пачынаецца, калі ідуць размовы пра AGI - вось там якой толькі эзатэрыкі не прыдумляюць, каб уразіць інвестараў. Магчымасці тагож чатагп канешне ўражваюць, але я нешта не веру, што гэта ў наступнай ітэрацыі ператворыцца ў сапраўдны інтэллект, а не ў генерылку тэкстаў.
Show threadІванSep 30
@ijontichy @spectral На роўні перамнажэньня матрыцаў то так, зразумела. Але як з гэтага атрымоўваецца нешта што неабсурдна размаўляе чалавечаю моваю, ды разьвязвае задачы, тут яшчэ шмат бракуе разуменьня. Па аналёгіі, мы маем неблагое ўяўленьне пра працу нейронаў, але як зь іх утвараецца сьвядомасьць - не.
Кніга не сьцьвярджае што менавіта ў парадыгме трансформэраў чалавецтва зробіць AGI. Аргумэнтацыя ня надта залежная ад цяперашняй парадыгмы. Хоць і не адмаўляе такое магчымасьці.
Show threadSpectral Sep 30
@alpha_mouse цікавыя ідэі але не згодны з імі амаль цалкам.
1. Што такое чалавечыя каштоўнасці? Тыя ж самы правы чалавека далёка не паўсюль прымаюцца і выконваюцца людзьмі.
2. Сучасныя тэхналогіі працуюць не на магічным мысленні а на падвышэнні ўзроўню абстракцыі. То бок мне звычайна не патрэбна ведаць як працуе кампілятар але калі я пабачу што ён працуе не так як я чакаў то я магу паглядзець унутар(асабліва калі ён з адкрытым кодам) і зразумець у чым праблема.
Show threadSpectral Sep 30
@alpha_mouse У выпадку з нейронкамі гэта складаней зрабіць з-за вялізнага памеру, гэта больш падобна на статыстычны аналіз, калі людзі даюць розныя тыпы задач і глядзяць якія часткі нейронкі актывізуюцца. Крыху падобна на FMRI. Але так, матэматычна дакладна амаль немагчыма прадказаць адказ перад запускам задачы, таму я ўпэўнены што там дзе памылка будзе каштаваць вельмі шмат сістэмы на аснове LLM без чалавечага дагляду ўжывацца не будуць.
Show threadSpectral Sep 30
@alpha_mouse мне падаецца самыя вялікія выклікі для чалавецтва і ШІ зараз звязаны з масавым кантролем грамадзян і ўжыванні ў зброі. Праз год ужо будуць масавымі прымяненне дронаў з аўтадаводам. То бок аператар толькі ўказвае каардынаты прыблізна а ШІ знаходзіцць і знішчае. У абодвух выпадках ШІ гэта інструмент у руках не заўсёды добрых людзей.
Show threadІванOct 1

@spectral
1. Эвалюцыя выбудавала ў нас каштоўнасьць маралі і справядлівасьці. Людзей у якіх гэтых якасьцяў меней мы называем сацыяпатамі. Строваныя намі ШІ, па змоўчаньні і бязь вельмі вялікай працы, ня будуць кіравацца чалавечаю маральнасьцю наагул.

2. Файны прыклад з кампілятарам і FMRI. Важнае адрозьненьне, што калі ШІ зробіць "памылку", яе немагчыма выправіць у тым жа сэнсе, як у кодзе кампілятара. І немагчыма гарантаваць што памылка была наогул выпраўлена, можа проста схаваная глыбей.

Show threadSpectral Oct 1
alpha_mouse дзякуй за адказ. Дадам яшчэ некалькі нюансаў.
1. Магчыма эвалюцыя выбудавала ў нас каштоўнасці маралі і справядлівасці але толькі унутры групы якія чалавек усведамляе як "сваіх". Да іншых хутчэй ідзе адваротны накірунак і там ужо пачынаецца тэорыі гульняў і максімізацыі каштоўнасці.
2. Любая дастаткова складаная праграмма з'яўляецца непрадказальнай, асабліва за межамі перадвызначанага ўвода. Гарантуе выпраўленне і там тэст які сапастаўляе ўвод і вывад.
Show threadSpectral Oct 1
Яшчэ па п2. Існуе клас функцыянальных праграмм карэктнасць якіх можна даказаць матэматычна, але нават у чыпак якія іх выконваюць сонечная радыяцыя можа пераключыць біт з 0 на 1.
Пагаджуся што на дадзены момант выпраўляць багі ў ШІ мадэлях складаней але мне падаецца гэта праблема інструментарыя які пацягнецца.