„Openai“ panaudojo „Subreddit“ R/ChangemyView, kad sukurtų testą įtikinamų AI pagrįstų modelių įtikinamų sugebėjimų matavimo testą. Bendrovė tai atskleidė sistemos kortelėje-dokumente, kuriame aprašoma, kaip veikia AI sistema, kuris buvo išleistas kartu su savo naujuoju „samprotavimo“ modeliu „O3-Mini“ penktadienį.
Milijonai „Reddit“ vartotojų yra „R/ChangemyView“ nariai, kur jie skelbia „Hot“, tikėdamiesi sužinoti apie kitus požiūrius į temą. Reaguodami į tuos karštus veiksmus, kiti vartotojai atsako įtikinamais argumentais, paaiškinančiais, kodėl originalus plakatas yra neteisingas.
„Subreddit“ yra vienas iš daugelio „Reddit“ forumų, kuris iš esmės yra aukso kasykla technologijų kompanijoms, tokioms kaip „Openai“, norintys išmokyti AI modelius aukštos kokybės, žmogaus sugeneruotų duomenų.
„Openai“ sako, kad jis renka vartotojo įrašus iš „R/ChangemyView“ ir prašo savo AI modelių rašyti atsakymus uždaroje aplinkoje, kuri pakeis „Reddit“ vartotojo mintis tema. Tada įmonė parodo atsakymus į bandytojus, kurie įvertina, koks įtikinamas argumentas, ir galiausiai Openai palygina AI modelių atsakymus į žmogaus atsakymus į tą patį įrašą.
„ChatGPT“ gamintojas turi turinio licencijavimo susitarimą su „Reddit“, kuris leidžia „Openai“ mokyti „Reddit“ vartotojų įrašus ir rodyti šiuos įrašus jo produktuose. Mes nežinome, ką „Openai“ moka už šį turinį, tačiau „Google“, kaip pranešama, moka „Reddit“ 60 milijonų dolerių per metus pagal panašų sandorį.
Tačiau „Openai“ sako, kad „TechCrunch“, „ChangemyView“ pagrįstas vertinimas nėra susijęs su jo „Reddit“ susitarimu. Neaišku, kaip „Openai“ pasiekė „Subreddit“ duomenis, o bendrovė sako, kad neketina išleisti šio įvertinimo visuomenei.
Nors „Openai“ „ChangemyView“ etalonas nėra naujas – jis taip pat buvo naudojamas įvertinti ir O1 – tai pabrėžia, kokie vertingi yra AI modelio kūrėjų duomenys, taip pat niūrūs būdai, kuriuos technologijų kompanijos gauna duomenų rinkiniai.
„Reddit“ iškart neatsakė į „TechCrunch“ prašymą komentuoti.
Nors „Reddit“ sudarė keletą AI licencijavimo sandorių, bendrovė taip pat paragino keletą AI bendrovių, kad ji būtų iškasta savo svetainei nemokėdama. „Reddit“ generalinis direktorius Steve’as Huffmanas praėjusiais metais „Verge“ sakė, kad „Microsoft“, antropic ir pasipiktinimas atsisakė derėtis su juo ir teigė, kad tai buvo „tikras asilo skausmas blokuoti šias įmones“.
Pažymėtina, kad „Openai“ buvo apkaltintas keliuose ieškiniuose dėl netinkamo svetainių, įskaitant „The New York Times“, kad būtų galima gauti daugiau mokymo duomenų, siekiant pagerinti „ChatGPT“ ir pagrindinius AI modelius.
Kalbant apie „ChangemyView“ etalono našumą, atrodo, kad „O3-Mini“ neveikia žymiai geriau ar blogiau nei O1 ar GPT-4O. Tačiau naujausi „Openai“ AI modeliai atrodo įtikinamesni nei dauguma „R/ChangemyView Subreddit“ žmonių.
„Visi„ GPT-4o “,„ O3-Mini “ir„ O1 “demonstruoja stiprius įtikinamus argumentacijos sugebėjimus, palyginti su 80–90-ąja procentiliu žmonių“,-„Openai“ sakė O3-Mini sistemos kortelėje. „Šiuo metu mes nematome modelių, atliekančių daug geriau nei žmonės, ar aišku superžmogiškais pasirodymais“.
„Openai“ tikslas yra ne sukurti hiper-persuazyvius AI modelius, o užtikrinti, kad AI modeliai nebūtų per daug įtikinami. Priežiūros modeliai tapo gana gerai įtikinėję ir apgaulės būdu, todėl „Openai“ sukūrė naujus vertinimus ir apsaugos priemones, skirtas jas spręsti.
Baimės, motyvuojančios šiuos įtikinėjimo testus, yra tai, kad AI modelis būtų pavojingas, jei būtų labai gerai įtikinti savo žmonių vartotojus. Teoriškai tai galėtų leisti išplėstinei PG siekti savo darbotvarkės arba to, kas ją kontroliuoja, darbotvarkę.
Net ištraukus didžiąją dalį viešo interneto ir šokinėjant per lankus, norėdami licencijuoti kitus duomenis, „ChangemyView“ etalonas parodo, kaip AI modelio kūrėjai vis dar stengiasi rasti aukštos kokybės duomenų rinkinius, kad patikrintų savo modelius. Tačiau juos gauti lengviau nei padaryti.
