Нейрасеткі ўжо зараз выконваюць столькі функцый, што шмат хто трывожыцца, як бы ў перспектыве не застацца беспрацоўным. “Штодзень” вырашыў праверыць глыбіню ведаў ChatGPT і прапанаваў яму адказаць на пытанні Цэнтралізаванага тэставання па гісторыі Беларусі. Ці здолеў бы штучны інтэлект вытрымаць экзамен і паступаць у беларускі ВНУ? Даведаемся напрыканцы артыкула.
Папярэдне мы запыталіся ў нейрасеткі, ці знаёмая яна з гісторыяй Беларусі. Адказ атрымалі станоўчы.
Каб эксперымент быў паўнавартасным, штучнаму інтэлекту знайшлі “канкурэнта”: асобу, што скончыла школу даволі даўно, мае прафесію, ніяк не звязаную з гісторыяй Беларусі. Жывы чалавек ніяк папярэдне не рыхтаваўся, адказы даваў, арыентуючыся на агульную эрудыцыю і логіку, не карыстаўся гуглам ці іншымі крыніцамі інфармацыі.
Мы скарысталіся пытаннямі ЦТ-2022, якія былі даволі няпростымі і для добра падрыхтаваных абітурыентаў. У мінулым годзе цяжкасці выклікалі, напрыклад, пытанні тыпу “Якія з пяці выказванняў адпавядаюць рэчаіснасці”, бо не было пазначана, колькі адказаў дакладныя. Раней (і ў 2023 годзе) было прапісана: “З пяці выказванняў толькі тры адпавядаюць рэчаіснасці”. І ўвогуле пытанні мелі высокі ўзровень складанасці. Але ж штучны інтэлект павінен ведаць усё, ці не?..
Вось колькі правільных адказаў далі нашыя “абітурыенты”.
Частка А
ЧАЛАВЕК: 17 дакладных адказаў
ChatGPT: 16 дакладных адказаў
Частка Б (больш складаная)
ЧАЛАВЕК: 3 дакладныя адказы, 1 часткова дакладны, 12 недакладных.
ChatGPT: 2 дакладныя адказы, 2 часткова дакладныя, 12 недакладных.
Падсумуем:
ЧАЛАВЕК: 42% дакладныя адказы
ChatGPT: 38% дакладных адказаў
Варта ўлічыць некалькі акалічнасцяў, якія маглі паўплываць на канчатковы вынік.
ChatGPT не ўмее аналізаваць графіку, толькі тэксты. У абраным намі варыянце ЦТ быў малюнак – мапа БССР пасля першага ўзбуйнення. Каб чат зразумеў сэнс пытання, мы зрабілі тэкставае апісанне мапы (якія гарады ўваходзілі ў склад БССР, а якія – не). Калі б пытанне было архітэктурнай ці мастацкай тэматыкі, нейрасетка не здолела б на яго адказаць.
ChatGPT не заўсёды разумее сам тып заданняў (мо й тыя абітурыенты, што набіраюць зусім нізкія балы, таксама не зразумелі, як адказаць?). Так, цяжкасці выклікалі заданні тыпу “Суаднясіце прозвішчы чатырох аўтараў з назвамі твораў”. Прыйшлося перафармуляваць пытанне па прынцыпу “Хто напісаў гэты твор” і прапанаваць выбраць.
Як нам падалося, часам ChatGPT не разумеў пытанне, бо складальнікі ЦТ вымушаныя выкарыстоўваць фармуліроўкі ў тым выглядзе, у якім яны пададзеныя ў падручніках. А іх аўтары апошнім часам выкарыстоўваюць не агульна прынятыя тэрміны, а тыя, што выкарыстоўвае прапаганда. Напрыклад, не “объединение”, а “воссоединение” Беларусі ў 1939 годзе (каб ChatGPT слухаў Азаронка ці глядзеў фільмы накшталт “На другім беразе”, вынік, можа, быў бы лепшы). Як даюць рады з такімі пытаннямі дзеці? Падрыхтоўка да ЦТ – гэта не толькі паглыбленне ведаў па гісторыі, але яшчэ і дрэсіроўка на тэму “адкажы так, як у падручніку”. І паколькі школьныя настаўнікі такія трэніроўкі не праводзяць, інстытут рэпетытарства ў бліжэйшы час дакладна не спыніць сваё існаванне.
Што цікава, з пытаннямі, адказ на якія можна знайсці праз логіку, і чалавек, і нейрасетка хутчэй давалі рады, чым з тымі, дзе патрэбны дакладныя веды. ChatGPT здолеў уставіць у сказ прапушчаны выраз (трэба было выбраць паміж “забаронена” і “дазволена”), але вырашыў, што Максім Танк напісаў “Новую зямлю”. Становіцца зразумела, чаму нейрасетку называюць “штучным інтэлектам” і чым яна адрозніваецца ад пошукавай сістэмы, якая, наадварот, знайшла б дакладныя дадзеныя, але не здолела б прааналізаваць.
І чалавек, і сетка, паказалі невысокія вынікі. Пра прэстыжныя прафесіі ў сталічных ВНУ гаворка не вядзецца, але на платнае аддзяленне на не самых папулярных факультэтах яны б паступілі. Як бачна, ChatGPT – рэч разумная і карысная, але пакуль ягоныя веды наўрад ці складаюць сур’ёзную канкурэнцыю чалавеку. Прынамсі, беларускім гісторыкам хвалявацца пакуль дакладна не варта.
