Създателят в „Стража“ Благослав Михайлов написа коментар в профила си в социалната мрежа Facebook относно навлизането на технологиите и притесненията, които това предизвика у някои хора как ще упражняват своите професии в бъдеще. Публикуваме анализа му без редакторска намеса:
„Учудвам се, че ChatGPT толкова нашумя в България. Напоследък все повече хора ме питат има ли бъдеще за тяхната професия. Има ли смисъл да продължават напред или трябва просто да се откажат от живота, защото скоро машините ще ни заменят?
Аз лично съм малко по-скептичен. Но вместо да ми се доверявате на мен, нека ви обясня как всъщност работи ChatGPT и вие можете да прецените сами доколко сте застрашени. Първо, ChatGPT е изграден върху GPT-3, който излезна през 2020 и още тогава беше доста впечатляващ, но масовата общественост не му обърна огромно внимание, защото още не можеше да си чати с него.
Начинът, по който работи GPT-3 е, че се учи да предвижда коя е следващата дума, при дадени 2048 предходни думи. Този прозорец от думи се нарича „контекст“ (за сравнение GPT-4 има контекст от 32 768 думи). GPT-3 е трениран върху различни бази данни, съдържащи общо около 500 милиарда думи, които основно са скрейпвани от интернет. Използвайки всички тези данни е нагласил своите 175 милиарда параметъра, така че да генерира реч, която се вписва в структурата, която ние приемаме за „човешка реч“.
Разбира се, тук пропускам много технически детайли. Например, както при всички подобни модели, думите се превръщат във векторна форма. Тази векторна форма, най-просто казано, представя думата като точка в една многоизмерна координатна система, като близки по смисъл думи са близки и по координати.
Тоест, нито един от тези алгоритми не знае какво означават тези думи, но знае как се съотнасят спрямо други думи, което е достатъчно, за да генерират човекоподобна реч (То аз мисля, че и при хората е така. Думите сами по себе си нямат смисъл). А тренирайки и върху изображения от интернет, вече тези модели добиват и някаква представа как изглеждат нещата, за които говорят. Тоест те научават, че определени структури от думи съответстват на определени структури от пиксели.
Друг важен елемент в алгоритъма на GPT-3 е нещо наречено „self-attention“, което в общи линии означава, че алгоритъмът се научава да преценява коя дума от предходните би трябвало да има по-голяма тежест при определяне на настоящата. Тоест, някоя дума 1000 думи назад може да има 60% тежест при определяне на настоящата дума, докато останалите да имат по 0,1%.
Всичко това минава през много слоеве „трансформатори“, където алгоритъмът се научава на по-дълбоки абстракции и така накрая, след като е трениран с мощни суперкомпютри, се научава да симулира човешка реч. И то на доста високо ниво.
И сега, след като знаете всичко това, колко уплашени трябва да бъдете? Ами зависи какво работите. Ако пишете промоционални текстове за маратонки, вероятно трябва да треперите от ужас. Ако пишете някакъв не особено иновативен код, не знам дали трябва да ви е страх. Просто вместо да се ровите в StackOverflow, ще питате Copilot да ви напише кода. И реално ще бъдете по-производителни.
Има много неща, които GPT-3 (или 4) не може и скоро няма да може да прави. Тези модели познават структурата на човешката реч (както и на изображенията в интернет). Те могат да пресъздават нейната форма, но не и нейната същност.
Защото всяка човешка дума не е базирана на предните 2048 (или 32 768) думи, или на 500 милиарда думи от интернет, или пък на 175 милиарда параметъра. Не, всяка човешка дума идва от 100 милиарда неврона с трилиони връзки помежду им. Идва от милиони години еволюция и в случая на възрастен човек, от десетилетия живеене и постоянно обработване на информация, идваща от всичките сетива.
Да измислиш как да кажеш нещо изисква 1% от мисловния капацитет, останалите 99% отиват в това да решиш какво да кажеш (процентите са илюстративни). Тези алгоритми в момента знаят как да кажат нещо, но не знаят какво да кажат. Нямат никаква идея какво трябва да бъде казано.
Колкото и да са вълнуващи тези технологии, нека не захвърляме човека. За него все още има място на този свят.“
