Технологии

Наука и технологии: Какво следва при изкуствения интелект

Как ИИ технологиите биха могли да се подобрят през следващите години

Ексклузивно съдържание от The Economist

Ексклузивно съдържание от Аби Бертикс - научен кореспондент

2 автори

Вечерни новини

Всяка делнична вечер получавате трите най-четени статии от деня, заедно с още три, препоръчани от редакторите на "Капитал"

През 2023 г. интересът към изкуствения интелект (ИИ) достигна своя връх. За шест месеца търсенията на фразата "изкуствен интелект" в търсачката на Google се увеличиха четирикратно, след като в края на ноември 2022 г. стартира ChatGPT на OpenAI - най-известният и ефективен чатбот в интернет. Към август 2023 г. една трета от респондентите в последното глобално проучване на McKinsey заявяват, че техните организации използват генеративен изкуствен интелект за поне една от дейностите си.

Как технологията ще се развие през 2024 г.? Има три основни посоки, в които изследователите подобряват своите ИИ модели: размер, данни и приложения.

Да започнем с размера. През последните няколко години възприетата догма при изследванията на ИИ е, че по-голямото е по-добро. Въпреки че компютрите станаха по-компактни, макар да са по-мощни, това не важи за големите езикови модели (LLM), чийто размер се измерва в милиарди или трилиони "параметри". Според изследователската фирма SemiAnalysis езиковият модел GPT4, който захранва разширената версия на ChatGPT, се нуждае от над 16 000 специализирани GPU чипа и няколко седмици за обучение, като цената за това е над 100 млн. долара. Според водещия производител на чипове Nvidia разходите за изчислителна мощ, т.е. да накарате вече обучените езикови модели да отговарят на заявките на потребителите, в момента надвишават разходите за обучение при внедряване на LLM в какъвто и да е разумен мащаб.

Тъй като ИИ моделите се превръщат в търговски продукти, все повече нараства фокусът върху това да се поддържа тяхната производителност, като същевременно те стават по-компактни и по-бързи. Един от начините да го постигнете е да обучите даден по-малък модел, като при този процес използвате повече данни. Например Chinchilla, който е LLM, разработен от Google DeepMind през 2022 г., превъзхожда GPT-3 на OpenAI, въпреки че е с четири пъти по-малък размер (но е обучаван с четири пъти повече данни). Друг подход залага на това да се намали цифровата точност на параметрите, съставляващи модела. Екип от Вашингтонския университет демонстрира, че модел с размерите на Chinchilla е възможно "да се подкара" на един GPU чип, без да има намаляване на производителността. Малките езикови модели (и това е изключително важно) впоследствие са много по-евтини за експлоатация и в някои случаи дори могат да работят на лаптоп или смартфон.

На следващо място идват данните. ИИ моделите представляват машини за прогнозиране, които стават по-ефективни, когато се обучават с повече данни. Но фокусът вече се измества от това "какво е количеството" към "колко са добри". Това е особено релевантно, тъй като става все по-трудно да се намерят нови данни за обучение - анализ от 2022 г. прогнозира, че "запасите" от нови, висококачествени текстове може да се изчерпят през следващите няколко години. Използването на резултатите от работата на езиковите модели за обучение на бъдещи модели пък може да доведе до снижаване на качеството. По този начин навлизането на LLM превръща интернет във все по-неподходящ източник на информация за обучение. Но количеството не е всичко. Определянето на правилния микс от информация за обучение все още в много по-голяма степен е изкуство, отколкото наука. Моделите все повече биват тренирани чрез комбинации от различни типове данни - включително естествен език, компютърен код, изображения и дори видеоклипове, което им позволява да развиват нови способности.

"Няма причина да вярваме... че това е най-добрата невронна архитектура."

Крис Манинг, Станфордски университет

Какви нови приложения могат да се появят? Когато става дума за ИИ, съществува елемент на риск, което ще рече, че той се развива по-бързо, отколкото хората успяват да се възползват от него. Демонстрирането на това, което е възможно, отстъпва място на откриване на онова, което е практично. Най-значимият напредък няма да бъде по отношение на качеството на самите модели, а на научаването как да ги използваме по-ефективно.

В момента има три основни начина за използване на езиковите модели. Първият е т.нар. prompt engineering. При него моделът се захранва със специфични подсказващи реплики. Този метод включва изработване на входни фрази или въпроси, които да насочват модела към генериране на желаните резултати. Вторият е "фината настройка" на езиковия модел, за да подобрите неговата производителност при изпълнението на конкретна задача. В този случай вече съществуващ модел преминава през допълнителен кръг от обучение с помощта на фокусиран набор от данни, съобразен с дадената цел. Например даден LLM може да бъде прецизно настроен с помощта на публикации от специализирани медицински издания, за да може да отговаря по-добре на въпроси, свързани със здравеопазването. Третият подход е езиковите модели да се вграждат в по-голяма, по-мощна архитектура. LLM наподобява двигател и за да го използвате за конкретно приложение, трябва, образно казано, да построите колата около него.

Конкретен пример е методът "генериране с добавено извличане" - техника, която съчетава LLM с допълнителен софтуер и база данни с информация по определена тема, така че да се намали вероятността за генериране на неверен отговор. Когато й бъде зададен въпрос, системата първо извършва търсене в своята база данни. Ако намери там нещо уместно, тя предава въпроса заедно с откритата фактология към езиковия модел с искане отговорът да бъде генериран на базата на тези предоставени данни. Осигуряването на информационни източници по този начин означава, че потребителите могат да бъдат по-сигурни в точността на отговорите. Това също така позволява LLM да бъде персонализиран, както например е при NotebookLM на Google. Така потребителите да могат да захранват изкуствения интелект със свои собствени бази данни по определени теми.

В контекста на фокуса върху търговския потенциал на ИИ работата по създаване на изкуствен интелект с общо предназначение продължава. LLM и други форми на генеративен ИИ може да са част от пъзела или стъпка в тази посока, но вероятно не са окончателният отговор. Като казва Крис Манинг от Станфордския университет: "Няма причина да вярваме... че това е най-добрата невронна архитектура и никога няма да изобретим нещо по-добро."