Najdôležitejšie trendy AI v roku 2024
Rok 2022 predstavoval zlomový moment, keď sa umelá inteligencia (AI) stala predmetom verejnej diskusie, a rok 2023 bol obdobím, kedy sa začala využívať v oblasti obchodu. Rok 2024 prináša nové výzvy a príležitosti, keďže výskumníci a firmy hľadajú spôsoby, ako AI čo najlepšie integrovať do každodenného života.
V tomto článku sa pozrieme na niektoré z najdôležitejších trendov v oblasti AI, na ktoré by sme sa mali pripraviť a vedieť ich využiť v nadchádzajúcom roku.
Multimodálna AI a video
Ďalšia vlna pokrokov sa zameria nielen na zvýšenie výkonu v rámci špecifickej domény, ale aj na multimodálne modely, ktoré môžu ako vstup využívať viacero typov údajov. Zatiaľ čo modely, ktoré fungujú v rôznych dátových modalitách, nie sú úplne novým fenoménom, modely prevodu textu na obrázok ako CLIP a modely prevodu reči na text ako Wave2Vec existujú už roky. Zvyčajne fungujú iba v jednom smere a boli vyškolené na splnenie konkrétnej úlohy.
Nastupujúca generácia interdisciplinárnych modelov zahŕňa proprietárne modely ako OpenAI GPT-4V alebo Gemini od Google, ako aj modely s otvoreným zdrojovým kódom ako LLaVa, Adept alebo Qwen-VL. Táto generácia sa môže voľne pohybovať medzi úlohami spracovania prirodzeného jazyka (NLP), počítačového videnia a dokonca prinášajú do hry aj video. Koncom januára Google oznámil Lumiere, model tvorby videa z textu, ktorý dokáže vykonávať úlohy aj z obrázka alebo používať obrázky ako referenciu štýlu.
Tieto pokroky umožňujú vytváranie intuitívnejších aplikácií AI a virtuálnych asistentov, čo prináša nové možnosti pre interakciu s technológiou.
Menšie jazykové modely a vylepšenia open source
V modeloch špecifických pre doménu – najmä LLM, sme pravdepodobne dosiahli bod znižovania výnosov z väčšieho počtu parametrov.
Len tie najväčšie spoločnosti majú finančné prostriedky a priestor na serveroch na školenie a udržiavanie energeticky náročných modelov so stovkami miliárd parametrov. Podľa odhadu trénovanie jedného modelu veľkosti GPT-3 si vyžaduje ročnú spotrebu elektrickej energie viac ako 1 000 domácností. Štandardný deň dopytov ChatGPT zodpovedá dennej spotrebe energie 33 000 domácností v USA.
Menšie modely sú medzitým oveľa menej náročné na zdroje. Štúdia z marca 2022 od Deepmind ukázala, že trénovanie menších modelov na väčšom počte údajov prináša lepší výkon ako trénovanie väčších modelov na menšom počte údajov. Veľká časť prebiehajúcich inovácií v LLM sa tak zamerala na dosiahnutie väčšieho výkonu z menšieho počtu parametrov.
Sila otvorených modelov bude preto stále rásť. V decembri 2023 Mistral vydal „Mixtral“, ktorý integruje 8 neurónových sietí, z ktorých každá má 7 miliárd parametrov. Spoločnosť tvrdí, že nielenže prekoná 70B variant parametra Llama 2 vo väčšine benchmarkov pri 6-krát vyšších rýchlostiach odvodenia, ale dokonca sa vyrovná alebo prekoná oveľa väčší GPT-3.5 OpenAI vo väčšine štandardných benchmarkov.
Tieto pokroky v menších modeloch majú tri dôležité výhody:
Vďaka nim je AI zrozumiteľnejšia: čím väčší je model, tým ťažšie je určiť, ako a kde robí dôležité rozhodnutia. Zrozumiteľná umelá inteligencia je nevyhnutná na pochopenie, zlepšenie a dôveryhodnosť výstupov systémov umelej inteligencie.
Pomáhajú demokratizovať AI: menšie modely, ktoré možno prevádzkovať s nižšími nákladmi na dostupnejšom hardvéri, umožňujú väčšiemu počtu amatérov a inštitúcií študovať, trénovať a zlepšovať existujúce modely.
Môžu byť spustené lokálne na menších zariadeniach:čo umožňuje sofistikovanejšiu AI v scenároch, ako je edge computing a internet vecí (IoT). Okrem toho lokálne spúšťanie modelov napríklad na smartfóne používateľa, pomáha obísť mnohé obavy týkajúce sa súkromia a kybernetickej bezpečnosti, ktoré vznikajú pri interakcii s citlivými údajmi.
Nedostatok GPU a náklady na cloud
Trend smerom k menším modelom bude poháňaný rovnako nevyhnutnosťou, ako aj podnikateľským nátlakom, keďže náklady na cloud computing rastú so znižovaním dostupnosti hardvéru.
Zatiaľ čo veľké spoločnosti investujú do vlastných výpočtových zdrojov, stále väčší počet užívateľov sa spolieha na cloudové služby. Pre firmy je preto dôležité nájsť rovnováhu medzi efektívnymi menšími modelmi a výkonnejšími, ale nákladnejšími modelmi.
Tieto trendy predstavujú nové výzvy a príležitosti v oblasti umelej inteligencie a sú dôležité pre ďalší vývoj technológie v roku 2024.