Strojové učení se v posledních letech stalo klíčovým nástrojem s širokým uplatněním napříč obory. Pokročilé modely, včetně neuronových sítí a transformátorů, umožňují zachytit složité vztahy v datech, avšak jejich trénování často vyžaduje značné výpočetní kapacity. Na úkoly související s jazykem mohou být využívány velké jazykové modely získávající kvalitní výsledky za cenu rychlosti a ohromného využití zdrojů (energie pocházející z elektráren produkující CO₂ či jaderný odpad a další látky, látky potřebné na efektivní chlazení výpočetních prvků, které produkují značné množství tepla apod.). Jeden takový model je například ChatGPT, který spotřebuje přibližně 311 000 000 kWh ročně a až 100 000 litrů vody denně na chlazení.

Tyto nedostatky byly podnětem pro experimentální výzkum nového způsobu získání kvalitních výsledků, avšak za spotřeby méně zdrojů a udržení kvality a rychlosti vážení. Cílem bylo naprogramovat a využít word2vec, fungující na základě slovních druhů, a také grafové konvoluční sítě. Programy byly testovány určováním významové shody mezi dvojicemi vět. Pro toto se nejčastěji využívá velký jazykový model BERT, který se liší od například modelu ChatGPT, tím že nedokáže generovat text, ale stále mu dokáže porozumět.

Prvně byl vytvořen model váženého průměru word2vec, kde word2vec metoda představuje způsob konverze jednotlivých slov na vektory o 300 dimenzích (na rozdíl od 2 či 3 v základní analytické geometrii), kterým počítač porozumí při zachování jejich významu. Pro získání přesnějších výsledků byly slovům převedeným na vektory přiřazeny větné slovní druhy. Vytvořený program byl porovnáván oproti modelu BERT. Dosáhlo se až 90násobného zrychlení konverze, a tedy i 90násobného snížení spotřeby zdrojů (rychlost je ekvivalentní k snížení spotřeby zdrojů) za malého snížení v přesnosti z 97 % na 94 %.

Podobným způsobem se vytvořil model grafové neuronové sítě, konkrétně relační grafové konvoluční sítě, která věty zpracovala do grafické podoby pomocí větných členů a slovních druhů. Tato grafová neuronová síť dosáhla přibližně 2,5násobného zrychlení (tím i snížení spotřeby) oproti modelu BERT, navíc mnou vytvořený model grafové neuronové sítě překonal model BERT i v přesnosti o 2 tisíciny procenta (model BERT vyvinul Google).

Oba modely prokazují neefektivitu současně používaných základních transformerů na získání kvalitních výsledků a dokazují, že využitím těchto lepších způsobů vážení, by došlo ke zlepšení přesnosti, zrychlení a hlavně ke snížení spotřeby zdrojů.