Manuálne spracovanie textu je už aj pri malých korpusoch velmi pracné a casovo nárocné. Práca sa zaoberá morfologickou anotáciou textu a vplyvom predtrénovania modelu na výsledný model. V úvode práce sú popísane spôsoby morfologickej anotácie v slovenskom jazyku. Dalšia cast práce opisuje spracovanie prirodzeného jazyka, jeho výhody a umiestnenie v rámci toho, kde všade sa v dnešnej dobe nachádza. Po spracovaní prirodzeného jazyka nasledujú informácie o korpusoch Fasttextu a Slovak Dependency Treebank, ktoré boli použité v tejto práci. Cielom práce bolo zistit, ci z predtrénovania modelu získame lepšiu úspešnost a presnost ako bez predtrénovania modelu. Na záver sú popísane výsledky experimentov a dosiahnutých výsledkov.