dipterv_textprocessing

Fazekas Zoltán MSc dolgozata
A mappákban találhatóak a forrásfájlok.
A Github méret korlátoása miatt a floret .bin és .floret információkat tároló fájlok nem elérhetőek(igazából nincs itt most rájuk szükség, ezek a tanított modellek)

A _py mappákban a kód átirata található, de nem tartalmaz vizuális elemeket.

A _jupyter mappákban található a vizualizált és magyarázott kód, a Tokenizáció_jupyter mappában két .ipynb fájlt található. A különbség köztük, hogy a tokenekre bontott mondatot a _dep az vizuálisan mutatja a tokenek közti függőséget és a tokenek jellemzőit. A _ent pedig a mondatot kiírva felcímkézi a címkének megfelelően.
A whatlies csomag a szavakat rajzolja a vektortérben. Mivel ez interaktív(nagyítható), ezért a vektortérben való összehasonlítás nem jelenik meg sehol.