[nlp-infra-devel] tokenizálás

[Mittelholcz Iván]

Kedves érintettek!
A tokenizálóra vonatkozó specifikáció itt
<http://clara.nytud.hu/redmine/projects/infra2/wiki/Specifik%C3%A1ci%C3%B3>
olvasható. A megvalósítással kapcsolatban annyi fejlemény van, hogy Indig
Balázs és egy diákja quex alapon (utf8-at olvas) nekifogtak a huntoken
újraírásának, valószínűleg ezt fogjuk befejezni/testre szabni.
Üdv,
Iván
--------- k�vetkez� r�sz ---------
Egy csatolt HTML �llom�ny �t lett konvert�lva...
URL: <http://corpus.nytud.hu/pipermail/nlp-infra-devel/attachments/20150506/6d7ffee3/attachment.html>