Mais le serveur telnet intégré à VLC, il supporte quoi, lui, comme encodage? Tu as essayé un simple client telnet configuré en utf8/ASCII/iso-8859-1(5)? (Je pense que putty supporte tout ça, mais je peux me tromper)

Ensuite, si tu veux voir ce que crache ton soft java, tu peux créér facilement un serveur telnet avec netcat (en une ligne de commande )