#seenthis_done : Le message de @bastien a fait ressortir un bug :
►http://seenthis.net/messages/12614
L’URL ►http://translate.google.fr/#de|fr|äääääääääääääää était coupée mal-t-à-propos.
Dans la fonction de présentation « raccourcie » des URL, les longueurs étaient calculées en #strlen. Or les URL sont unicode, donc j’ai remplacé partout par #mb_strlen et #mb_substr.
N-Gram-based text categorization :
►http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.53.9367
Algo pour déterminer la langue d’un document.
Ah ben c’est malin, je viens de me recoder un système complet, en m’enquiquinant à fabriquer des fichiers de langues.
Bon, mon système utilise des n-grams de longueur 1 à 4, donc c’est différent, mais je ne sais pas si c’est plus efficace...
Bon, les fichiers de tri-grams, ça a l’air d’être du libre. En revanche, le script de lang_detect.php, c’est quoi?
Je vais voir si je peux adapter le script que j’ai déjà fait pour utiliser uniquement des tri-grams, parce qu’il a des optimisations intéressantes, je crois.
Au passage : dans ta fonction trigrams, il faut remplacer les #strlen et #substr par des #mb_strlen et #mb_substr (en précisant #utf-8 en dernier paramètres), si tu veux que ça fonctionne sur les caractères non latins.