Linux за българи: Форуми

Не е достатъчно да се направи съответствие на латинските букви с кирилски.

Пример:
Towa e primeren tekst na 6lyokavitsa.
qbalka, yabalka
Yordan Yordanov.
English text

За да се преведе качествено горния пример трябва да има дефинирани следните съответствия:

lyo - льо
yo - йо
ya, q - я
ts, c - ц

Идея: да се ползва програма за проверка на правописа за да се отсяват английските думи  (тях не искаме да ги конвертираме на кирилица).
Измислянето на алгоритъм за корекция на грешки преди конвертирането също ще е от полза. След конвертирането пак може да се коригират грешки - алгоритъм за тази цел се измисля по-лесно (може да се ползва aspell).
Даже може и да се създаде речник с най-често ползваните думи на шльокавица с техните аналози от българския език.

Всички програми за конвертиране на латиница към кирилица, които съм видял до момента не са достатъчно интелигентни.

Сетих се: вече имаме речник с много думи от българския език - може лесно да се напише скрипт, който да ги конвертира във всичките им варианти на шльокавица - по този начин ще бъде създаден речник със съответствията на думите на шльокавица с думите на кирилица, който ще се ползва при превеждането на шльокавицата.

Извинявай, но не успях да разбера какво ти е предложението.
И защо ни трябва да конвертираме кирлицата в шлокавица?

Правил съм такова нещо, но се оказа, че има много изключения. Сещам се за едно момиче, което се казва Майа, а не Мая, ама я = ya; y = й; a = a...
и както казах - има много такива.

Иначе ти желая успех!

Не мога да се справя със задачата да напиша скрипт, който от даннитев пакета bgoffice-4.0.tar.gz да създава списък с всички думи във всичките им форми  

Да ти призная смятам, че тази идея няма хляб в нея поради:
1. Културните българи пишат на кирилица.
2. Има кирилизатори за тези, които нямат поддържка на кирилица на компютрите си
3. Всички съвременни софтуери като чатове, инстант месенджъри и т.т има чудесна поддръжка на кирилица.
4. Това върши достатъчно добра работа - http://momche.net/res/translate/

Не виждам смисъла от преводач, който превежда от едни език на същия език, заради мързела _най-често_ на дадени хора.

Да беше започнал значи с целта на идеята си - превод на съществуващи документи на шльокавица.

Обаче това е нож с две остриета:
- от една страна - ще се преведа документите - това добре.
- от друга - ще се окуражи създаването на още документи след като вече има такъв преводач => ако се стимулира то  няма да се създаде предпоставка и стимул за писане на кирилица. А не мисля, че това е целта на всички надписи, банери, сайтове и т.н.- по тази тема.
Един вид може да стане - Пишете на шльокавица - може да се преведе, за който пък чак толкоз си иска кирилицата.

Защо не я конвертираш буква по буква (или комбинации от букви като zh) и после пуснеш програма за откриване на грешки с нормален български речник. Няма да е перфектно, но поне ще отхвърлиш повечето проблеми. Ти се опитваш да направиш обратното, което не ми се вижда много адекватно.

ColdFusion

За мен лично задачата няма особена ценност като конкретна цел превод от шльокавица на кирилица. Просто отказвам да чета такива текстове и дори Babelfish да започне да ги превежда, пак ще ги игнорирам.

От друга страна, обаче, проблемът е интересен от алгоритмична гледна точка. Генерирането на всеобхватен речник на шльокавицата е causa perduta поради две причини. Първо, това е подход с прилагане на груба сила, лишен е от елегантност и не е оптимален от гледна точка на бързодействието. И второ, опасявам се че подобен речник няма да бъде еднозначен, т.е. транскрибирани по различен начин *различни* думи могат да дадат еднакъв краен резултат.

Като алтернатива бих предложил да се изследват не целите думи, а формата, в която са премахнати всички гласни букви. Ще се възползвам от един от твоите примери: "syrvyr" и "sarvar" - и двете думи се трансформират до една и съща форма, "srvr".

За съжаление проблемът оттук нататък става значително по-сложен. Не може да се ползва прост алгоритъм за сравнение, тъй като потребителите на шльокавица не са най-известни със своя правопис. Тук на помощ може да ни дойде мултивариантният статистически анализ. Ако си представим всяка дума като вектор в n-мерното пространство, където последователните букви задават съответните координати (примерно, като се ползва ascii индексът им), две думи могат да бъдат изследвани за сходство като бъде сравнен ъгълът, сключван от техните вектори.

Друг възможен подход е ползването на невронна мрежа. В този случай обаче ще бъде необходим *сериозен* труд за обучаване на самата мрежа.

Какъвто и подход да се избере, проблемът представлява чисто академичен интерес. От него би излязла чудесна бакалавърска теза по информатика. Но инак просто не си струва да се влагат такива големи усилия, за да се поощрява мързелът на определени личности.

Проблемът е изключително интересен от алгоритмична гледна точка, въпреки изказаните съмнения дали е практично да се решава. Предлаганият от ivak алгоритъм за сравнение на близост обаче не е най-подходящият в случая - по уместно ми се струва разстоянието по Левенщайн ( Levenshtein Distance - http://www.merriampark.com/ld.htm ).

Вместо да се генерира речник с всички възможни диалекти на шльокавицата, по-добро решение ми се струва построяването на формална граматика и реализирането й като автомат на Марков (това е автомат, в който преходите са вероятностни). Решаването на задачата е чудесно и за магистърска защита, така че ако тук има бъдещ магистър по информатика/компютърна лингвистика, да запретва ръкави :)

Проблема със списъка на всички думи във всичките им форми е решен  
Благодаря на Радостин Раднев, че ме насочи към речника за версия 4.0 на aspell (аз проверих само речника за новата версия на aspell, за старата нямаше да се сетя). Скрипта за генериране на речинка е  bin/build_dictionaries/build_aspell.sh от версията на БГ Офис за разработчици.

Нова идея:

Примерен код

my @arr_words = qw( Абаджиев Абаджиева Абеба Абиджан Абрашев Абрашева Абу Абърдийн Августин Августина Авджиев Авджиева Авестан Авив Аврам Аврамов Аврамова Австралия Австрия Агов Агова Адам ); my @arr_regexp = ( "abad(v|j|zh)ie(w|v)", "abad(v|j|zh)ie(w|v)a", "abeba", "abid(v|j|zh)an", "abra(sh|6)e(w|v)", "abra(sh|6)e(w|v)a", "abu", "ab(u|a)rdi(i|j)n", "a(w|v)gustin", "a(w|v)gustina", "a(w|v)d(v|j|zh)ie(w|v)", "a(w|v)d(v|j|zh)ie(w|v)a", "a(w|v)estan", "a(w|v)i(w|v)", "a(w|v)ram", "a(w|v)ramo(w|v)", "a(w|v)ramo(w|v)a", "a(w|v)strali(ia|ja|q)", "a(w|v)stri(ia|ja|q)", "ago(w|v)", "ago(w|v)a", "adam", ); sub slow_convert { my $word=shift; for (0..$#arr_regexp) {   $this_regexp=$arr_regexp[$_];     if ($word=~/^$this_regexp$/) {      return $arr_words[$_];     } } # for } # sub_convert

Първият масив съдържа думи от българския език, а втория съдържа шаблони, съответстващи на думите от първия масив.

Ако дадена дума съвпада с $arr_regexp[$n], програмата решава, че преводът на тази дума е $arr_words[$n].

Ето текущата версия на скрипта:
http://d.interbild.net/vstoyko....05-2302

Програмата работи ужасно бавно на моята машина (Celeron 333 64MB RAM). В същност не съм я наблюдавал дали работи, защото не ми издържаха нервите да я чакам да зарежда.

Текущата версия:
http://d.interbild.net/vstoyko.....tar.gz

Програмата чете какво и се подава на стандартния вход и резултата се получава на стандартния изход:

cat file.txt | lat2cyr

Само програмата (без модулите с думите):
http://d.interbild.net/vstoykov/tmp/lat2cyr/04042005/lat2cyr.pl
Програмата, която създава модула с шаблоните:
http://d.interbild.net/vstoyko....gexp.pl

На скоро писах подобно нещо - задачата се оказа доста интересна добре, че открих сетлокал на ПХПто . Използвал съм речник с произволни думи - потребителя сам си въвежда речника подробността е че към всяка дума е прикрепена тежест при зареждането му от базата данни сортирането е по тежест ( колкото е по-голяма тежестта на думата толкова по-малка е вероятността да се използва - просто и удобно) и съответно с речник от 40-50 думи се постига почти отличен резултат. Истинската трудност изпитах когато ми казаха, че програмчето бърка голямите и малките букви в някои думи - оказа се, че поради специфики на текста има голями букви и в края и в началото и то неопределен брой е това неможах да се сетя как да го направя финно и засега проблема стои...
Погледнах статията с алгоритъма за думите но не разбрах много каква връзка има с чист превод от шлйокавица.

Базата която ползвам е МойСКЛ езика ПХП на машина 450П2, с 256мв доста дискове но и накачуркано каково ли не апачите, днс, днцп, времеви разносвач , самба и общовзето бачка добре. С база от 60000 реда всеки със средно 60 символа и 4-5 думи се справя за 12-15мин ако не е натоварена с друго.

Ако има нещо пишете на iv@acnielsen.bg

Готова е прилично работеща версия:


http://d.interbild.net/vstoykov/62c/62c-08042005.tar.gz
http://d.interbild.net/vstoykov/62c/62c-08042005.tar.gz.md5

Инсталира се така:

Примерен код

tar -zxf 62c-08042005.tar.gz cd 62c-08042005 su ./install.bash

Нова версия:
http://d.interbild.net/vstoykov/62c/62c-09042005.tar.gz
http://d.interbild.net/vstoykov/62c/62c-09042005.tar.gz.md5

Работи по-бързо от предишната и разпознава повече думи, но размерът се е увеличил - 41MB като се декомпресира.

Аз пиша фонетично БГ на ПЦ
Но при шльокавица ето как стоят нещата:

ch - ч
sh - ш
sht - щ (получава се шт , което си е като звук 90% щ )
q - я
w - в
v - ж
utiqta - ютията / някаква логика може би iu - иу ~ ю :? :|
y - ъ
j - й
jo - йо

!!! h - х
======== xo/yo - ьо !!!

Може да съм изпуснал някой друг звук, но като се сетя ще пиша пак.

Що не използваш time    

man time

time man

Примерен код

What manual page do you want? real    0m0.002s user    0m0.002s sys     0m0.000s

Иначе на бърз преглед ХИЧ НЕ Е лоша ! Браво.

Благодаря за идеята (time).
Ако някой ми предложи хостинг, ще направя web интерфейс към програмата.

-- removed by betso --

Уеб интерфейсът е готов. Има ли някой желаещ да го хоства?

Теглене:
http://d.interbild.net/vstoykov/62c/62c-120420052230.tar.gz
http://d.interbild.net/vstoykov/62c/62c-120420052230.tar.gz.md5

Снимки на екрана:
http://d.interbild.net/vstoykov/62c/62c_web1.png
http://d.interbild.net/vstoykov/62c/62c_web2.png

Уеб интерфейсът e form.pl (трябва да се копира ръчно където трябва). Той приема данните от форма с текстово поле "latinica".

Примерен html код:

Примерен код

<form action="form.pl" method="post"> <textarea name=latinica> </textarea> <br> <INPUT type=submit value=" Изпрати "> <INPUT type=reset value=" Изчисти "> </form>

Още един проблем за който се сещам аз при превеждането от шльокавица на кирилица е че хората пищещи на шльокавица пишат с ужасно много правописни грешки, и така след превода може да се получи едно нищо.

Тук има работеща програма с уеб интерфейс:
http://vstoykov.hit.bg/#62c

Много ще е добре ако се намери паралелен текст на шльокавица и кирилица. Даже може да се създаде от съществуваща програма изхода на която да се поправи. Според моето скромно мнение трябва да се помисли за обучаващ (Machine Learning) алгоритъм. Все пак проблема е класически пример за автоматичен превод (канал на Шанън).

Поздрави