Автор Тема: Още извънтемие  (Прочетена 74978 пъти)

4096bits

  • Напреднали
  • *****
  • Публикации: 6351
    • Профил
Re: Още извънтемие
« Отговор #1515 -: Jul 21, 2024, 16:32 »
И къде го видяха за днеска туй "захлаждане и превалявания в различни региони" ? Засега си е баш лятна жега деа.
В София/Младост-1 бях свидетел на малко вятър и малко дъжд
За десет минути.

Резултата е, че се влоши положението. Жегата си остана, дъжда се изпари, стана влажно и задушно и не може да диша
Активен

As they say in Mexico, "Dasvidaniya!" Down there, that's two vidaniyas.

Nik123

  • Напреднали
  • *****
  • Публикации: 3300
  • Distribution: Mageia, Q4OS
    • Профил
Re: Още извънтемие
« Отговор #1516 -: Jul 21, 2024, 21:51 »
И тука (Варна) изпръска малко дъжд, около 3 следобед.
Активен

PaperNick

  • Напреднали
  • *****
  • Публикации: 295
  • Window Manager: Xfce
    • Профил
Re: Още извънтемие
« Отговор #1517 -: Jul 22, 2024, 00:01 »
Така, за по-просто и за опит, инсталирах първо whisper.
Дръпна една камара библиотеки в процеса.

При първата проба с десет минутно аудио, само̀ си дръпна модела, който му бях посочил, което е дребно и хубаво удобство - medium. Гигабайт и половина.

Но не се получи почти нищо. Имаше някакъв обещаващ старт, но… По някое време целия дисплей замръзва, а аз нищо не мога да направя. Графичната карта е на сто процента натоварена и може би целия ресурс отива за изпълнението на задачката ( което ми хрумна като възможна причина едва сега, докато пиша това ).
Пробвах след това през tty.
Същата работа. Конзолата замръзва и до там. Дали работи нещо отдолу, нямам представа. Никакви странични съобщения.

Графичната ми карта е едва с 6 гига памет, а този модел изисква 5. Би трябвало да стане. На теория.

Опитът със small модел свърши работа в tty. Не съм го пробвал с терминал в графичната среда.

Смахнатото е, че имам 32 гига RAM на лаптопа, която изглежда не учавстваше много. Видях, че май може да се зададе устройство, което да се използва ( например CPU ), но още не съм пробвал. Сигурно ще стане и по-бавно така. Но тази памет поне би влязла в употреба.

Small моделът свърши учудващо добра работа, предвид че в речта на моменти бяха изяждани или сдъвкани звуци - английски акцент. Ползвах аудио, рипнато от видео в Тубата.

Пробвах първо оригиналния whisper, защото изобщо не съм се занимавал до този момент с ИИ.
Видях, че има различни файлови разширения за моделите.

С++ версията на @ggerganov изцяло на този език ли е, ще върви ли по-леко, в същата папка ли трябва да поставя дръпнатите модели ( ~/.cache/whisper ), ако реша да пробвам и това. Защото сигурно ще го направя. Човека е дал достатъчно инструкции, как се инсталира.
Защото искам да пробвам и medium, а защо не и големия модел, ако ми позволи да използвам наличната памет, а не само видео паметта. Тя е недостатъчна за големия модел, а и със средния не се получава засега. Да видя, каква е разликата в точността на текста.

Изглежда си си играл с whisperC++?, а не изключвам и да си самият @ggerganov, но поради някаква причина да говориш за себе с в трето лице  :D

Хаха, де да бях @ggerganov. Реално човекът е решил да пренапише tensor операциите и transformer API-то на c++ за по-голяма скорост и оптизизация на работа, понеже python не е от най-бързите.
Аз досега съм пускал whisper само със CPU, понеже видео картата ми е дърта и не поддържа nvidia cuda, или нещо подобно. Не знам при теб дали бачка GPU-то. Щом ти замръзва машината, предполагам, че превключва на CPU и затова замръзва дори в tty. Ако е така, просто ползвай small.

Относно файловите разширения, @ggerganov е решил да използва ggml binary формата понеже всичко е пакетирано в 1 файл:
https://github.com/ggerganov/whisper.cpp?tab=readme-ov-file#ggml-format

Пробвай whisper.cpp и виж дали ще работи по-ефективно откъм CPU. Доста по-лесно се пуска, единствено трябва да си дръпнеш модела на ръка и да го сложиш в папката whisper.cpp/models
После пробвай с моя помощен скрипт да транскрибираш нещо:
https://gist.github.com/PaperNick/3a6fe78662ea7a1c7cc5c573db348ac1

Ако ти работи бавно, можеш да пробваш с faster-whisper:
https://github.com/SYSTRAN/faster-whisper

И за него имам скрипт (брей много реклама си направих :D)
https://gist.github.com/PaperNick/61cf16f0f1c5735d988c0703c25f3cf2
Активен

Practice

4096bits

  • Напреднали
  • *****
  • Публикации: 6351
    • Профил
Re: Още извънтемие
« Отговор #1518 -: Jul 22, 2024, 14:30 »
Благодаря за пояснението.

Тензор библиотеките са написани на С, та се съмнявам те да са причната. Както и всички останали библиотеки за Питоня, които изискват повечко бързина. Самия модул за Питона е само обвивка, която да извиква методите.

Изглежда ще падне четене и гледане на видео. Не търпя да ползвам нещо и да не разбирам поне в основни линии, как бачка.
Активен

As they say in Mexico, "Dasvidaniya!" Down there, that's two vidaniyas.

Acho

  • Напреднали
  • *****
  • Публикации: 5445
  • Distribution: Slackware, MikroTik - сървърно
  • Window Manager: console only
    • Профил
    • WWW
Re: Още извънтемие
« Отговор #1519 -: Jul 22, 2024, 18:55 »
Е, поваля малко и покрай нас. Ама пак е горещо и задушно, маа му стара.
Активен

CPU - Intel Quad-Core Q8400, 2.66 GHz; Fan - Intel Box; MB - Intel G41M-T2; RAM - DDR2-800, Kingston HyperX, 2X2048 MB; VC - onboard, Intel G41 Express Chipset; HDD - Toshiba, 500 GB, SATAII; SB - Realtek HD Audio; DVD-RW - TSSTcorp DVD-RW; LAN - Realtek PCI-E GBE Controller; PSU - Fortron 350 Watt.

PaperNick

  • Напреднали
  • *****
  • Публикации: 295
  • Window Manager: Xfce
    • Профил
Re: Още извънтемие
« Отговор #1520 -: Jul 22, 2024, 19:59 »
Тензор библиотеките са написани на С, та се съмнявам те да са причната. Както и всички останали библиотеки за Питоня, които изискват повечко бързина. Самия модул за Питона е само обвивка, която да извиква методите.

Всъщност, да, имаш право за питона и обвивката. Сега се сетих причината, @ggerganov искаше да направи бърза CPU inference имплементация на модела, щото оригиналният whisper е бърз само за GPU. Гледам, че в момента бутат също и поддръжка за GPU.

Е, поваля малко и покрай нас. Ама пак е горещо и задушно, маа му стара.

Няма измъкване от тая жега...

Активен

Practice