Аз имам подобен проблем като твоя.Ползвам Slackware 12 и XFCE.От няколко дни насам по време на работа изведнъж всичко забива и само мишката се мести.Клавиатурата работи.и трябва да рестартирам X и всичко се оправя.Като Пусна KDE-то нямам такива проблеми и затова смятам, че проблема е от XFCE-то, а не от X.Пробвай да компилираш друга графична среда.