Прегледай log-а на X-а. Там си пише какво не му харесва че не тръгва на посочената честота. Тябва да е нещо от сорта на:
Not using default mode "1024x768" (vrefresh out of range)
т.е. вертикалната честота е извън границата която си определил (пък hrefresh показва че не му харесва хоризонталната

'> ) . Пробвай да я увеличаваш постепенно докато тръгне на 1024х768. Можеш да пробваш да го пуснеш и на 100Hz. Щом монитора го поддържа какъв е проблема?