Дело в том, что работа монитора ограничена не

Дело в том, что работа монитора ограничена не только максимальной частотой развёртки (т.е. максимальным разрешением и частотой обновления), но и минимальной частотой. И если процессор управления монитора детектит очень низкую частоту, которой нет у него в "таблице" настроек, он может либо вообще не заработать ("частота превышена" и т.д.) либо выдавать совершенно хаотические (либо по умолчанию) значения настроек для схемы развёрток, при этом изображение может выглядеть как угодно. Так что в конкретном случае - скорее всего это неспособность монитора работать на таких маленьких разрешениях (потому что ему и не надо, всё это только усложнит схемотехнику и повысит стоимость монитора)