Тогда вопрос в лоб: что же делать?

Вождь Кто кого не понял вопрос релятивистский, т.е. зависящий от точки зрения. Я не просто так про кодеки Вам сказал, ибо если кодек написан без использвания возможностей распараллеливания выполнения кода, то тормозить он будет пактически одинаково на любом количестве близких по производительности с точки зрения используемого им подмножества команд процессоров...