Наверное, проблема в том, что capGrabFrame посылает сообщение с помощью функции SendMessage, которая синхронно ожидает завершения обработки сообщения, блокируя текущий поток (и, соответственно, делая многопоточность бесполезной). Попробуйте посылать сообщение WM_CAP_GRAB_FRAME с использованием функции  SendMessageCallback или PostMessage.

"OpenCV, которая тоже использует vfw32"

Строго говоря, это не так. OpenCV может использовать разные механизмы для захвата, VFW не единственный вариант (и далеко не самый лучший, т.к. этот интерфейс уже не поддерживается).