Стандартный просмотрщик Windows не является, хм, программой, он - часть Windows Explorer. Технически, в XP он открывается в контексте Explorer.exe, в Win7 - dllhost.exe. Если процесс уже запущен, ShellExecute не вернет действительный дескриптор процесса, поэтому WaitForExit не будет работать.

что делать? наверное находить окно в котором картинка отображается (его заголовок обычно содержит имя файла), и ждать пока оно не закроется

Создание окна занимает некоторое время. Добавьте после proc.Start() ожидание в 500 мс, чтобы окно успело создаться. В отладчике просто программа выполняется медленнее, и это не проявляется.