Не ошибаетесь. Формат BMP (DIB) прост как табуретка, если нужно читать только его, никакие библиотеки не нужны. Вот здесь описана структура: https://msdn.microsoft.com/en-us/library/dd183391(VS.85).aspx 

Насчет "всегда по одному адресу" вы конечно загнули, вариации есть, но достаточно считать bfOffBits из заголовка, чтобы определить его.

  А зачем понадобился раздел форума специально под форматы данных? Тут и разделы с более широкой тематикой загибаются от нехватки активности

Формат DIB - расширяемый, как и большинство файловых форматов. Существует несколько версий заголовка разного размера, соответственно смещение битов изображения будет разным. Если хотите обрабатывать только какой-то один вариант формата, конечно можете задать смещение жестко, в чем именно тогда вопрос?