У вас сумбур какой-то в вопросе, поэтому сложно дать логически законченный ответ.

"на чём написан графический интерфейс windows 10"

Насколько я знаю, большинство стандартных приложений в составе Windows используют специальный закрытый GUI-фреймворк DirectUI, похожий на WPF, но для неуправляемых приложений. Однако, некоторые приложения в Windows используют и UWP.

"можно ли написать GUI без Qt,средств VS c++"

Очевидно, да. Вы сами назвали технологии, которые позволяют это сделать.

"где изучить OpenGL и Direct X"

Скорее всего дома, пользуясь книгами, документацией, форумами и т.п. Специализированные курсы по данным технологиям найти будет сложно.

"хочу научиться создавать GUI так что бы не приходилось таскать за собой библиотеки (Qt),

 а также чтобы красота интерфейса не вызывает морскую болезнь(Win API)"

Морскую болезнь вызывает, я думаю, не WinAPI в целом, а элементы управления из библиотеки Common Controls, которая мало развивалась со времен Windows 95. А возможно вы просто забыли переключиться на  использование визуальных стилей (в современных Windows существует две ее версии: одна использует тему текущей ОС, а другая - классическую тему Windows 95). Так или иначе, WinAPI - просто инструмент, он не накладывает особых ограничений. Все средства для создания красивого UI в нем есть. А если их не хватает, вы уже сами назвали технологии, в сторону которых смотреть.