"The connection was not closed. The connection's current state is connecting" как бы намекает, что проблема не с настройкой подключения, а скорее с синхронизацией потоков. У вас из разных потоков что-нибудь делается с этим DbContext? То, что Database.MigrateAsync() - видимо, асинхронный метод - вызывается без ожидания окончания его выполнения, это так и задумано?

>Это похоже на проблему с синхронизацией потоков?

Ну, это первое, что приходит в голову. Пытаемся закрыть соединение, которое еще не открылось - типичное состояние гонки.

>Нет, просто пока не знаю как в конструкторе написать await, если конечно конструктор это поддерживает.

Конструктор, конечно, не может быть асинхронным методом, но в нем можно сделать .Wait(), чтобы дождаться окончания синхронно.