как я понимаю, Matlab Compiler компилирует неуправляемые DLL. Про взаимодействие с неуправляемым кодом написано здесь: https://msdn.microsoft.com/ru-ru/library/sd10k43k(v=vs.110).aspx

Если по простому - вам нужно для каждой функции создать ее объявление такого вида:

[System.Runtime.InteropServices.DllImport("MatlabFilename.dll")]
public static extern uint MyMatlabFunc(int param1);

При этом типы аргументов и возвращаемого значения данных должны соответствовать неуправляемым типам (см. таблицу здесь: https://msdn.microsoft.com/ru-ru/library/ac7ay120(v=vs.110).aspx)