когда надоест искать все висящие COM-объекты, сделайте как-то так (не знаю VB, думаю разберетесь как перевести):

[DllImport("user32.dll")]
private static extern uint GetWindowThreadProcessId(IntPtr hWnd, out uint lpdwProcessId);

public static void ExcelKill(int hWnd)
{
	uint processID;
	GetWindowThreadProcessId((IntPtr)hWnd, out processID);    
	Process pr=Process.GetProcessById((int)processID);
	pr.Kill();	
}

void WorkWithExcel()
{
	Application excel = new Application();
	int hWnd = excel.Hwnd;
	
	//работа с Excel...
	
	ExcelKill(hWnd);
}