Вы пишете, "используется MS SQL CE 4", но судя по строке соедения, на самом деле используется LocalDB (файлы SQL CE имеют расширение .sdf).

К слову, ни тот ни другой использовать в службах не рекомендуется: они предназначены для клиентских приложений. Гораздо лучше использовать обычный SQL Server Express.

На самом деле, SQL Server Compact начиная с версии 4.0 можно использовать в службах.

На самом деле я ошибся, для служб не рекомендуется использовать SQL Compact версии 3.5 и ранее. SQL Compact версии 4.0 был усовершенствован, и его можно использовать в службах. 

Правильная строка (минимальная) должна выглядеть как-то так:

Data Source=arithmetic.sdf;

Дополнительные свойства можно посмотреть здесь: https://msdn.microsoft.com/en-us/library/system.data.sqlserverce.sqlceconnectionstringbuilder(v=vs.100).aspx

И провайдер - System.Data.SqlServerCe.4.0, а не System.Data.SqlClient