Вы про .NET или .NET Core?

Если первое, то как то так:

- Зайти на referencesource.microsoft.com

- Вбить в поиск String

- Перейти на страницу исходного кода класса System.String

- Поиском по странице найти Replace (https://referencesource.microsoft.com/mscorlib/R/69fc1d0aa6df8a90.html)

Да, конечно. Стандартная библиотека: https://github.com/dotnet/corefx , исполняющая среда: https://github.com/dotnet/coreclr. В отличие от обычного .NET на Reference Source, эти проекты выложены в полном виде, так что их можно даже самостоятельно собрать.