ASP.NET Core ではweb.configがなく、代わりにappsettings.jsonが用意されています。
ビルド構成別に appsettings.json の内容を分ける方法を記載します。
【検証環境】ASP.NET Core 3.1
プロジェクトを作成すると、下記のようにデフォルトでappsettings.json と appsettings.Development.json が用意されています。

Debug と Release で分けたい場合は Debug時の内容を appsettings.Development.json に記述することで実現可能です。
appsettings.Development.json にはビルド構成別に変えたい内容だけ記述でOKです。