ICOファイルの作成
ImageMagick をダウンロードして、以降のコマンドでPNGファイルを hiDPI 対応の ICO ファイルに変換する。
magick icon.png -define icon:auto-resize=256,128,64,48,32,16 icon.icoImageMagick は異なるバージョンに従ってコマンドが異なる場合がある。
タスクバーアイコンの変更
タスクバーアイコンを変更するには、Project > Project Settings > Application > Config > Windows Native Icon に移動して、自分のアイコンに変更する。（右上の Advanced Settings を有効する必要がある）
ファイルアイコンの変更
rcedit をインストールし、Editor > Editor Settings > Export > Windows に移動する。そして rcedit エントリのフォルダアイコンをクリックし、 rcedit実行可能ファイルまで移動して選択する。
rcedit を Linux および macOS ユーザーが使用するためには WINE <https://www.winehq.org/> をインストールする必要がある。
これで、ファイル・アイコンを変更するためのすべてが準備できた。そのためには、エクスポート時にアイコンを指定する必要がある。Project > Export に移動する。既に Windows デスクトッププリセットを作成している場合、Application > Icon フィールドで ICO 形式のアイコンを選択する。
参考
Godot Engine 4.2 documentation – Changing application icon for Windows