アプリの実装によって設定されます。
OSによって仕様が異なるものの、管理画面上では設定ができません。
設定方法はそれぞれ以下の通りです。
アプリ側の実装となるため、設定については担当エンジニアへ確認をしてください。
Android
追加設定を行わない場合、アプリのデフォルトアイコンが表示されます。
デフォルトアイコンに対し、適切な透明度設定（背景透過）が行われていないと、意図しないアイコン表示となることがあります。
参考：Androidのプッシュ通知でアイコンが真っ白になるのはなぜですか？
通知表示時のアイコンのみ変更を行いたい場合、追加実装をすることで設定することができます。
開発ドキュメントの「アイコンと背景色のカスタマイズ」を参考に実装してください。
iOS
アプリに設定しているアイコンと同様のものがプッシュ通知のアイコンになります。
変更を行いたい場合、アプリのデフォルトアイコンを変更してください。