プッシュAPIで絵文字を文字コードで指定することはできますか？

はい、可能です。

1. 絵文字のUnicode(UTF-16BE)の値を取得する。
   （参考）：https://so-zou.jp/web-app/text/encode-decode/
2. 1で取得した値のうち、「U+」を「\u」に置き換える。
   （例：U+D83DU+DE00 → \uD83D\uDE00)
3. 2で取得した値をペイロードで指定する。

ただし絵文字の表示は機種に依存するため、事前に手元で検証することを推奨します。