タイトルの通りなのですが、AWS SES で Route 53 で SPF の設定を行うと、MXレコードがデフォルトで以下のものになります。
10 feedback-smtp.us-west-2.amazonses.com
これが罠で、実際は以下のようにしないと S3 にメールが届きません。（リージョンは各自合わせてください）
10 inbound-smtp.us-west-2.amazonaws.com
これで S3 で検証メールを受け取ることができるようになりました。
但し、この設定を行うと、SPF の設定が無効になってしまうので検証後は元に戻さないといけないのですけどね。。
