如果 listen 没有设置default，那么可以这样

server {listen 80;server_name _;return 404；}

如果设置了default的话，上面那样做就不太好用了，可以在server {}里加入下面的判断，位置加在server_name下面location上面就行

if ( $host ~* "\d+\.\d+\.\d+\.\d+" ) {return 404;}

测试通过。