¿En «Administración Pública» ambas palabras van en mayúscula?

No, lo indicado es escribir «Administración pública», con mayúscula solo en el nombre que designa ‘organismos del Estado’.

La mayúscula institucional no afecta a los especificadores.