Pedro era o filho caçula de Basílio, o Velho, e Emelia de Cesareia, na Capadócia. Seus irmãos eram Santa Macrina, a Jovem, e dois dos padres capadócios: Basílio Magno e Gregório de Nissa. Sua irmã mais velha, Macrina, exerceu grande influência sobre sua educação religiosa, agindo como instrutora, dirigindo-o para uma vida espiritual e ascética.
Quando começou a ler renunciou estudar ciências profanas e se dedicou inteiramente à meditação das Escrituras e ao cultivo de uma vida espiritual.
Quando seu irmão foi elevado à sé episcopal de Cesareia, Pedro recebeu dele a ordenação sacerdotal, embora mais adiante tenha se retirado da vida ativa para se tornar um asceta recluso. Auxiliou Santa Macrina e sua mãe a realizarem o sonho de suas vidas que era estabelecer um mosteiro e um convento nas terras da família após a morte de seu pai. Após o seu voto de castidade, Pedro trabalhou na transformação da comunidade feminina para uma comunidade cenobita mista. Ele liderou o mosteiro masculino enquanto Macrina o feminino.
Por volta de 380, foi também elevado ao cargo de bispo na sé de Sebaste, na Armênia e, sem escrever nenhuma obra literária, apoiou seus irmãos Basílio e Gregório na luta contra o arianismo.
Residia, antes da eleição episcopal, em Annesi, perto de Neocesareia. Em sua vida e administração episcopal exibiu as mesmas características esplêndidas de Basílio. Profundamente ligado aos seus irmãos, ele acompanhava os seus escritos com o maior interesse. A pedido seu, Gregório de Nissa escreveu sua grande obra “Contra Eunômio” em defesa do livro homônimo de Basílio contra Eunômio. E, foi também a seu conselho que Gregório escreveu o “Tratado sobre a Obra dos Seis Dias”, defendendo também um tratado similar ao de Basílio contra as falsas interpretações. Outra obra de Gregório, “Sobre a investidura do homem”, também foi escrita por sugestão de Pedro, e enviada a este com um prefácio apropriado como presente de Páscoa em 397.
Após sua morte, seu irmão Gregório de Nissa dedicou-lhe seu De opificio hominis (“A Criação do Homem”), dirigido a Orígenes escrevendo-lhe a carta 29. Recebeu em resposta a carta 30 de sua correspondência.
Não há informações detalhadas sobre suas atividades como bispo, exceto que esteve presente no Primeiro Concílio de Constantinopla, em 381.
Após sua morte, em 391, ele passou a ser venerado como santo.