Brosnan casou-se duas vezes, tendo sido viúvo uma vez, e tem cinco filhos e três netos. Ele conheceu a atriz australiana Cassandra Harris através de seu enteado David Harris, o sobrinho de Richard Harris, pouco depois de sair da escola de teatro. Ao conhecê-la, ele disse, "Que mulher bonita. Eu nunca por um instante pensei que ela era alguém com quem eu passaria 17 anos da minha vida. Eu não pensei em cortejá-la, ou tentar cortejá-la; eu só queria desfrutar de sua beleza e quem ela era." Eles começaram a namorar e comprar uma casa em Wimbledon. Eles se casaram em dezembro de 1980 e tiveram um filho, Sean, que nasceu em 13 de setembro de 1983 e mais tarde se tornou um ator. Eles também viviam com os filhos de Harris, Charlotte (1971–2013) e Chris, e Brosnan adotaram-nos depois de seu pai Dermot Harris morreu em 1986; eles posteriormente assumiram seu sobrenome. No início de sua relação, Brosnan trabalhou em peças de West End e filmes de televisão. Depois Harris apareceu no filme James Bond For Your Eyes Somente em 1981, eles obtiveram um empréstimo bancário e se mudaram para o sul da Califórnia, onde Brosnan foi elenco no papel título da série de TV Remington Steele, aliviando suas preocupações financeiras.
Um episódio de Remington Steele que foi filmado na Irlanda gerou publicidade significativa. Isso levou Brosnan encontrar seu pai, que tinha deixado quando Brosnan era um bebê, em seu hotel. Ele esperava ver um "homem muito alto", mas ao invés descreveu seu pai como "um homem de estatura média, cabelo prateado empurrado para trás, olhos sofisticados, e uma mandíbula "que tinha um sotaque Kerry muito forte". Ele estava arrependido de que eles se encontraram sob tais circunstâncias públicas e desejava um arranjo mais privado.
Enquanto filmava The Deceptors em Rajasthan em 1987, Harris ficou gravemente doente. Ela foi mais tarde diagnosticada com câncer de ovário e morreu em 28 de dezembro de 1991 aos 43 anos. Brosnan lutou para lidar com sua morte: "Quando seu parceiro tem câncer, então a vida muda. Seu horário e referência para suas rotinas normais e a forma como você vê a vida, tudo isso muda. Porque você está lidando com a morte. Você está lidando com a possibilidade de morte e morrer. E foi assim através da quimioterapia, através da operação de primeiro olhar, o segundo olhar, o terceiro olhar, o quarto olhar, o quinto olhar. Cassie era muito positiva sobre a vida. Quero dizer, ela tinha a energia mais incrível e perspectiva sobre a vida. Foi e é uma perda terrível, e vejo que refletiu, de vez em quando, em meus filhos." Harris sempre quis Brosnan para jogar James Bond; em 1995, quatro anos após sua morte, Brosnan garantiu o papel. Sua filha adotiva Charlotte também morreu de câncer de ovário, em 28 de junho de 2013.Em 1994, Brosnan conheceu a jornalista americana Keely Shaye Smith no México. Eles se casaram em 2001 na abadia de Ballintubber na Irlanda. Eles têm dois filhos juntos chamados Dylan e Paris. Eles residem principalmente em Malibu, Califórnia, com uma segunda casa americana no Havaí e residências irlandesas em Dublin e Condado Meath. Em 11 de fevereiro de 2015, a casa de 18 milhões Malibu pegou fogo e sustentou 1 milhão de dólares em danos. Durante os 30 minutos que levaram bombeiros para extinguir o fogo, chamas destruíram o conteúdo da garagem, incluindo Aston Martin V12 Vanquish 2002 de Brosnan, e se espalhou para um quarto acima dele; nenhum ferimento foi sofrido.Em julho de 2003, a rainha Elizabeth II fez Brosnan um oficial honorário da Ordem do Império Britânico por sua "contribuição destacada para a indústria cinematográfica britânica". Como cidadão irlandês, ele é inelegível para receber a homenagem completa do OBE, que é atribuído apenas a um cidadão dos reinos da Commonwealth, mas ele ainda é permitido as letras "OBE" após seu nome. Em 2002, ele também foi premiado com um diploma honorário do Instituto de Tecnologia de Dublin e, um ano depois, o University College Cork. Em 23 de setembro de 2004, ele se tornou um cidadão americano, mantendo sua cidadania irlandesa. É o espírito de quem eu sou, como um homem, um ator, um pai. É de onde eu venho." Quando perguntado por um fã se isso o aborreceu quando as pessoas confundiram sua nacionalidade por causa de seu sotaque bastante neutro, ele disse, "Me diverte em alguns aspectos que eles devem me confundir com um inglês quando eu sou um irlandês tingido na lana, nascido e criado. Eu não necessariamente voar sob qualquer bandeira, mas não, isso não me incomoda.".
Brosnan manifestou desprezo pela educação dos seus Irmãos Cristãos, mas comentou em 2013, "É sempre útil ter um pouco de oração no bolso de trás. No final do dia, você tem que ter algo e para mim que seja Deus, Jesus, a minha educação católica, a minha fé. Deus tem sido bom para mim. A minha fé tem sido boa para mim nos momentos de sofrimento, dúvida e medo mais profundos. É uma constante, a linguagem da oração. Posso não ter recebido as minhas somas corretas dos Irmãos Cristãos ou não ter tido a maior aprendizagem da literatura deles, mas certamente tenho uma quantidade de fé apertada." Ele assiste à missa, mas também adere a outras crenças espirituais, afirmando em 2008 que ama "os ensinamentos da filosofia budista", que ele referiu como sua "fé privada". Ele elaborou, "Eu não pregar, mas é uma fé que é um consolo para mim quando a noite é longa.".