Sejak kecil, Joko Nirmolo hidup berpindah-pindah ke beberapa pulau seperti, pulau Buru, Ambon, Ternate hingga pulang kembali ke asalnya yakni Magelang, Jawa Tengah.