Nacido en Phan Thiet en 1967, el padre de Pham, Thong, era maestro y su madre, lavandera. Pham tenía dos hermanas, Chi y Kay, y tres hermanos menores, Huy, Tien y Hien.
Durante la guerra de Vietnam, Thong trabajó para el ejército de Vietnam del Sur en su departamento de propaganda. Finalmente, fue capturado por el Vietcong y enviado al campo de reeducación de la prisión de Minh Luong durante varios meses. Tras la liberación de Thong, la familia decidió huir en barco a Malasia . Cuando el barco se desmoronaba en el mar, un carguero indonesio los rescató y los llevó a Indonesia .
La familia de Pham pasó 18 meses en un campo de refugiados en Yakarta. La Primera Iglesia Bautista de Shreveport, Louisiana, llevó a la familia Pham a Louisiana y los patrocinó allí. Nueve meses después, la familia Pham se mudó a San José, California . Después de terminar la escuela secundaria, Pham asistió a la UCLA para estudiar ingeniería.
Durante este período, Chi, que se había ido de casa años antes, regresó como un hombre transgénero con el nombre de Minh. Después de varios meses, Minh se suicidó. Su trágica muerte fue el catalizador del viaje de Pham a Vietnam y su autodescubrimiento. Después de la muerte de Minh, Pham decidió hacer un viaje al noroeste del Pacífico y luego a Vietnam. Hizo una crónica de este viaje en su libro Catfish and Mandala: A Two-Wheeled Voyage Through the Landscape and Memory of Vietnam .