James Wong nació en Hong Kong, China.

Wong nació en Hong Kong, China, trasladándose con su familia a los EE.UU., en San Diego, California, a la edad de 10 años. Durante su juventud, conoció a su futuro socio y guionista, Glen Morgan, en el Instituto de El Cajon Valley. Más tarde, asistió a la Universidad Loyola Marymount, donde se unió a un grupo de improvisación cómica. Inicialmente en pos de la especialización en ingeniería, cambió de interés más tarde para especializarse en cinematografía después del visionado de Apocalipsis Now (Apocalypse Now, 1979) en el Cinerama Dome de Hollywood.