Филипп Халсман родился 2 мая 1906 года в столице Латвии. Его отец Мордух Халсман работал стоматологом, а мать Ита Гринтух преподавала грамматику в школе. Получив среднее образование, будущий мастер портретной фотографии отправился изучать электротехнику в Дрездене.
В сентябре 1928 года в жизни 22-летнего Халсмана случилась трагедия. Его обвинили в убийстве своего отца, который погиб, сорвавшись с горы во время похода по австрийскому Тиролю. Свидетелей произошедшего не оказалось. Суд не поверил в несчастный случай, в регионе как раз зарождался антисемитизм и Филиппа Халсмана приговорили к десяти годам лишения свободы в виде каторжных работ. Сестра Люба много хлопотала за его освобождение. В конце концов, осуждённого поддержали видные европейские умы, включая Фрейда, Эйнштейна, Томаса Манна, Анри Герца и Поля Пенлеве. В 1930 году Филиппа помиловали и освободили при условии, что он покинет Австрию.
После таких сложных жизненных перипетий Халсман перебрался во Францию. Бывший электротехник начал сотрудничество с такими модными журналами, как «Vogue», «Vu» и «Voila». Именно это вскоре принесло ему репутацию одного из лучших фотографов-портретистов страны. Но когда Францию захватила Германия, пришлось бежать в Марсель. Получить американскую визу Халсману помог Альберт Эйнштейн.