M ariska nasceu no St. John's Hospital em Santa Monica, California. Era a filha mais nova de Jayne Mansfield, atriz e símbolo sexual dos anos 50, e Mickey Hargitay, antigo Mr. Universo. Seu primeiro e segundo nomes são de orígem húngara e referem-se a Maria Madalena (Mariska é um diminutivo de Maria). Seu sobrenome também tem origem húngara (signfica "de Hargita"). Mariska tem duas meias-irmãs, Marie Jayne Mansfield e Tina Hargitay; dois irmãos, Zoltán e Miklós Hargitay e um meio-irmão, Antonio Ottaviano (também conhecido por Tony Cimber).
Os pais de Mariska haviam se divorciado em maio de 1963, mas o divórcio foi anulado. Eles se reconciliaram poucos meses antes de seu nascimento, em janeiro de 1964, mas logo se separaram novamente, com o divórcio oficializado em agosto do mesmo ano. Algumas semanas mais tarde, sua mãe casou-se com o diretor Matt Cimber.
Em 29 de junho de 1967, Jayne Mansfield morreu em um acidente automobilístico, em uma estrada entre Nova Orleans e Slidell, Louisiana. O namorado dela, Sam Brody, e o motorista também foram mortos. Como dormia na parte de trás do veículo, Mariska, com três anos e meio, feriu-se, ficando posteriormente com uma cicatriz em zig-zag ao lado da cabeça.
Seus irmãos Zoltán e Miklós também estavam no carro, mas escaparam com ferimentos leves. Após a morte de sua mãe, os três irmãos foram levados para morar com o pai e sua terceira esposa, Ellen Siano.
Hargitay foi ativa no programa de teatro da sua escola secundária Marymount High School, e ela participou da UCLA School of Theater Film and Television (onde era um membro da Kappa Kappa Gamma), mas a deixou seis meses antes de se formar, para iniciar sua carreira.
