Родился 1845 году в городе Пернове Лифляндской губернии (ныне Пярну, Эстония), в бедной эстонской семье. Его отец, Фридрих Вильгельм Мартенс, бывший церковный кистером в Аудеме. Его мать, Тереза Вильгельмина Кнаст, была родом из Пернова.
В возрасте пяти лет лишился отца, а четыре года спустя стал круглым сиротой. В том же 1854 году его направили в Санкт-Петербург, где в январе 1855 года был определен, в Сиротский приют, состоящий при Главном немецком училище Св. Петра - St.Petri-Schule. Во время учёбы зарекомендовал себя как талантливый и способный ученик. Со временем за отличные успехи в процессе обучения был переведен из школы сиротского дома в Главное немецкое училище Св. Петра.
В училище Мартенс проявил большие способности историка. Но несмотря на это, сразу после блестящего окончания в 1863 году полного гимназического курса, поступил на юридический факультет Императорского Санкт-Петербургского университета.
В университете также отличался одаренностью, успехами и примерным поведением. По сведениям современников, во время обучения в университете увлекался уголовным правом, однако своё выпускное сочинение он посвятил проблемам международного права.