Женат был два раза. Первым браком на москвичке А. М. Некрасовой, от которой осталась дочь Александра Степановна, по мужу Сверчкова (1872-1952).
6 октября 1876 года в селе Градницы Бежецкого уезда С. Я. Гумилев сочетался вторым браком с Анной Ивановной Львовой (1854 - 1941), с которой познакомился и Кронштадте у брата Лини Ивановны контр-адмирала Л. И. Лыюца.
О предках поэта со стороны матери. Иван Яковлевич Милюков наследовал имение отца, князя Милюка, Слепнево. Затем имение перешло к его дочери, которая вышла замуж за Л. В. Львова. Сын супругов Львовых дед почта - И. Л. Львов ч браке имел пятерых детей двух сыновей и трех дочерей. Старший, Я. И. Львов, служил в пехотном полку, был женат на помещице и, выйдя в отставку, жил в ее имении. Лев Иванович служил во флоте в течение 35 лет, по отставке и чине контр-адмирала получил в наследство от отца имение. Умер в 1908 году, оставив усадьбу Сленнево трем сестрам, в том числе матери поэта.
После рано умершей дочери у супругов Гумилевых родился сын Дмитрий (1884-1922), который но окончании военного училища был офицером, а по отставке служил в основном земским чиновником в Тверской губернии.
3 апреля 1886 г. по старому стилю, в Кронштадте, в доме Григорьевой но Екатерининской улице у А. И. и С. Я. Гумилевых родился сын Николай.
15 апреля 1886 г. был крещен на дому священником Кронштадтской госпитальной Александрониевской церкви. Крестным отцом стал Л. И. Львов, дядя поэта по матери. Крестной матерью Л. С. Сверчкова, сводная сестра поэта.
Высочайшим приказом № 294 от 9 февраля 1887 г. С. Я. Гумилев был произведен в статские советники и уволен но болезни от службы "с мундиром и пенсионом".
К этому времени Гумилевы присмотрели дом в Царском Селе на улице Московской. Тогда многие отставные военные, как и представители обедневшей аристократии, селились со своими семьями в этом уездном городке, представляя собой неопасную лояльную прослойку общества, соседствующую с летней царской резиденцией, впрочем, отгороженную от нее невидимым, но остро ощущаемым "табу".
Мать Гумилева рассказывала, что сын ее, Николай, родился маленьким и худеньким и до десятилетнего возраста был очень слаб здоровьем. Страдал сильными головными болями. Доктор Квицинскнй определил у него, по ее выражению, "повышенную деятельность мозга". Ребенок необычайно быстро воспринимал внешние явления, и наступавшая вслед за тем реакция ослабляла его так, что вызывала глубокий сон. Тяжко, например, действовал на пего уличный шум: грохот экипажей, конок, звонки трамваев. И после прогулок, особенно городских, он чувствовал себя совершенно больным. Чтобы облегчить его страдания, ему постоянно закладывали в уши вату. Только позже, в Тифлисе, в 15-летнем возрасте головные боли и следовавшая за ними сонливость прекратятся окончательно. Попав на Кавказ, он писал о любви к горным ущельям, находя в их тишине и мраке схожесть с состоянием своей души.
Характер у Гумилева развивался спокойный, мягкий и совсем не мрачный. Гумилев терпеливо переносил все неприятности, связанные с его слабым здоровьем, был тихим, редко плакал. Его няня, Мавра Ивановна, крепко привязалась к мальчику за его покладистость, ласковость, кроткий прав и жила у Гумилевых четыре года. Гувернантки, позже, менялись часто, но не из-за мальчика, а потому что скучали в тихом Царском Селе и еще более тихом, почти замкнутом, доме, где гостями бывали пожилые, любившие поиграть в винт, люди большей частью представители медицинского мира. Среди них бывал главный врач дворцового госпиталя К. М. Данчич, постоянно лечивший ребенка.