Det selvbyggede hus, som Peter og Anne Marie boede i på Hyrup Hede, lå på en lille parcel på 877 m2, (nuværende adresse i skoven ved Hyrup Hedevej 4, Toftlund). De lånte 400 mark ved Agerskov Sogns Spare- og Laanekasse i november 1887 til køb af grund og opførsel af huset. De fik i alt 5 børn og 43 børnebørn, hvoraf de 20 børn er opvokset i Agerskov Sogn. Peter Nicolaj Schildt døde hos sin datter Dorothea Frederikke Schildt, gift Tychsen, i Agerskov (nuværende adresse Sønderbyen 3). Deres yngste datter Andrea Jessine Schildt, gift Riis, boede på Lille Kjærgaard (nuværende Bovlund Nymarksvej 6). Dorothea var gift med landmand og bygmester Andreas Tychsen. Har blandt andet stået for opførelsen af Agerskov Skoles bygninger fra henholdsvis 1901 og 1911. Andrea Jessine var gift med landmand Peter Hansen Riis.