Elfsen ist als kleines Haufendorf am südwestlichen Rand des Gemeindegebietes um eine kreisrunde, wallartige Erhöhung von vierzehn Meter Durchmesser angelegt worden. Diese Stelle kann als Rest der alten Dorfkapelle auf dem Schulzenhof zu Elfsen angesehen werden. Der Schulzenhof war einer der alten kurkölnischen Oberhöfe im Soester Bereich. Die Kapelle soll um 1800 abgerissen worden sein.
Mittelpunkt des Ortes ist der "Elfser Markt", eine größere Freifläche in der Ortsmitte. Der alte Ortskern, bestehend aus zum Teil großen Hofanlagen mit breiten Gebäuden, aber auch kleinen Hofstellen, befindet sich östlich der Kreisstraße 5. Neue Wohnbebauung ist am südöstlichen Rand des Ortes entstanden.
Das Wohnhaus des Hofs Lange an der Dorfstraße stammt im Kern wohl aus dem 18. Jahrhundert, es hat allerdings mehrfache Umbauten hinter sich. Die erhaltenen Nebengebäude werden weiterhin genutzt. Jenseits der Kreisstraße befindet sich der örtliche Friedhof. Abseits der Ortsdurchfahrt bestimmen die teilweise stark versiegelten Straßen und Wege das Bild.
Der typisch dörfliche Charakter von Elfsen ist in großen Teilen des Dorfgebietes zu finden. Im Ortsrandbereich wurden in den vergangenen Jahren viele Obstwiesen und Weiden in Äcker oder Bauland umgewandelt.
Im alten Ortskern sind an den Grundstücken zahlreiche Bruchsteinmauern mit ihrer typischen Vegetation zu finden. Sie dienen als Abgrenzung zur Straße und untereinander. Ein kleiner Dorfteich mit Ufergrün, bestehend aus Kopfweiden, Eichen und Eschen, findet sich im südlichen Ortsbereich.
Die am Ortsrand vorbeiführende Bahntrasse der Westfälischen Landeseisenbahn wird heute als Fahrradweg genutzt. Die Lindenallee am Bahnhofsweg und die Baumpflanzungen mit Ahorn an der Straße nach Müllingsen gelten als ortsbildprägend.