Gebiet des vorderen Elz- und des Simonswäldertals, zunächst vom Ortsadel (Schwarzenberger) beherrscht, die auch Vögte des Kloster St. Margarethen in Waldkirch waren; seit dem 14. Jh. als Habsburger Lehen. Die Herrschaft wurde geteilt, Kastelberg (mit Waldkirch) wurde an Adlige verpfändet (u.a. 1354 Malterer, 1396 Sulz, 1429 Staufen); die Herrschaft Schwarzenberg kam nach Aussterben der Schwarzenberger 1459 an Rechberg, 1560 an Reischach). 1567 wurden beide Herrschaften wieder vereint und als Kameralherrschaft durch österreichische Vögte verwaltet (Vogteiamt Waldkirch 1763 [heute Polizei], Abb. links). Waldkirch wurde 1665 als Stadt unabhängig von der Landvogtei.
Grenzsteine der Landvogtei Kastel- und Schwarzenberg mit dem österreichischen Bindenschild siehe auch hier
An der Grenze zur ebenfalls habsburgischen Landvogtei Triberg findet sich am Brend ein Grenzstein (Abb. links Vorder- und Rückseite) zwischen den Gemeinden Obersimonswald (wahrscheinlich später hinzugefügte Bezeichnung GO) und Furtwangen (GF), der zur Bezeichnung der Landvogteien im oberen Teil ein „W“ (wie Waldkirch für die Herrschaft Kastel- und Schwarzenberg) bzw. ein „T“ (für Landvogtei Triberg) aufweist.