Die auf sämtliche Zulassungsgründe des § 132 Abs. 2 VwGO gestützte Beschwerde gegen die Nichtzulassung der Revision bleibt ohne Erfolg.
1. Die von der Beschwerde zunächst aufgeworfene Frage, ob nur eine bauaufsichtlich genehmigte und tatsächlich ausgeübte Nutzung die Rücksichtnahmeverpflichtung im Rahmen des Einfügens i.S.v. § 34 Abs. 1 BauGB bzw. im Rahmen des § 15 Abs. 1 BauNVO auslöst, rechtfertigt die Zulassung der Revision nicht. Zwar wäre eine derart allgemein gefasste Aussage nicht vereinbar mit der gefestigten Rechtsprechung des Bundesverwaltungsgerichts, dass auch ungenehmigte Gebäude im Rahmen des § 34 BauGB von Bedeutung sein können (vgl. zuletzt Urteil vom 17. Mai 2002 - BVerwG 4 C 6.01 - ZfBR 2002, 801 <805> m.w.N.). Indes würde sich die Frage in dem erstrebten Revisionsverfahren ungeachtet der im Berufungsurteil (UA S. 11 unten) verwendeten Formulierung in dieser Allgemeinheit nicht stellen. Dies zeigt bereits das von der Beschwerde selbst angeführte Beispiel der auf einem Grundstück noch nicht aufgenommenen Nutzung. Mit der Situation unbebauter Grundstücke befasst sich das angegriffene Urteil nicht; ihre Bewältigung folgt anderen rechtlichen Regelungen (beispielsweise den landesrechtlichen Vorschriften über die Geltungsdauer der Baugenehmigung, für Baden-Württemberg § 62 LBO). Vielmehr geht es im vorliegenden Fall um die Rechtsfolgen, die sich aus der Aufgabe einer früher ausgeübten Nutzung als Wohngebäude ergeben. Im Übrigen geht die Beschwerde selbst zutreffend davon aus, dass die an das Gebot der Rücksichtnahme zu stellenden Anforderungen wesentlich von den Umständen des Einzelfalls abhängen. Dies ist auch Grundlage der rechtlichen Erwägungen des Verwaltungsgerichtshofs. Die Annahme der Beschwerde, die Vorinstanz erörtere an den entsprechenden Stellen des angegriffenen Urteils nicht die an das Gebot der Rücksichtnahme zu stellenden Anforderungen, sondern die Geltungsvoraussetzungen für dieses Gebot, steht mit den Gründen des Urteils nicht im Einklang. Denn dieses hebt die Notwendigkeit einer Beachtung der Umstände des Einzelfalls selbst hervor und setzt sich eingehend mit ihnen auseinander. Davon abgesehen verneint der Verwaltungsgerichtshof vorliegend den mit der Klage erhobenen Anspruch auf Aufhebung der erteilten Baugenehmigung auch für den Fall, dass die dem Kläger für sein Gebäude erteilte Baugenehmigung mit der Nutzung als Wohnhaus nicht nach § 43 Abs. 2 LVwVfG unwirksam geworden sein sollte (UA S. 13). Damit beruht das angegriffene Urteil nicht auf der in der Frage hervorgehobenen Verknüpfung von fehlender Genehmigung und nicht ausgeübter Nutzung.
2. Auch die unter II. der Beschwerde zum Gebot der Rücksichtnahme erhobene Divergenzrüge bleibt ohne Erfolg. Eine die Revision eröffnende Abweichung, also ein Widerspruch im abstrakten Rechtssatz, läge nur vor, wenn das Berufungsgericht in Anwendung derselben Rechtsvorschrift mit einem seine Entscheidung tragenden abstrakten Rechtssatz von einem in der genannten Entscheidung des Bundesverwaltungsgerichts aufgestellten ebensolchen Rechtssatz abgewichen wäre. Vorliegend verweist die Beschwerde jedoch auf zu anderen Rechtsvorschriften, nämlich solchen des Fachplanungsrechts, ergangene Entscheidungen. Dass diese Entscheidungen eine ähnliche Problematik behandeln, eröffnet die Divergenzrüge nicht.
3. Soweit die Beschwerde unter III. mehrere Rügen zum Fragenkreis des Erlöschens der Baugenehmigung erhebt, führen diese nicht zur Zulassung der Revision, da das angegriffene Urteil nicht auf der Annahme, die Baugenehmigung sei erloschen, beruht. Denn die Vorinstanz verneint eine Verletzung des Gebots der Rücksichtnahme auch dann, wenn die Baugenehmigung nicht unwirksam geworden sein sollte (UA S. 13); die darauf bezogene Zulassungsrüge greift ebenfalls nicht durch (siehe unten Nr. 5). Abgesehen davon bewegen sich die zur Geltungsdauer einer Baugenehmigung aufgeworfenen Fragen im Bereich des irrevisiblen Landesbauordnungsrechts, wie der beschließende Senat bereits in seinem Urteil vom 7. November 1997 - BVerwG 4 C 7.97 - DVBl 1998, 587 im Hinblick auf die insoweit missverständlichen Äußerungen in dem vom Berufungsgericht herangezogenen Senatsurteil vom 18. Mai 1995 - BVerwG 4 C 20.94 - (BVerwGE 98, 235 = BRS 57 Nr. 67) klargestellt hat. Im Übrigen geht es, wie die Beschwerde selbst auch anerkennt, vorliegend nicht um Fragen des Bestandsschutzes, wie sie in den Entscheidungen des Senats vom 18. Mai 1995 - BVerwG 4 C 20.94 - (a.a.O.) und vom 21. November 2000 - BVerwG 4 B 36.00 - (Buchholz 406.17 Bauordnungsrecht Nr. 72 = BRS 63 Nr. 121) behandelt worden sind. Vielmehr ist rechtlicher Ausgangspunkt vorliegend die Schutzwürdigkeit einer aufgegebenen Nutzung im Rahmen des in § 15 BauNVO bzw. in § 34 BauGB enthaltenen Gebots der Rücksichtnahme. Der in diesem Zusammenhang geltend gemachte Verstoß gegen die Denkgesetze (Beschwerde S. 29) liegt nicht vor. Die Beschwerde wendet sich gegen eine Würdigung der Umstände des vorliegenden Einzelfalls, die schon nach der Lebenserfahrung nicht völlig ausgeschlossen ist.
4. Die Beschwerde wirft mit Blick auf die erwähnte Hilfsbegründung auf S. 13 des Berufungsurteils ferner die Frage auf, ob der Bauherr dem Nachbarn Rücksichtnahme im Hinblick auf genehmigte, jedoch nicht ausgeübte Nutzungen nur in der Weise schuldet, dass er erst bei Aufnahme der Nutzung auf dem Nachbargrundstück die entsprechenden Schutzvorkehrungen zur Vermeidung unzumutbarer Immissionen zu treffen hat. In dieser Allgemeinheit würde sich die aufgeworfene Frage jedoch in einem Revisionsverfahren nicht stellen. Denn der Verwaltungsgerichtshof stellt zusätzlich darauf ab, dass vorliegend nicht abzusehen ist, ob auf dem Nachbargrundstück überhaupt eine schutzbedürftige Nutzung wieder aufgenommen bzw. erstmals verwirklicht werden soll. Dabei verweist er nicht nur darauf, dass die Nutzung zu Wohnzwecken nahezu zwei Jahre aufgegeben war. Er stellt vielmehr weiter fest: Das betreffende Gebäude stand in der teilweise heruntergekommen wirkenden Umgebung wie eine Insel. Außerdem hatte ein bestandskräftiger Planfeststellungsbeschluss (der später geändert wurde) den Abriss des Gebäudes vorgesehen. Diese und weitere im Urteil näher ausgeführte besondere Umstände rechtfertigen in den Augen des Berufungsgerichts die Schlussfolgerung, dass die Verkehrsauffassung nicht mehr mit der Wiederaufnahme der Wohnnutzung rechnete. Daher sei diese Art der Nutzung auch bei der Anwendung des Gebots der Rücksichtnahme nicht zugrunde zu legen. Somit entzieht sich die vorliegende eher ungewöhnliche Konstellation einer rechtsgrundsätzlichen Klärung.
5. Auch die in diesem Zusammenhang erhobene Divergenzrüge (einschließlich der auf S. 38 der Beschwerdebegründung erhobenen Rüge) bleibt ohne Erfolg. Die Beschwerde legt keinen Rechtsgrundsatz dar, mit dem der Verwaltungsgerichtshof dem Bundesverwaltungsgericht die Gefolgschaft versagt hätte. Auch insoweit ist darauf zu verweisen, dass die Vorinstanz entscheidend auf die besonderen Umstände des vorliegenden Einzelfalls abstellt und keine Rechtsgrundsätze in der Allgemeinheit aufstellt, wie die Beschwerde sie unter Bezugnahme auf immissionsschutzrechtliche Fragen formuliert. Auch in diesem Zusammenhang ist ferner erneut hervorzuheben, dass das angegriffene Urteil sich nicht mit unbebauten Grundstücken befasst.
6. Von einer weiteren Begründung sieht der Senat gemäß § 133 Abs. 5 Satz 2 Halbsatz 2 VwGO ab, da sie nicht geeignet ist, zur Klärung der Voraussetzungen beizutragen, unter denen eine Revision zuzulassen ist.
Die Kostenentscheidung beruht auf § 154 Abs. 2, § 162 Abs. 3 VwGO, die Streitwertfestsetzung auf § 14 Abs. 1 und 3, § 13 Abs. 1 Satz 1 GKG.