Kannst Du in der Drohnenverordnung §21b (1) Pkt.7 nachlesen.
Wohngebiet ist dort nicht definiert nur Wohngrundstück.
Aber auch alle anderen Abstände und Regeln findest Du dort.
Deshalb unbedingt ganz lesen und speichern zum gelegentlichen Nachschauen

Aktuell gibt es für unsere E-Flieger meines Wissens keine Mindestabstände zu Ortschaften und auch nicht zu Wohngrundstücken. Die 100m Mindestabstand z.B. zu Bahnen, Bundesstraßen und Naturschutzgebiete sind natürlich auch innerhalb von Ortschaften zu beachten. Außerdem musst Du nach wie vor so fliegen, dass Du Deinen Flieger immer in direktem Blickkontakt hast.

Um Anwohner und sonstige Mitbürger nicht zu belästigen würde ich aber immer in >40m Flughöhe unterwegs sein. Wenn Deine Drohne sehr laut ist, eher noch höher.

Luftrechtlich nicht, jedoch:

"...Da du jedoch eine Kamera in der Luft bewegst, die Bereiche aufnehmen kann, die der Privatsphäre oder dem höchstpersönlichen Lebensbereich anderer zugeordnet werden, werden weitere Rechtsbereiche tangiert, eben privatrechtliche und strafrechtliche..."

Ja, ist ähnlich wenn Du ein Handy mit Kamera dabei hast. Da musst Du auch die von @skyscope erwähnten "Rechtsbereiche" berücksichtigen. Betrifft aber weniger den Mindestabstand zu Ortschaften und hat auch nicht mit luftrechtlichen Betrachtungen zu tun. Dürfte auch bei den von mir genannten Flughöhen von geringerem Interesse sein.

Da das Fliegen nur über Wohngrundstücken unzulässig ist, starte ich bisweilen in knappen Abstand von Wohngrundstücken - etwa wenn diese direkt an einen Feldweg grenzen, von dem ich starte, aber das heißt nicht, dass ich dann auch die Gärten filme. Ansonsten halte ich immer einen gewissen Abstand, aber oft weniger als 100 m, es können auch 50m sein. Dabei filme ich auch die Ortsränder mit den Häusern, allerdings in der Regel nur Dimge, die man auch so sieht. Wenn jemand z. B. eine hohe Sichtschutzhecke hat, benutze ich das Material nicht bzw. Lösche es ganz oder starte dort nicht. Jeder hat das Recht auf Wahrung der Privatsphäre, das steht höher als unser Recht. Wenn jemand offensichtlich seinen Privatbereich schützt, muss man das respektieren. Andererseits ist es oft so, dass du mit dem Kopter nicht mehr wahrnimmst, als aus der normalen Perspektive als vorbeispazierender Passant.

Das ist absolut korrekt.
Oft ist es aber so, daß die gefühlte Verletzung dieser Privatsphäre entscheidender ist als die Tatsächliche. Durch eine Drohne fühlt man sich schnell beeinträchtigt, auch wenn die Kamera gar nicht läüft und/oder in eine ganz andere Richtung "guckt".
Würde an selber Stelle ein Heli fliegen, würde das kaum Jemand stören. Außer vielleicht den Luftzug durch den Rotor.

Das war nicht richtig was ich da betr. Naturschutzgebiete geschrieben habe. Die darf man nicht überfliegen, von einem seitlichen 100m Abstand steht da nichts:
"Der Betrieb von UAS und Flugmodellen ist nach § 21 b LuftVO generell verboten:
... über Naturschutzgebieten im Sinne des § 23 Absatz 1 des Bundesnaturschutzgesetzes...soweit der Betrieb von unbemannten Fluggeräten in diesen Gebieten nach landesrechtlichen Vorschriften nicht abweichend geregelt ist"

Quellenlink (siehe 5g):
hamburg.de/bwvi/drohnen/