Hi,
das ist relativ normal, und liegt daran dass sich durch die Kamera das Schwingungsverhalten des Quads verändert hat. Die normalerweise geringen Vibrationen der Rotoren schwingen sich nun auf, und werden von den Gyrofiltern nicht mehr heraus gefiltert. Für den PID Regler sind das dann ungewollte Bewegungen des Quads, die er versucht mit den Motoren aktiv zu kontern. Dadurch dass die Motoren nun ständig in hoher Frequenz hart be- und entschleunigen entsteht der merkwürdige Sound und die Hitze. Gleichzeitig verstärken die Motoren die Schwingungen, wodurch sich das ganze System immer stärker aufschaukelt. Im Extremfall flippt der PID Regler dann völlig aus und schickt den Quad zum Mond.

Als erstes solltest du mal die Propeller checken, nicht dass einer einen bösen Schlag hat, das könnte die Sache auch verschlimmern. (am besten leicht gebrauchte drauf machen, auch keine nagelneuen.)
Dann ggf. mal den mount deiner Kamera überdenken. Er sollte Vibrationen dämpfen können. Diese typischen Gopro Halter aus Hartplastik sind z.b. eine absolute Katastrophe. TPU ist dein Freund.
Als nächstes kannst du mal mit den Schiebereglern in Betaflight experimentieren. Die Gyro- und D-term Filter weiter Richtung "more Filtering", Eventuell den D-gain etwas runter. Wenn du damit nicht auf einen grünen Zwei kommst musst du dir mal ein paar Tutorials zum tunen von Quads ansehen und den Quad von grund auf richtig tunen. Da kann durchaus eine Menge Arbeit auf dich zukommen.
Es ist immer besser die Ursache der Vibrationen zu beseitigen, als sie in Software zu Filtern. Wenn du häufiger ohne Kamera fliegst kann es sogar Sinn machen unterschiedliche PID Profile anzulegen und dann immer zu wechseln, je nachdem wie unterschiedlich sie ausfallen.