В общем покурил google и у меня получилось. В RPi есть аппаратный кодек H.264, нужно использовать его. Всё равно проц сильно нагружается и на другие задачи его не хватит.
Поэтому RPi будет цифровать видео и передавать его на что-нить помощнее (ноут) где собственно и будет проходить обработка видео, отслеживание объекта и управление дроном.
Использовал gstreamer
на RPi: gst-launch-1.0 -v v4l2src ! videoconvert ! omxh264enc ! rtph264pay ! udpsink host=<host_ip> port=<host_port>
На компе: gst-launch-1.0 -v udpsrc port=<host_port> caps = "application/x-rtp\,\ media\=\(string\)video\,\ clock-rate\=\(int\)90000\,\ encoding-name\=\(string\)H264\,\ sprop-parameter-sets\=\(string\)\"J2QAKKwrQFoJNAPEiag\\\=\\\,KO4CXLA\\\=\"\,\ payload\=\(int\)96\,\ ssrc\=\(uint\)2220438228\,\ timestamp-offset\=\(uint\)3048715842\,\ seqnum-offset\=\(uint\)31957" ! decodebin ! autovideosink
https://cloud.mail.ru/public/LapF/2HQ6GSSGH