开发流程

基于JavaCV的应用将摄像头的视频帧推送到媒体服务器，观看者用播放器软件远程连接媒体服务器

项目依赖

Maven坐标如下：

<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>javacv-platform</artifactId>
    <version>1.5.8</version>
</dependency>

这里有个坑：上面的maven是一个总依赖，打完包会有几个G。我们需要用到什么就添加什么，用什么平台就添加什么平台。

<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>javacv</artifactId>
    <version>1.5.8</version>
</dependency>
<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>javacpp</artifactId>
    <version>1.5.8</version>
</dependency>

<!-- windows -->
<!--        <dependency>-->
<!--            <groupId>org.bytedeco</groupId>-->
<!--            <artifactId>opencv</artifactId>-->
<!--            <version>4.6.0-1.5.8</version>-->
<!--            <classifier>windows-x86_64</classifier>-->
<!--        </dependency>-->
<!--        <dependency>-->
<!--            <groupId>org.bytedeco</groupId>-->
<!--            <artifactId>openblas</artifactId>-->
<!--            <version>0.3.21-1.5.8</version>-->
<!--            <classifier>windows-x86_64</classifier>-->
<!--        </dependency>-->
<!--        <dependency>-->
<!--            <groupId>org.bytedeco</groupId>-->
<!--            <artifactId>ffmpeg</artifactId>-->
<!--            <version>5.1.2-1.5.8</version>-->
<!--            <classifier>windows-x86_64</classifier>-->
<!--        </dependency>-->

<!-- linux -->
<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>opencv</artifactId>
    <version>4.6.0-1.5.8</version>
    <classifier>linux-arm64</classifier>
</dependency>
<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>openblas</artifactId>
    <version>0.3.21-1.5.8</version>
    <classifier>linux-arm64</classifier>
</dependency>
<dependency>
    <groupId>org.bytedeco</groupId>
    <artifactId>ffmpeg</artifactId>
    <version>5.1.2-1.5.8</version>
    <classifier>linux-arm64</classifier>
</dependency>

项目开发

需要定义一个采集地址和一个推流地址，地址可参考文章：

https://www.atbigapp.com/blog/1854828862818934784?share_id=1855509813685313536

private static final String GRABBER_ADDRESS = "rtsp://127.0.0.1:8554/stream";
private static final String RECORD_ADDRESS = "rtmp://127.0.0.1:1935/live/room";

使用FFmpegFrameGrabber采集视频帧，定义FFmpegFrameGrabber类型的成员变量；将视频帧推送到媒体服务器的功能来自FrameRecorder，这是个抽象类，本篇用到的是其子类FFmpegFrameRecorder，定义FFmpegFrameRecorder类型的成员变量。

// 帧采集器
protected FFmpegFrameGrabber grabber;
// 帧录制器
protected FFmpegFrameRecorder recorder;

初始化操作

protected void init() throws Exception {
	// 采集/抓取器
    grabber = new FFmpegFrameGrabber(GRABBER_ADDRESS);
//    grabber.setVideoOption("skip_frame", "nokey");  // 仅抓取关键帧
    grabber.setVideoOption("fflags", "nobuffer");    // 禁用缓冲
    grabber.setVideoOption("threads", "1");
    grabber.setVideoOption("rtsp_transport", "tcp"); // 使用TCP传输
//    grabber.setVideoOption("tune", "zerolatency");
//    grabber.setOption("buffer_size", "1024000");
    grabber.setOption("timeout", "5000000");
    // 读写超时，适用于所有协议的通用读写超时
    grabber.setOption("rw_timeout", "5000000");
    // 探测视频流信息，为空默认5000000微妙
//    grabber.setOption("probesize", "5000000");
    // 设置分析的最长时间，单位微秒
//    grabber.setOption("analyzeduration", "5000000");
    grabber.setPixelFormat(avutil.AV_PIX_FMT_NV12);//像素格式
    avutil.av_log_set_level(avutil.AV_LOG_ERROR); // 设置日志级别
    try {
        log.info("开始采集rtsp");
        grabber.startUnsafe();// 开始之后ffmpeg会采集视频信息，之后就可以获取音视频信息
        log.info("采集rtsp成功");
    } catch (FFmpegFrameGrabber.Exception e) {
        log.error("采集发生异常", e);

        try {
            grabber.release();
            grabber.stop();
            grabber.close();
        } catch (Exception ex) {
            throw new RuntimeException(ex);
        }
        throw new RuntimeException(e);
    }


    recorder= new FFmpegFrameRecorder(RECORD_ADDRESS, grabber.getImageWidth(), grabber.getImageHeight(), 0);
    recorder.setGopSize((int) framerate);
    // 帧率
    recorder.setFrameRate(grabber.getVideoFrameRate());
    // 比特率
    recorder.setVideoBitrate(grabber.getVideoBitrate());
//    recorder.setAudioChannels(audioChannels);
//    recorder.setAudioBitrate(audioBitrate);
//    recorder.setSampleRate(sampleRate);
    recorder.setPixelFormat(avutil.AV_PIX_FMT_NV12);//像素格式
    //视频参数，解码器
    recorder.setVideoCodec(grabber.getVideoCodec());
    //解码器格式
    recorder.setFormat("flv");
    // 降低编码延时
    recorder.setVideoOption("tune", "zerolatency");
    // 提升编码速度，在视频质量和编码速度之间选择适合自己的方案，包括这些选项：
    // ultrafast,superfast, veryfast, faster, fast, medium, slow, slower, veryslow
    // ultrafast对CPU消耗最低

    recorder.setVideoOption("preset", "ultrafast");
    //Constant Rate Factor (CRF) 控制视频的质量。值越小，质量越高，但文件也越大。23是一个常见的选择，能提供不错的平衡。
    recorder.setVideoOption("crf", "23");
    recorder.setVideoOption("threads", "1");
//    recorder.setOption("keyint_min", "25"); //gop最小间隔
//    recorder.setTrellis(1);//控制编码器是否使用trellis量化，设置为1可以稍微提高编码质量。
    recorder.setMaxDelay(0);// 设置延迟,设为0表示尽量减少延迟

//    recorder.setAudioCodecName("aac");
    AVFormatContext fc = grabber.getFormatContext();
    try {
        log.info("开始录制");
         // 帧录制器开始初始化
        recorder.start(fc);
        log.info("录制成功");
    } catch (FFmpegFrameRecorder.Exception e) {
        log.error("录制发生异常", e);

        try {
            recorder.release();
            recorder.stop();
            recorder.close();
        } catch (Exception ex) {
            throw new RuntimeException(ex);
        }
        throw new RuntimeException(e);
    }
}

接下来是开始录制方法，关键是recorder.recordPacket，另外要注意时间戳的计算和设置：

protected void start() {

    int timebase;// 时钟基
    long dts = 0, pts = 0;// pkt的dts、pts时间戳
    try {
        while (true) {
            AVPacket pkt;
            // 获取没有解码的音视频帧
            // 释放探测时缓存下来的数据帧，避免pts初始值不为0导致画面延时
            grabber.flush();
            pkt = grabber.grabPacket();
            if (pkt == null || pkt.size() <= 0 || pkt.data() == null) {
                Thread.sleep(1);
                throw new RuntimeException("采集流出错");
            }
            // 获取到的pkt的dts，pts异常，将此包丢弃掉。
            if (pkt.dts() == avutil.AV_NOPTS_VALUE && pkt.pts() == avutil.AV_NOPTS_VALUE || pkt.pts() < dts) {
                avcodec.av_packet_unref(pkt);
                continue;
            }
            // 矫正dts，pts
            pkt.pts(pts);
            pkt.dts(dts);
            recorder.recordPacket(pkt);
            // pts,dts累加
            timebase = grabber.getFormatContext().streams(pkt.stream_index()).time_base().den();
            pts += (timebase / (int) framerate);
            dts += (timebase / (int) framerate);
        }
    } catch (Exception e) {
        log.error("录制发生异常", e);
        throw new RuntimeException(e);
    }
}

至此，采集与推流功能已开发完成。用VLC软件打开刚才推流的地址，几秒后就可以实现直播效果。除了实现直播效果，JavaCV还可以实现截图，转换视频格式，拉取指定时长的视频等功能。

使用JavaCV优势

优势一

不会再产生新的进程，这就说明不用再监控进程运行时长了，使用起来不用考虑那么多，API 的调用基本上不可能出现阻塞的情况，ffmpeg 的 API 绝对是值得相信的，如果有异常情况，一定会第一时间通过返回值告知。

优势二

代码逻辑更加清晰，自定义能力更强。

开发时遇到的坑

坑一：项目打包文件太大

上面说的依赖按需导入即可。

坑二：FFmpegFrameGrabber采集视频无法设置超时时间

找了很多JavaCV版本的依赖都不行，只有1.5.8版本的依赖可以。

FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(src);
grabber.setOption("timeout", "5000000");

坑三：推流的视频延迟太高

可以通过设置参数来解决

// 降低编码延时
recorder.setVideoOption("tune", "zerolatency");
// 提升编码速度
recorder.setVideoOption("preset", "ultrafast");
//Constant Rate Factor (CRF) 控制视频的质量。值越小，质量越高，但文件也越大。23是一个常见的选择，能提供不错的平衡。
recorder.setVideoOption("crf", "23");
recorder.setVideoOption("threads", "5");
recorder.setMaxDelay(0);// 设置延迟,设为0表示尽量减少延迟