Android Camera相关知识

1、软编码获取前置摄像头

使用Camera.open(0)的方式来获取摄像头的方式是写死的参数，是硬编码，下面演示软件编码的实现获取前置摄像头(Camera.open()默认就是找后摄像头，找不到就返回null)，获取后置摄像头也同理：

/** 打开前置摄像头  */
@Suppress("DEPRECATION")
private fun openFacingCamera(): Camera? {
    val cameraInfo = Camera.CameraInfo()
    val numberOfCameras = Camera.getNumberOfCameras()
    for (i in 0 until numberOfCameras) {
        Camera.getCameraInfo(i, cameraInfo)
        println("cameraInfo.facing = " + cameraInfo.facing)
        if (cameraInfo.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
            return Camera.open(i)
        }
    }
    return null
}

2、设置预览的镜像效果

在公司的一台球机设备上，发现预览画面是水平镜像的，但是回调拿到的yuv数据并没有镜像，这很奇怪。如何设置正确的预览效果呢？设置一下预览水平镜像即可，如下：

val parameters = mCamera.parameters
//设置镜像效果，支持的值为flip-mode-values=off,flip-v,flip-h,flip-vh;
parameters.set("preview-flip", "flip-h")
mCamera.parameters = parameters

注：此方法有问题，使用此设置之后 ，预览视频是没镜像了，但是出来的yuv数据却镜像了。

这很奇怪，我们修改预览视频的方向并不会影响输出yuv数据视频的方向，而设置镜像却可以预览和yuv数据一起变了。

3、帧率问题

公司的球机，预览方向必须设置为90度，否则CIF、VGA出来的帧率只有15帧/秒左右，而720P和1080P能23帧/秒左右。注：什么也不做，直接在预览回调中统计帧率。

当把视频发送给服务器时，且分辨率为1080P时，发现球机摄像头发出的帧率为15帧/秒左右，这很奇怪，发送视频是在子线程做的，怎么会影响到摄像头出帧率。

4、画面抖动问题

公司的球机，小分辨率的时候（720P和1080P没有问题），画面会出现抖动的情况，当把预览方向设置为90度时问题解决。

5、设置输出图像的格式

Android摄像头通常会支持两种图像格式：NV21和YV12，可通过下面方式设置

val parameters = mCamera.parameters
parameters.setPreviewFormat(ImageFormat.NV21) // ImageFormat.YV12
mCamera.parameters = parameters

比较诡异的是，Android的H264硬编码器不支持NV21和YV12格式，神奇！

6、录像时开启自动连续对焦

val parameters = mCamera.parameters
parameters.focusMode = Camera.Parameters.FOCUS_MODE_CONTINUOUS_VIDEO
mCamera.parameters = parameters

7、YUV图像格式转换

1. 成员变量赋值

   ySize = videoWidth * videoHeight; // Y分量大小
   oneFrameSize = (ySize * 3) >> 1;  // 一帧画面大小
   uvSize = oneFrameSize - ySize;    // UV分量大小
   uvHalfSize = uvSize / 2;                 // UV分量的一半
   uvBytes = new byte[uvSize];          // 用于存放UV分量数据
   maxIndex = ySize + uvHalfSize;    // 最大索引
   

2. YV12转I420

   private void YV12ToI420(byte[] yuvDatas) {
       for (i = ySize; i < maxIndex; i++) {
    	   temp = yuvDatas[i];
    	   yuvDatas[i] = yuvDatas[i + uvHalfSize];
    	   yuvDatas[i + uvHalfSize] = temp;
       }
   }
   

3. I420转NV12

   private void I420ToNV12(byte[] i420Bytes) {
       index = 0;
       for (i = ySize; i < maxIndex; i++) {
    	   uvBytes[index] = i420Bytes[i];
    	   uvBytes[index + 1] = i420Bytes[i + uvHalfSize];
    	   index += 2; // 上面已经连续存储了两个位置了，所以这里要跳2
       }
       System.arraycopy(uvBytes, 0, i420Bytes, ySize, uvSize);
   }
   

4. NV21转NV12

   private void NV21ToNV12(byte[] yuvDatas) {
       for (index = ySize; index < oneFrameSize; index += 2) {
    	   temp = yuvDatas[index];
    	   yuvDatas[index] = yuvDatas[index + 1];
    	   yuvDatas[index + 1] = temp;
       }
   }
   

8、申请权限后摄像头不显示

当把SurfaceView写在布局中时，第一次运行时，先动态权限申请权限，申请到权限之后再显示摄像头，这时会发现显示不了，从打印Log可以知道surfaceCreated函数并没有执行，原因时Activity显示时，我们还没有Camera权限，此时surfaceCreated已经执行，而因为没有权限，我们的代码还没执行到给SurfaceHolder添加回调的地方，所以就看不到surfaceCreated执行。解决方案就是SurfaceView不要写死在布局中，而是在用到的时候直接new出来，然后add到布局中，这样就没问题了。

9、移除SurfaceView报异常

我在项目中增加了一个关闭摄像头的按钮，点击后关闭摄像头。因为SurfaceView是new出来动态添加到主界面上的，则在关闭摄像头后应该把SurfaceView移除，但是在移除SurfaceView的过程中（container.removeView(surfaceView))会触发surfaceDestroyed函数，而我在这个函数中又调用了关闭摄像头函数，这样会导致两次调用关闭摄像头的函数，在第一次调用关闭摄像头函数时，代码还没执行完removeView的操作，surfaceDestroyed就被执行了，此时就会执行第二次的关闭摄像头函数调用，第二次就能成功把removeView操作完成，然后函数回到第一次调用的地方时就会报错，因为View已经被第二次移除掉了。解决方案：加入一个变量，确保release函数在执行完一次时才会再执行第二次，如下：

private fun releaseCamera() {
        if (isReleasing) return
        isReleasing = true

        binding.root.findViewWithTag<SurfaceView>(TAG)?.let { binding.root.removeView(it) }

        camera?.apply {
            setPreviewCallback(null)
            stopPreview()
            release()
            camera = null
        }
        isReleasing = false
    }

后续：后来发现这代码运行到另一个手机上也会有问题，报错如下：

java.lang.NullPointerException: Attempt to invoke interface method 'void android.view.IWindowSession.performDeferredDestroy(android.view.IWindow)' on a null object reference
        at android.view.SurfaceView.updateWindow(SurfaceView.java:780)
        at android.view.SurfaceView.onWindowVisibilityChanged(SurfaceView.java:285)

看来移除SurfaceView的问题很大啊，那在停止摄像头的时候就不要移除SurfaceView了，改成在下一次添加新SurfaceView时再移除旧的SurfaceView，如下：

binding.root.findViewWithTag<SurfaceView>(TAG)?.let { binding.root.removeView(it) }
binding.root.addView(surfaceView)