Cách sử dụng mô-đun camera esp32 để phát video và nhận dạng khuôn mặt

Có nhiều hệ thống nhận dạng con người sử dụng chữ ký, dấu vân tay, giọng nói, hình dạng bàn tay, nhận dạng khuôn mặt, v.v. để xác định người nhưng không hệ thống nào có thể phát hiện và nhận dạng người ở các khu vực công cộng như sân bay, cửa hàng bán lẻ và nhà ga ngoại trừ Hệ thống nhận dạng khuôn mặt.

Hệ thống nhận dạng khuôn mặt không chỉ có thể được sử dụng cho mục đích an ninh để nhận ra những người ở nơi công cộng mà còn có thể được sử dụng cho mục đích điểm danh trong văn phòng và trường học.

Trong dự án này, chúng tôi sẽ xây dựng Hệ thống nhận dạng khuôn mặt sử dụng ESP32-CAM, hệ thống này cũng sẽ hoạt động như một hệ thống Bảo mật ESP32-CAM bằng cách nhận dạng khuôn mặt của những người không được phép. ESP32-CAM là một mô-đun camera rất nhỏ với chip ESP32-S. Sử dụng mô-đun ESP32-CAM, chúng tôi có thể xây dựng hệ thống nhận dạng khuôn mặt mà không cần sử dụng bất kỳ chương trình phức tạp nào và bất kỳ thành phần bổ sung nào. Nhận dạng khuôn mặt cũng có thể được thực hiện bằng Raspberry Pi và máy ảnh Pi bằng OpenCV.

Giới thiệu về ESP32-CAM

Mô-đun AI-Thinker ESP32-CAM đi kèm với chip ESP32-S, một camera OV2640 kích thước rất nhỏ và một khe cắm thẻ nhớ micro SD. Khe cắm thẻ nhớ Micro SD có thể được sử dụng để lưu trữ hình ảnh chụp từ máy ảnh hoặc để lưu trữ các tập tin. Mô-đun ESP32-CAM này có thể được sử dụng rộng rãi trong các ứng dụng IoT khác nhau. Nó có thể được sử dụng như một hệ thống nhận diện khuôn mặt trong văn phòng, trường học và các khu vực riêng tư khác và cũng có thể được sử dụng làm giám sát không dây, nhận dạng không dây QR và nhiều ứng dụng IoT khác.

Các ESP32-CAM mô-đun có thể được lập trình với ESP-IDF hoặc với Arduino IDE. Mô-đun ESP32-CAM cũng có một số chân GPIO để kết nối phần cứng bên ngoài. ESP32-CAM không có đầu nối USB, vì vậy để lập trình mô-đun, bạn cần có bo mạch FTDI.

Đặc trưng:

• Mô-đun Wi-Fi BT SoC 802.11b / g / n nhỏ nhất
• CPU 32-bit công suất thấp, cũng có thể phục vụ bộ xử lý ứng dụng
• Tốc độ xung nhịp lên đến 160MHz, sức mạnh tính toán tóm tắt lên đến 600 DMIPS
• Tích hợp 520 KB SRAM, 4MPSRAM bên ngoài
• Hỗ trợ UART / SPI / I2C / PWM / ADC / DAC
• Hỗ trợ máy ảnh OV2640 và OV7670, đèn flash tích hợp
• Hỗ trợ tải lên Wi-Fi hình ảnh
• Hỗ trợ thẻ TF
• Hỗ trợ nhiều chế độ ngủ
• Nhúng Lwip và FreeRTOS
• Hỗ trợ chế độ hoạt động STA / AP / STA + AP
• Hỗ trợ cấu hình thông minh / công nghệ AirKiss
• Hỗ trợ nâng cấp firmware cục bộ và từ xa cho cổng nối tiếp (FOTA)

Thông số kỹ thuật:

• SPI Flash: Mặc định 32Mbit
• RAM: 520KB SRAM + 4M PSRAM
• Hỗ trợ thẻ TF: Max. 4G
• Giao diện hỗ trợ: UART, SPI, I2C, PWM
• Định dạng đầu ra hình ảnh: JPEG, BMP, GRAYSCALE
• Cổng IO: 9
• Phạm vi cung cấp điện: 5V

Thành phần bắt buộc

• ESP32-CAM
• Lập trình viên FTDI

Sơ đồ mạch

Để xây dựng Camera an ninh ESP32 CAM, chúng ta chỉ cần mô-đun Camera ESP32 và bộ lập trình FTDI để lập trình nó.

ESP32-CAM không có đầu nối USB, vì vậy bạn cần một lập trình viên FTDI để tải mã lên ESP32-CAM như thể hiện trong hình trên. Chân Vcc và GND của ESP32 được kết nối với chân Vcc và GND của bảng FTDI. Tx của và Rx của ESP32 được kết nối với Rx và Tx của bảng FTDI.

Lưu ý: Trước khi tải mã lên, hãy kết nối IO0 với mặt đất. IO0 xác định xem ESP32 có ở chế độ nhấp nháy hay không. Khi GPIO 0 được kết nối với GND, ESP32 ở chế độ nhấp nháy.

ESP32-CAM	Ban FTDI
3,3V	VCC
GND	GND
UOR	TX
KHÔNG ĐƯỢC	RX

Sau khi lập trình ESP32, tôi tháo bo mạch FTDI và kết nối mô-đun với nguồn điện 3,3V bằng bộ điều chỉnh điện áp 7805. Đây là cách thiết lập cho phát trực tuyến video cam ESP32 trông như thế nào:

Cài đặt Bảng ESP32 trên Arduino IDE

Ở đây ESP32-CAM được lập trình bằng Arduino IDE. Để làm được điều đó, chúng ta phải cài đặt tiện ích bổ sung ESP32 trên Arduino IDE.

Để cài đặt bảng ESP32 trong Arduino IDE của bạn, hãy đi tới Tệp> Tùy chọn

Bây giờ sao chép liên kết dưới đây và dán nó vào trường “ URL Trình quản lý Hội đồng Quản trị bổ sung ” như thể hiện trong hình bên dưới. Sau đó, nhấp vào nút “OK”:

https://dl.espressif.com/dl/package_esp32_index.json

Bây giờ đi tới Công cụ> Bảng> Trình quản lý bảng

Trong Board Manager, hãy tìm kiếm ESP32 và cài đặt “ESP32 by Espressif Systems”.

Mã máy chủ trang web máy ảnh ESP32

Chúng tôi đã có một mã ví dụ từ tính năng phát trực tuyến video cam ESP32 và nhận dạng khuôn mặt. Mở ví dụ ESP32 bằng cách sử dụng Tệp> Ví dụ> ESP32> Máy ảnh và mở ví dụ CameraWebServer.

Trước khi tải mã lên, bạn cần nhập tên và mật khẩu Wi-Fi của mình.

const char * ssid = "Tên WiFi"; const char * password = "Mật khẩu";

Sau đó xác định mô-đun camera ESP. Trong mã, họ đã xác định 5 mô-đun máy ảnh nên bỏ ghi chú “CAMERA_MODEL_AI_THINKER” và nhận xét phần còn lại của các mô-đun.

Để tải mã lên, hãy kết nối bảng FDTI với máy tính xách tay của bạn và chọn ' Mô-đun Wrover ESP32 ' làm bảng của bạn. Ngoài ra, hãy thay đổi các cài đặt khác theo hình ảnh này:

Trước khi tải mã lên, hãy nhấn nút đặt lại ESP32 và sau đó nhấp vào nút tải lên.

Lưu ý: Nếu bạn gặp lỗi khi tải lên mã, hãy kiểm tra xem IO0 có được kết nối với GND và bạn đã chọn đúng cài đặt trong menu Công cụ.

Sau khi tải mã lên, ngắt kết nối chân IO0 và GND. Sau đó mở màn hình nối tiếp và thay đổi tốc độ truyền thành 115200. Sau đó nhấn nút đặt lại ESP32, nó sẽ in địa chỉ IP ESP và số cổng trên màn hình nối tiếp như hình dưới đây.

Bây giờ để truy cập luồng camera, hãy điều hướng đến trình duyệt của bạn và nhập địa chỉ IP ESP của bạn. Nó sẽ đưa bạn đến trang phát trực tuyến. Để bắt đầu phát trực tuyến video cam ESP32, hãy nhấp vào nút 'Bắt ​​đầu phát trực tiếp' ở cuối trang

Bạn có thể thay đổi chất lượng phát trực tuyến bằng cách thay đổi ' Độ phân giải ' trên trang phát trực tuyến. Bạn cũng có thể nhấp vào hình ảnh bằng cách nhấp vào nút ' Get Still' nhưng mã này không có tùy chọn để lưu hình ảnh.

Sau khi thử nghiệm phát trực tuyến video, bây giờ chúng tôi sẽ thử nghiệm các tính năng nhận dạng và nhận dạng khuôn mặt cam ESP32. Đối với điều đó, hãy bật các tính năng nhận dạng và phát hiện khuôn mặt từ cài đặt:

Đối với tính năng Nhận dạng khuôn mặt, trước tiên, bạn cần đăng ký một khuôn mặt. Bạn có thể đăng ký một khuôn mặt mới bằng cách nhấp vào tùy chọn ' Đăng ký khuôn mặt'. Phải mất vài lần để cứu khuôn mặt. Sau khi lưu khuôn mặt, nó phát hiện khuôn mặt dưới dạng đối tượng 0 và bây giờ nó có thể được sử dụng như một hệ thống Bảo mật bằng cách nhận dạng khuôn mặt.

Vì vậy, đây là cách một Mô-đun Camera ESP có thể dễ dàng được định cấu hình để phát trực tuyến Video và nhận dạng khuôn mặt. Kiểm tra cảnh quay video nhỏ bên dưới được quay bởi máy ảnh ESP32.

Mã hoàn chỉnh được cung cấp bên dưới và nó cũng có thể được tải xuống từ đây.