Из песочницы Создание нейросети по распознаванию лиц на фотографиях из Вконтакте

В этой статье будет рассказан опыт создания нейросети по распознаванию лиц, для сортировки всех фотографий из беседы ВК на поиск определённого человека. Без какого-либо опыта написания нейросетей и минимальными знаниями Python.

Введение

Есть у нас друг, которого зовут Сергей, который очень любит себя фотографировать в необычном образе и отправлять в беседу, а так же приправляет эти фотографии фирменными фразами. Так вот в один из вечеров в дискорде у нас появилась мысль создать паблик в вк, куда мы могли бы постить Сергея с его цитатами. Первые 10 постов в отложку дались легко, но потом стало понятно, что перебирать руками все вложения в беседе нет смысла. Так и было принято решение написать нейросеть для автоматизации этого процесса.

План

1. Получить ссылки на фотографии из беседы
2. Скачать фотографии
3. Написание нейросети

1. Получение ссылок на фотографии

Так мы хотим получить все фотографии с беседы нам подходит метод messages.getHistoryAttachments, который возвращает материалы диалога или беседы.

С 15 февраля 2019 Вконтакте запретил доступ к messages, для приложений не прошедших модерацию. Из вариантов обхода могу предложить vkhost, который поможет получить токен от сторонних мессенджеров

С полученным токеном на vkhost можем, собирать нужный нам запрос к API, при помощи Postman. Можно конечно и без него всё заполнить ручками, но для наглядности будем использовать его



Заполняем параметры:

• peer_id идентификатор назначения

  Для беседы: 2000000000 + id беседы (можно увидеть в адресной строке).
  Для пользователя: id пользователя.

• media_type тип материалов

  В нашем случае photo

• start_from смещение, для выборки нескольких элементов.

  Пока что оставим пустым

• count количество получаемых объектов

  Максимум 200, столько и будем использовать

• photo_sizes флаг для возвращение всех размеров в массиве

  1 или 0. Мы используем 1

• preserve_order флаг указывающий нужно ли возвращать вложения в оригинальном порядке

  1 или 0. Мы используем 1

• v версия vk api

  1 или 0. Мы используем 1

Заполненные поля в Postman



Переходим к написанию кода

Для удобства весь код будет разбит на несколько раздельных скриптов

Будет использовать модуль json (для декодирования данных) и библиотеку requests (чтобы делать http запросы)

Листинг кода если в беседе/диалоге менее 200 фотографий

import jsonimport requestsval = 1 # Переменная для счётчикаFin = open("input.txt","a") # Создаём файл для записи ссылок# Отправляем GET запрос на API и записываем ответ в responseresponse = requests.get("https://api.vk.com/method/messages.getHistoryAttachments?peer_id=2000000078&media_type=photo&start_from=&count=10&photo_size=1&preserve_order=1&max_forwards_level=45&v=5.103&access_token=ВАШ_ТОКЕН")items = json.loads(response.text) # Считываем ответ от сервера в формате JSON# Так как по GET запросу сервер возвращает в каждом элементе массив с картинкой в разных размерах, будем перебирать всё цикломfor item in items['response']['items']: # Перебираем массив items    link = item['attachment']['photo']['sizes'][-1]['url'] # Записываем самый последний элемент, так как он самого максимального расширения    print(val,':',link) # В консоли выводим лог по проделанной работе    Fin.write(str(link)+"\n") # Записываем новую строку в файл    val += 1 # Увеличиваем значение счётчика

Если же фотографий более 200

import jsonimport requestsnext = None # Переменная в которую будем записывать ключ смещенияdef newfunc():    val = 1 # Переменная для счётчика    global next    Fin = open("input.txt","a") # Создаём файл для записи ссылок    # Отправляем GET запрос на API и записываем ответ в response    response = requests.get(f"https://api.vk.com/method/messages.getHistoryAttachments?peer_id=2000000078&media_type=photo&start_from={next}&count=200&photo_size=1&preserve_order=1&max_forwards_level=44&v=5.103&access_token=ВАШ_ТОКЕН")    items = json.loads(response.text) # Считываем ответ от сервера в формате JSON    if items['response']['items'] != []: # Проверка наличия данных в массиве        for item in items['response']['items']: # Перебираем массив items            link = item['attachment']['photo']['sizes'][-1]['url'] # Записываем самый последний элемент, так как он самого максимального расширения            print(val,':',link) # Лог перебора фотографий            val += 1 # Увеличиваем значение счётчика            Fin.write(str(link)+"\n") # Записываем новую строку в файл        next = items['response']['next_from'] # Записываем ключ для получения следующих фотографий        print('dd',items['response']['next_from'])        newfunc() # Вызываем функцию    else: # В случае отсутствия данных        print("Получили все фото")newfunc()

Ссылки получили пора качать

2. Скачивание изображений

Для скачивания фотографий используем библиотеку urllib

import urllib.requestf = open('input.txt') # Наш файл с ссылкамиval = 1 # Переменная для счётчикаfor line in f: # Перебираем файл построчно    line = line.rstrip('\n')    # Скачиваем изображение в папку "img"    urllib.request.urlretrieve(line, f"img/{val}.jpg")    print(val,':','скачан') # В логи выводим сообщение о загрузке    val += 1 # Увеличиваем счётчикprint("Готово")

Процесс загрузки всех изображений не самый быстрый, тем более если фотографий 8330. Место под это дело тоже требуется, если фотографий по количеству как у меня и более, рекомендую освободить под это 1,5 2 Гб



Черновая работа закончена, теперь можно приступать к самому интересному написанию нейросети

3. Написание нейросети

Просмотрев много различных библиотек и вариантов, было решено использовать библиотеку
Face Recognition

Что умеет ?

Из документации рассмотрим самые основные возможности

Поиск лиц на фотографиях
Может найти любое количество лиц на фото, даже справляется с размытыми



Идентификация лиц на фотографии
Может распознать кому принадлежит лицо на фотографии



Для нас самый подходящим способом будет являться идентификация лиц

Подготовка

Из требований к библиотеке необходим Python 3.3+ или Python 2.7
По поводу библиотек будет использоваться выше упомянутая Face Recognition и PIL для работы с изображениями.

Официально библиотека Face Recognition не поддерживается на Windows, но у меня всё заработало. С macOS и Linux всё работает стабильно.

Объяснение происходящего

Для начала нам необходимо задать классификатор для поиска человека, по которому уже будет происходить дальнейшая сверка фотографий.

Рекомендую выбрать максимально чёткую фотографию человека в анфас

При загрузке фотографии библиотека разбивает изображения на координаты черт лица человека (нос, глаза, рот и подбородок)



Ну, а дальше дело за малым, остаётся только применять подобный метод к фотографии на которую хотим сравнить с нашим классификатором. После чего даём нейросети сравнить черты лиц по координатам.

Ну и собственно сам код:

import face_recognitionfrom PIL import Image # Библиотека для работы с изображениямиfind_face = face_recognition.load_image_file("face/sergey.jpg") # Загружаем изображение нужного человекаface_encoding = face_recognition.face_encodings(find_face)[0] # Кодируем уникальные черты лица, для того чтобы сравнивать с другимиi = 0 # Счётчик общего выполненияdone = 0 # Счётчик совпаденийnumFiles = 8330 # Тут указываем кол-во фотоwhile i != numFiles:    i += 1 # Увеличиваем счётчик общего выполнения    unknown_picture = face_recognition.load_image_file(f"img/{i}.jpg") # Загружаем скачанное изображение    unknown_face_encoding = face_recognition.face_encodings(unknown_picture) # Кодируем уникальные черты лица    pil_image = Image.fromarray(unknown_picture) # Записываем изображение в переменную    # Проверяем нашла ли нейросеть лицо    if len(unknown_face_encoding) > 0: # Если нашли лицо        encoding = unknown_face_encoding[0] # Обращаемся к 0 элементу, чтобы сравнить        results = face_recognition.compare_faces([face_encoding], encoding) # Сравниваем лица        if results[0] == True: # Если нашли сходство            done += 1 # Увеличиваем счётчик общего выполнения            print(i,"-","Нашли нужного человека !")            pil_image.save(f"done/{int(done)}.jpg") # Сохраняем фото с найденным человеком        else: # Если не нашли сходство            print(i,"-","Не нашли нужного человека!")    else: # Если не нашли лицо        print(i,"-","Лицо не найдено!")

Также есть возможность прогонять всё по глубинному анализу на видеокарте, для этого надо добавить параметр model= cnn и изменить фрагмент кода для изображения с котором хотим искать нужного человека:

    unknown_picture = face_recognition.load_image_file(f"img/{i}.jpg") # Загружаем скачанное изображение    face_locations = face_recognition.face_locations(unknown_picture, model= "cnn") # Подключаем ускорение GPU    unknown_face_encoding = face_recognition.face_encodings(unknown_picture) # Кодируем уникальные черты лица

Результат

Без GPU. По времени нейросеть перебрала и отсортировала 8330 фотографий за 1 час 40 минут и при этом нашла 142 фотографии из них 62 с изображением нужного человека. Конечно бывали ложные срабатывания, на мемы и других людей.

C GPU. Времени на обработку заняло гораздо больше, 17 часов и 22 минуты и нашла 230 фотографий из которых 99 нужный нам человек.

В заключение можно сказать, что работа проделана была не зря. Мы автоматизировали процесс сортировки 8330 фотографий, что гораздо лучше чем перебирать это самому

Также можете скачать весь исходный код с github