Одной из основных причин дорожно-транспортных происшествий с тяжелыми последствиями является превышение скорости. Система распознавания дорожных знаков призвана предупреждать водителей о необходимости соблюдения скоростного режима. Данная система определяет дорожные знаки ограничения скорости при их проезде и напоминает водителю текущую максимальную разрешенную скорость, если он движется быстрее.
Систему распознавания дорожных знаков (Traffic Sign Recognition , TSR ) имеют в своем активе многие известные автопроизводители - Audi, BMW, Ford, Mercedes-Benz, Opel, Volkswagen. Система распознавания дорожных знаков на автомобилях Opel входит в состав системы Opel Eye (вместе с системой Lane Departure Warning). Система Opel Eye отмечена в числе лучших разработок в области автомобильной безопасности 2010 года. Mercedes-Benz назвал свою систему Speed Limit Assist (система контроля ограничения скорости), Volvo - Road Sigh Information, RSI (система информирования о дорожных знаках).
Применяемые на автомобилях системы распознавания дорожных знаков имеют типовую конструкцию, которая включает видеокамеру, блок управления и средство вывода информации.
Электронный блок управления реализует следующий алгоритм работы:
- распознавание формы дорожного знака (круглая форма );
- распознавание цвета знака (красный цвет на белом );
- распознавание надписи (величина скорости );
- распознавание информационной таблички (вид транспорта, время действия, зона действия );
- анализ фактической скорости автомобиля;
- сравнение скорости автомобиля с максимально допустимой скоростью;
- визуальное и звуковое предупреждение водителя при отклонении.
Изображение в виде знака ограничения скорости выводится на дисплей комбинации приборов или дисплей информационной системы и остается видимым, пока ограничение не закончится или будет изменено. На автомобилях, оборудованных информационным дисплеем , изображение выводится на лобовое стекло.
В ряде конструкций система распознавания дорожных знаков взаимодействует с навигационной системой и использует сведения о знаках ограничения скорости из навигационных карт. Даже если знак не будет определен видеокамерой, информация о нем будет выведена на панель приборов.
Система способна распознавать ограничения скорости, действующие для определенного вида транспорта (по знакам дополнительной информации - табличкам), а также знаки отмены ограничения скорости. Система Opel Eye пошла дальше - она распознает наряду со знаками ограничения скорости, знаки, запрещающие обгон.
второго поколения информирует водителя о различных дорожных знаках. Помимо знаков ограничения скорости, запрета обгона, отдельных знаков дополнительной информации, система распознает следующие знаки:- движение без остановки запрещено;
- въезд запрещен;
- главная дорога (конец главной дороги);
- преимущество встречного движения (преимущество перед встречным движением);
- уступите доргу;
- конец зоны всех ограничений;
- начало (конец) населенного пункта;
- начало (конец) автомагистрали;
- жилая зона.
Перечисленные знаки на дисплее не отображаются. Информация о распознанных знаках согласуется с данными навигационной системы, текущими параметрами движения автомобиля. В результате система информирует водителя о текущей дорожной ситуации и способствует безопасному движению.
Сталкивается с необходимостью принятия множества решений в течение минуты. Кроме того, с особой внимательностью нужно наблюдать за обстановкой на дороге. Отслеживать перемещение автомобилей вокруг, следить за разметкой трассы и знаками, соответствующим использованием их органами управления, чрезвычайно трудно. До тех пор, когда водитель приобретёт необходимый опыт и будет способен осуществлять уверенный контроль обстановки во время движения, пройдёт большое количество времени и постоянно присутствует риск аварийной ситуации.
Главное предназначение системы
Следует отметить, что большая часть возникает ввиду неправильного поведения водителя, не соблюдающего требуемый скоростной режим. И это напрасно, поскольку введение ограничений придумано не просто так: автомобиль должен следовать с такой скоростью, чтобы у водителя было время правильно среагировать на изменения обстановки дорожного движения, независимо совершая манёвр либо экстренно тормозя. Именно это и спровоцировало разработку систем специального назначения, оказывающих помощь шофёру в принятии решений либо регулировании его действий. Системой распознавания , иное название которой Traffic Sign Recognition, оснащают свои модели большинство брендовых автопроизводителей, БМВ, Вольво и пр. Подобное устройство на автомобилях марки Opel является составляющей комплекса Opel Eye. Такого рода разработку считают одним из наилучших открытий в сфере автомобильной безопасности две тысячи десятого года. Производители Mercedes-Benz дали название своей установке по определению знаков дорожного движения - Speed Limit Assist (что означает контроль за скоростью), а Volvo - RSI (система информирования).
Представленный вид технологии является самым главным в комплексе , что входит в комплектацию большей части современных машин.
Системные компоненты
Зачастую любая вариация Traffic Sign Recognition от любой компании изготовителя состоит из типичного инструментария и оборудования. Это обуславливается необходимостью для функционирования любой системы такого рода наличия приборов одинакового характера, представленных:
- специально предназначенной видеокамерой повышенной чувствительности;
- дисплеем либо иного рода устройством, выводящим сведения системы для автовладельца;
- блоком управления, выполняющим главную часть работы.
Видеокамеру размещают возле ветрового стекла внутри автомобильного салона. В ряде моделей, где такая система является встроенной в авто, камера может скрываться где-то под оконным стеклом либо, к примеру, в области уплотнителя. Направление камеры необходимо задавать такое, чтобы ей хорошо было видно обзор пространства перед машиной, на участках, где располагают дорожные знаки, вдоль дороги немного правее от трассы. В последующем снятое видео поступает для обработки на управляющий блок, микропроцессором которого осуществляется одновременный анализ содержимого. К тому же такую камеру применяют и иные разработки безопасности: в виде установки выявления пешехода на дороге и системы помощи передвижения в ряду либо по полосе при большом автомобильном потоке.
Специфика функционирования
Посредством электронного управляющего блока системы TSR осуществляется инициирование специального механизма, который заложен в программу системы. Поэтапность процедур заключается:
- в распознавании особенностей формы дорожного знака;
- определении надписей на табличке знака;
- опознавании цветового оттенка знака;
- проверке присутствия информирующей таблички.
Рассмотрим особенности функционирования настоящей последовательности на примере знаков об ограничении скоростного режима движения, на определение которого и направлены системы распознавания дорожных знаков большей части авто. Первостепенно установкой опознаются знаки, имеющие круглую форму, после этого сочетание его оттенков - красного с белым. Затем распознаётся надпись, присутствующая на табличке, а именно показатель предельно допустимого значения скорости. Далее, блоком выполняется анализ скорости непосредственно движения конкретного авто и, в случае наличия различий, водителю подаётся сигнал о превышении предельно разрешённого скоростного режима на конкретном участке трассы. В случае же отсутствия нарушений образ знака просто появляется на дисплее панели приборов машины, таким образом сообщая водителю о распознавании дорожного знака.
Новшеством в системе распознавания дорожных знаков выступает совместное функционирование с автомобильным навигатором.
Traffic Sign Recognition усовершенствованного типа сообщает водителю не только об ограничителях скорости, но и прочих знаках, регулирующих дорожное движение. Наряду с указателями, запрещающими обгон, отдельными знаками об информации дополнительного характера, системой распознаются знаки, указывающие:
- на запрещение движения без остановки;
- запрещение въезда;
- о главной дороге (окончании её);
- о преимуществе машин, движущихся по встречной полосе либо напротив;
- на необходимость уступить путь;
- о конце зоны со всеми ограничениями;
- о начале (конце) населённого пункта;
- о начале (конце) автомагистрали;
- на въезд в жилую зону.
Ряд знаков, представленных в перечне выше, не выводятся на дисплей. Согласование информации о знаках, что распознаны, происходит с системой навигации и текущими показателями движения машины. В конечном счёте системой передаются сведения водителю об обстановке на дороге и обеспечивается безопасное движение.
Таким образом, такого рода система безопасности выступает существенной помощью для любого водителя - как опытного, так и новичка. Она способствует правильности реакции автовладельца и принятию соответствующего решения.
Транскрипт
1 УДК Алгоритм распознавания дорожных знаков Романов П. В., студент Россия, г. Москва, МГТУ им. Н. Э. Баумана, кафедры «Компьютерные системы и сети» Научный руководитель: Самарев Р. С., к.т.н., доцент Россия, г. Москва, МГТУ им. Н. Э. Баумана Введение Цель данной работы решение задачи распознавания дорожных знаков, а также проверка эффективности и удобства использования алгоритмов, реализованных в библиотеке opencv. Для получения исходных данных применялась камера, закрепленная в автомобиле типовой видеорегистратор, обеспечивающий видеосъемку в формате Full-HD. Основными задачами были: фиксирование знака на видео с камеры, определение его типа по упрощенной классификации. Алгоритм распознавания знаков В процессе анализа возможных подходов рассматривались как «нейронные сети», так и статистические подходы. Библиотека OpenCV реализует большое количество функций, позволяющих реализовать эти подходы по заранее приготовленным шаблонам. Однако в данном случае было принято решение об использовании точных методов, которые также реализованы в OpenCV. Для решения задачи была написана программараспознаватель. Процесс распознавания осуществлялся в три этапа: фиксация в кадре видеопотока области поиска и самого объекта (знака, в случае правильного срабатывания); анализ параметров найденного объекта, отнесение его к одному из типов (шаблонов из базы данных); адаптация программы для работы в более неблагоприятных условиях: в темноте, присутствии помех.
2 На каждом из указанных этапов вызываются функции из библиотеки. Обобщенная схема алгоритма анализа приведена на рисунке 1. В схеме показаны этапы и используемые функции OpenCV. Рис. 1. Обобщенная схема алгоритма (начало) Молодежный научно-технический вестник ФС, ISSN
3 Рис. 1. Обобщенная схема алгоритма (продолжение) На первом этапе использованы функции cvsetimageroi, cvboundingrect и cvcopy. Первая позволяет сфокусироваться на интересующем участке изображения (ROI region of interest). На рисунке 3 можно увидеть, что программа реально анализирует и представляет пользователю лишь часть кадра (рисунок 2). Одни из ее параметров, координаты выделяемого участка, легко вычисляется, поскольку в OpenCV предусмотрено сопровождение картинки необходимой информацией.
4 Рис. 2. Исходное изображение Рис. 3. Анализируемая часть изображения (кадра) После выделения области, в которой наиболее вероятно появление знаков, примерно средняя треть кадра, нужно приготовить ее для поиска похожих на знаки форм. Для этого использовались следующие инструменты из opencv. Функция cvcvtcolor с опцией перевода картинки в градации серого, необходимая для применения порогового преобразования (функция cvthreshold) или преобразования Кенни (функция cvcanny). Оба метода предназначены для бинаризации изображения(только черное и белое) и выделения на нем границ объектов, но первый учитывает только яркость участков изображения, тогда как алгоритм Кенни также выполняет частичное восстановление контуров. Эксперименты подтвердили преимущество функции cvcanny (рисунок 4). Молодежный научно-технический вестник ФС, ISSN
5 Рис. 4. Результат последовательного применения cvcvtcolor и cvcanny к изображению Далее на изображении нужно найти все возможные замкнутые контуры. Для этого использована функция cvfindcontours, имеющая параметром бинаризированное изображение, полученное ранее. Были попытки применить оператор Собеля для вычисления градиента яркости каждой точки картинки (функция cvsobel) и путем преобразования Хафа найти геометрические фигуры, в данном случае круги (функция cvhoughcircles). Ни одна из этих функций не показала себя в экспериментах достаточно универсальной в силу неточности комбинаций входных параметров при работе с видео. Следующий шаг выбор контуров, удовлетворяющих заданным условиям. Первое, что анализировалось площадь контура, поскольку она колеблется в заранее известных границах. Ее можно получить, вызвав cvcontourarea. cvcontourperimeter возвращает длину контура, что необходимо для вычисления второго параметра компактности. Это отношение площади ко квадрату периметра. Проще говоря, характеризует схожесть объекта с кругом, поскольку круг самая компактная фигура. имеет коэффициент примерно 0,79. И наконец, проводилась проверка на совпадение моментов контуров (их отличительных форм) с помощью функции opencv cvmatchshapes, сравнивающей переведенные в цепной код Фримана контуры и выдающей уровень их отличия. Опыты показали, что почти полное сходство выражается значением меньше На рисунке 5 пример всех зафиксированных контуров (выделено ярко зеленым и фиолетовым), а на рисунке 6 правильно узнанных знаков.
6 Рис. 5. Все найденные в области контуры Рис. 6. Контуры, подошедшие по форме По результату работы этой функции бывает нельзя точно сказать, подходит контур или нет, поэтому последний из приемов установления различий это анализ цвета в контуре. Для разбиения изображения на цветовые каналы применялись функции cvsplit и cvcvtpixtoplane. Однако функция cvcvtpixtoplane предназначена для изображений, представленных не цветовыми, а тональными каналами: оттенком, яркостью и глубиной (модель HSV) Отличие второго этапа от первого в меньшем размере обрабатываемого изображения, но более тщательном сравнении моментов контуров. Происходит сопоставление со всеми знаками базы данных, удовлетворяющими условиям, проверенным на предыдущем этапе. Также производилось вручную контрастирование изображения для обеспечения более четкой работы функций детекции границ. Результаты Выборка сформирована с учетом включения различных форм знаков и изображений на них. Тестировалось распознавание 7 знаков на 16 видео фрагментов с разрешением 1920x1080. Использовано видео в ясный день. Результаты сведены в таблицу. Молодежный научно-технический вестник ФС, ISSN
7 Пример знака Точность распознавания Пример формы знака Точность распознавания Обгон запрещен 85% Круглый Въезд запрещен 65% Ограничение скорости 40 км/ч 65% 75% Ограничение скорости 70 км/ч 70% Поворот запрещен 40% Уступите дорогу 70% Треугольный Примыкание второстепенной дороги 80% 75% Заключение По результатам проведенной работы можно отметить возможность использования библиотеки OpenCV для решения задачи распознавания дорожных знаков. Распознается примерно 70%, что, однако, говорит о необходимости нахождения более оптимальных методов. В качестве возможного направления работ также следует отметить исследование распознавания знаков в сложных условиях, например, ночью или при тумане. Список литературы 1. Ворошин Г. Я Методы распознавания образов. Режим доступа: (дата обращения). 2. Владимир Н. OpenCV шаг за шагом. Режим доступа: (дата обращения). 3. Распознавание образов с OpenCV: контуры против haartraining Режим доступа: (дата обращения:). 4. Gary Bradski, Adrian Kaehler. Learning OpenCV. Computer vision with the OpenCV library. Available at: %D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0, accessed RECOG.RU: распознавание образов для программистов Режим доступа: (дата обращения:).
УДК 004.932.72"1 Ключевые особенности алгоритма распознавания дорожной разметки Введение Чистяков И.Ю., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Информационные системы и телекоммуникации»
УДК 004.051 Бойнов М.А. студент магистратуры факультет Системы обработки информации и управления МГТУ им. Н.Э.Баумана Россия г. Москва Джанаев С.И. студент магистратуры факультет Системы обработки информации
УДК 004.932 Метод выделения похожих изображений на основе применения SIFT дескрипторов Савонин А.И., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение ЭВМ и информационные
# 06, июнь 2016 УДК 004.932 Использование нейросети и SIFT дескрипторов для сравнения изображений Введение Савонин А.И., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение
УДК 004.93"1 П.Ф. Павленко, Институт автоматики и информационных технологий НАН КР РАСПОЗНАВАНИЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ТРАНСПОРТНОМ ПОТОКЕ Работа посвящена проблеме выделения движущихся объектов (транспортных
УДК 004.932 Алгоритм распознавания заданных участков дорожно-транспортной инфраструктуры на аэрофотоснимках Косюра О.В., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение
Секция 6. Цифровая обработка сигналов и изображений 337 УДК 004.932.4 Бани-Амер Тамер, Хмелевой С.В., Азаренко Д.В. Донецкий национальный технический университет, г. Донецк, кафедра автоматизированных
УДК 004.93 Исследование методов формирования вектора признаков изображения лица с использованием фильтров Габора Лаврова Е.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Биомедицинские
ÓДÊ 004.932.2 Ðазработка и оптимизация процесса сегментации изображения и видео потока на стороне мобильного устройства Н.À. Северинов Московский государственный университет печати имени Ивана Федорова
УДК 004.932 Алгоритм классификации отпечатков пальцев Ломов Д.С., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение ЭВМ и информационные технологии» Научный руководитель:
# 08, август 2016 УДК 004.93"1 Нормализация данных 3D камеры с использованием метода главных компонент для решения задачи распознавания поз и поведения пользователей Умного дома Малых Д.А., студент Россия,
# 06, июнь 2016 УДК 681.531.2 Распознавание объектов с помощью телекамеры Воронин А.В., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Специальная робототехника и мехатроника» Научный
УДК 681.5:004.93 Калиниченко Ю.В. К ВОПРОСУ О ВЫДЕЛЕНИИ ГРАНИЦ ДЕТЕКТОРОМ КЕННИ Луганский национальный университет имени Тараса Шевченко Рассмотрен вопрос выделения границ детектором Кенни. Алгоритм реализован
УДК 004.93 Сравнительный анализ алгоритмов распознавания лиц в задаче визуальной идентификации О.В. Рогозин, С.А. Кладов МГТУ им. Н.Э. Баумана, Москва, 105005, Россия Статья посвящена двум подходам к распознаванию
УДК 004.932, 681.518 Сравнительный анализ алгоритмов построения изображений подстилающей поверхности Бочаров В.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Системы автоматического
УДК 159.9.072.592 Распознавание характеристик пользователя по почерку всего интересных сведений. http://sntbul.bmstu.ru/doc/616688.html Тамбиев К.Ш., студент кафедра «Информационные системы и телекоммуникации»,
Преобразование Хафа (Hough transform) Анна Дегтярева [email protected] Вежневец Владимир [email protected] Содержание Введение Основная идея метода Пример: выделение прямых на изображении Пример:
УДК.004.01 Вычисление оптического потока для выделения транспортных средств на видеоизображении П. А. Девайкин 1, А. В. Шикуть 1 1 МГТУ им. Н.Э. Баумана, Москва, 105005, Россия Рассмотрены алгоритмы вычисления
Вопросы для текущего контроля успеваемости и промежуточной аттестации по курсу «Методы и техника распознавания образов» 1. Задача анализа изображений, ее практическая значимость 2. Понятие изображения.
266 Секция 6. Цифровая обработка сигналов и изображений УДК 004.932 Д.С. Химич, А.Ю. Харитонов Донецкий национальный технический университет, г. Донецк Кафедра компьютерных систем мониторинга ТЕХНОЛОГИИ
Построение дополненной реальности на примере создания виртуальной примерочной. 77-48211/482783 # 08, август 2012 Девайкин П. А., Шикуть А. В. УДК.004.021 Россия, МГТУ им. Н.Э. Баумана [email protected]
Программный комплекс «Интерактивная информационная доска» Дроздова Юлия Александровна ПГНИУ, Пермь, Россия. Аннотация. Статья посвящена вопросу создания программного комплекса «Интерактивная информационная
298 СПЕЦИАЛИЗИРОВАННАЯ КОМПЬЮТЕРНАЯ СИСТЕМА ФОКУСИРОВКИ МИКРОСКОПА Кириченко М.Н., группа КСД-05м Руководитель доц. каф. АСУ Омельченко А.А. В настоящее время в медицине и технике широко применяются микроскопы
172 Секция 5. Цифровая обработка сигналов и изображений Н.Н. Шеремет Донецкий национальный технический университет, кафедра программного обеспечения интеллектуальных систем ИССЛЕДОВАНИЕ МЕТОДА АКТИВНЫХ
ОБНАРУЖЕНИЕ, КЛАССИФИКАЦИЯ И ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ ОБЪЕКТОВ ЗАДАННЫХ ГРАНИЦАМИ ЕГО ОСОБЕННОСТЕЙ НА ПОЛУТОНОВОМ ИЗОБРАЖЕНИИ В РЕАЛЬНОМ ВРЕМЕНИ. А.В. Бовырин, А.В. Губанов, В.Ф. Курякин, К.В. Родюшкин,
Математические структуры и моделирование 2015. 4(36). С. 123 128 УДК 004.93 КОМПЬЮТЕРНОЕ ЗРЕНИЕ КАК СРЕДСТВО ИЗВЛЕЧЕНИЯ ИНФОРМАЦИИ ИЗ ВИДЕОРЯДА Н.В. Манюкова кандидат педагогических наук, доцент, e-mail:
УДК 57.08 Тестирование библиотек автоматической расстановки контрольных точек лица 07, июль 2012 Томак К.С. Студентка, кафедра «Системы обработки информации» Научный руководитель: Кашапова Л.Х., ассистент
УДК 004.4 ПРЕДВАРИТЕЛЬНАЯ ГРУБАЯ СКЕЛЕТЕЗАЦИЯ РАСТРОВЫХ ИЗОБРАЖЕНИЙ И ДЕТЕКТИРОВАНИЕ ПРОСТЫХ ЭЛЕМЕНТОВ А.Н. Романов, М.В. Привалов Донецкий национальный технический университет У статті розглядається задача
# 07, июль 2017 УДК 004.032.26 Сверточная нейронная сеть для разработки системы распознавания и классификации изображений Гузий Е.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Компьютерные
АЛГОРИТМЫ РАСПОЗНАВАНИЯ ЛИЦА НА БАЗЕ БИБЛИОТЕКИ OPENCV 66 С.В. Томилов Большинство современных систем распознавания лиц очень чувствительны к характеристикам предъявляемых изображений. Поэтому перед непосредственным
УДК 0093 1; 0093 АН САМОЙЛОВ, ИВ ШЕВЧЕНКО МЕТОД ОБНАРУЖЕНИЯ ЛИНИЙ КОНТУРОВ В ЯРКОСТНЫХ ПЕРЕПАДАХ ПРЕДПОЛАГАЕМЫХ ГРАНЕЙ БИНАРИЗОВАННОГО ИЗОБРАЖЕНИЯ СЛЕДОВ ДИСЛОКАЦИЙ НА ПЛАСТИНАХ GaAs Рассматривается проблема
УДК 621.391 Двумерное распознавание сигнала на основе метода k ближайших соседей Якубов Р.Ж., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Информационная безопасность» Научный руководитель:
УДК 531.1 СИСТЕМА ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ВИДЕОМАРКЕРОВ ДЛЯ ОБЕСПЕЧЕНИЯ НАВИГАЦИИ РОБОТА А.В.Калиниченко ([email protected]) Институт прикладной математики им. М.В. Келдыша РАН, Москва В работе описывается
Донецкий национальный технический университет Факультет компьютерных наук и технологий Кафедра прикладной математики и информатики АВТОМАТИЧЕСКОЕ ОТСЛЕЖИВАНИЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ В СИСТЕМАХ ВИДЕОНАБЛЮДЕНИЯ
УДК 004.932.2 Алгоритмы сегментации изображений Оглуздина Ю.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение ЭВМ и информационные технологии» Научный руководитель:
УДК 681.327.1 # 12, декабрь 2015 Проектирование системы распознавания динамического поведения людей Демин Н.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Информационные системы
УДК 681.326 А.М. Шашлов ЭФФЕКТИВНОЕ ВОССТАНОВЛЕНИЕ СВЕДЕНИЙ О РАЗДЕЛАХ ПРИ ПОВРЕЖДЕНИЯХ СИСТЕМ РАЗДЕЛОВ НАКОПИТЕЛЕЙ Рассмотрены существующие подходы восстановления данных при логических повреждениях систем
АЛГОРИТМЫ КОНТРОЛЯ КООРДИНАТ ИСТОЧНИКА ИЗЛУЧЕНИЯ НА ФОТОЧУВСТВИТЕЛЬНОЙ ПОВЕРХНОСТИ МАТРИЦЫ В.В.Замятин Для измерения координат точечного источника излучения на поверхности фоточувствительной матрицы применяют
Обнаружение узких мест трасс передачи данных в компьютерной сети и оценка их пропускной способности Для организации эффективной работы компьютерной сети маршрутизаторам и иным устройствам необходимы сведения
54 ВЕРИФИКАЦИЯ ОПТИКО-ПЕРЕМЕННОГО ОБЪЕКТА ПУТЁМ ОБНАРУЖЕНИЯ ИЗМЕНЕНИЯ ЦВЕТА Екатерина Горшкова, Роман Телятников, Иван Шумский Аннотация: Рассматривается задача обнаружения изменения цвета на оптико-переменных
УДК 004.031.2, 004.932 Методы оптимизации вычисления оптического потока в автономных системах навигации Введение Жуков Р.В., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра ««Системы
Санкт Петербургский государственный университет Математико Механический факультет Кафедра системного программирования Снижение разрешения гистограммы ориентированных градиентов для детекции объектов малого
# 01, январь 2016 УДК 534.4 Программный синтез звука музыкальных инструментов Тишина Е. М., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Информационные системы и телекоммуникации»
Паспорт фонда оценочных средств по дисциплине «Теория распознавания образов» Приложение 1 п/п Контролируемые разделы (темы) дисциплины* Код компетенции Наименование оценочного средства Раздел 1. Распознавание
Получение контура стопы по фотографиям с максимальной точностью Немного о проекте Место выполнения проекта: СПБГПУ, лаборатория компьютерной графики, руководитель Беляев Сергей Юрьевич Задача является
Системы автоматического распознавания автономеров # 12, декабрь 2014 Юзов М. В., Пугачёв Е. К. УДК: 004.8 Россия, МГТУ им. Н.Э. Баумана [email protected] Введение Сегодня технологии компьютерного
УДК 004.021 Использование Redis Cluster в задаче выявления плагиата Евграфов И.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Компьютерные системы и сети» Научный руководитель:
СИСТЕМА РАСПОЗНАВАНИЯ ДОРОЖНЫХ ЗНАКОВ Гильманов Тимур Аделевич, магистрант, КНИТУ-КАИ им. А.Н. Туполева, г. Казань E-mail: [email protected] Аннотация: В данной статье представлено описание системы
3 Л.В. АНТОНОВ, А.А. ОРЛОВ Экспериментальное исследование алгоритмов обработки снимков промышленных изделий УДК 004.942 Муромский институт (филиал) ФГБОУ ВПО «Владимирский государственный университет имени
Компьютерная модель системы ВАДС Сегеда С.В., к.т.н. Девочкин О.В. МГТУ «МАМИ» С целью снижения количества ДТП на дорогах постоянно развиваются новые системы безопасности автомобиля. Наиболее перспективными,
382 Секция 7. Технологии и системы искусственного интеллекта УДК 004.931 Ткачук Е.О., Федяев О.И. Донецкий национальный технический университет Кафедра прикладной математики и информатики [email protected]
Алгоритм регистрации трехмерных образов объектов с помощью пассивной стереоскопической системы с использованием кратномасштабной обработки изображений. 77-3569/23289 # 1 октябрь 211 Зайцев К. И. Перов
УДК 681.325 СОВМЕЩЕНИЕ РАСТРОВЫХ ИЗОБРАЖЕНИЙ В СИСТЕМАХ ТЕХНИЧЕСКОГО ЗРЕНИЯ Н.В.Соловьев, канд. техн. наук, доцент А.А.Козлов, соискатель М.Ю.Литвинов, соискатель Санкт-Петербургский государственный университет
Лекция 15 Использование аппарата нейронных сетей для определения качества восприятия в системах IPTV План 1. Общие понятия о нейронных сетях (определение нейронной сети, шкала MOS) 2. Классификация нейронных
Руководство пользователя по работе с программным обеспечением «Орион-Авто» 1 Назначение системы «Орион-Авто»... 3 2 Характеристики системы... 3 3 Установка «Орион-Авто»... 4 4 Организация системы... 4
# 09, сентябрь 2015 УДК 004.021 Применение фильтра Калмана для обработки последовательности GPS-координат Листеренко Р.Р., бакалавр Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное
Line fitting, или методы аппроксимации набора точек прямой Анна Дегтярева [email protected] Вежневец Владимир [email protected] Содержание Line fitting, или методы аппроксимации набора точек прямой
УДК 004.424.4 Исследование влияния количества слоев и их количества на поведение ошибки скорость обучения сети Живых C.Ю., студент кафедра «Система обработки информации и управление» Россия, 105005, г.
Н.Н. Алексеева, А.С. Иргит, А.А. Куртова, Ш.Ш. Монгуш Применение методов обработки изображений к задаче распознавания васкулярного рисунка ладони С каждым годом возрастают требования к системам безопасности.
2. ЭРГОНОМИЧЕСКИЕ ТРЕБОВАНИЯ К СРЕДСТВАМ ИНФОРМАЦИИ Главный принцип информационного дизайна состоит в том, что основной массив информации нужно сделать доступным и легко усваиваемым аудиторией. Продуманная
ПОСТРОЕНИЕ МОДЕЛИ ИЗОБРАЖЕНИЯ И ЕЁ ПРИМЕНЕНИЕ В ЗАДАЧАХ ДЕТЕКТИРОВАНИЯ ОБЪЕКТОВ 1. Введение Получение признакового описания изображений является одним из главных этапов в таких задачах машинного (технического)
Понятие алгоритма. Изображение алгоритма в виде блок схемы. Алгоритмы линейной и разветвляющейся структуры. Решение любой задачи на ЭВМ необходимо разбить на следующие этапы: разработка алгоритма решения
Исследование библиотек технического зрения для построения системы учёта движения на перекрёстках А. Е. Соколов Институт автоматики и электрометрии СО РАН Новосибирский государственный университет Научный
17 я Всероссийская конференция с международным участием «Математические методы распознавания образов - 2015» г. Светлогорск Калининградская область 19-25 сентября 2015 Морфологическая фильтрация изображений
ПРИКЛАДНЫЕ АСПЕКТЫ ИНФОРМАТИКИ Поиск изображений по визуальному содержанию в графических базах данных и сети Интернет И.Е. Десятников Аннотация. В статье представлена система поиска изображений по визуальному
Методы распознавания лиц Ю. Лифшиц. 4 декабря 2005 г. Содержание 1 Применение алгоритмов распознавания лиц 2 2 Особенности распознавания лиц 2 2.1 Специфика задачи.......................... 2 2.2 Абстрактная
Иван Ожиганов Июль 9, 2013
Будущее рынка программного обеспечения и мобильных приложений в частности тесно связано с прикладным использованием M2M-технологий, позволяющих реализовывать новые интересные идеи и внедрять более совершенные решения в самых различных областях: безопасности, удаленного видеонаблюдения, автоматизации производства, потребительской электроники и других.
В 2014 Apple планирует запустить iOS in the Car - мобильную платформу, позволяющую использовать iOS-устройства через интерфейс автомобиля, и сейчас наша команда работает над созданием прототипа приложения-помощника водителя для iOS-устройств.
Обзор проекта
Идея проекта - добавить к возможностям iOS-устройств функции штурмана, «умного видеорегистратора». Задача текущего этапа - разработать приложение-прототип, которое не только ведет запись дорожных событий, как обычный регистратор, но и распознает встречающиеся дорожные знаки, предупреждая о них водителя. Функция предупреждения важна, т. к. зачастую водители не успевают заметить знак или быстро забывают, какой последний знак или последовательность знаков они проехали.
Разрабатывая прототип, мы ограничились лишь запрещающими знаками - знаками круглой формы с красной каймой на белом фоне. В дальнейшем планируем добавить остальные знаки, реализовать постоянно пополняемую базу данных о дорогах и дорожных знаках, общую для всех устройств, использующих приложение, и многое другое.
Принцип работы приложения: видеокамера телефона захватывает видеопоток с разрешением 1920×1080, полученные кадры анализируются и распознаются, когда знак распознан, запускается определенное событие: подать предупреждающий сигнал водителю, добавить информацию в базу данных о дорогах и т. д.
Задачу можно условно разбить на два этапа:
- Цветовая сегментация изображения
- Распознавание знака
Этап 1. Цветовая сегментация изображения
Захват изображения. Поиск красного и белого цветов
Уникальной характеристикой запрещающих знаков является круг с преобладанием белого цвета и красным контуром, позволяющий идентифицировать эти знаки на изображениях. После того, как мы получили кадр с камеры в формате RGB, мы вырезаем изображение размером 512 на 512 (Рис. 1) и выделяем на нем красный и белый цвета, отбрасывая все остальные.
Для цветовой локализации - определения элементов конкретного цвета - формат RGB очень неудобен, потому что чистый красный цвет в природе встречается очень редко, но почти всегда идет с примесями других цветов. Кроме того, цвет изменяет оттенок и яркость в зависимости от освещения. Так, например, на восходе и закате солнца все предметы приобретаю красный оттенок; сумерки и полумрак тоже дают свои оттенки.
Рис. 1
. Изображение в формате RGB размером 512 х 512, поступающее на вход алгоритма.
Тем не менее, сначала мы попробовали решить задачу, используя исходный RGB-формат. Чтобы выделить красный цвет, мы устанавливали верхний и нижний пороги: R > 0,7, а G и B < 0,2. Но модель оказалась не очень удобной, т.к. значения цветовых каналов сильно зависели от освещенности и времени суток. Например, значения каналов RGB красного цвета в солнечный и пасмурный дни сильно отличаются.
Поэтому модель RGB мы перевели в цветовую модель HSV/B, в которой координатами цвета являются: цветовой тон (Hue), насыщенность (Saturation) и яркость (Value / Brightness).
Модель HSV/B обычно представляют цветовым цилиндром (Рис. 2). Она удобна тем, что оттенки цвета в ней являются лишь инвариантами различных типов освещения и теней, что естественным образом упрощает задачу выделения необходимого цвета на изображении вне зависимости от условий, таких как время суток, погода, тень, расположение солнца и др.
Код шейдера для перехода от RGB к HSV/B:
Varying highp vec2 textureCoordinate; precision highp float; uniform sampler2D Source; void main() { vec4 RGB = texture2D(Source, textureCoordinate); vec3 HSV = vec3(0); float M = min(RGB.r, min(RGB.g, RGB.b)); HSV.z = max(RGB.r, max(RGB.g, RGB.b)); float C = HSV.z - M; if (C != 0.0) { HSV.y = C / HSV.z; vec3 D = vec3((((HSV.z - RGB) / 6.0) + (C / 2.0)) / C); if (RGB.r == HSV.z) HSV.x = D.b - D.g; else if (RGB.g == HSV.z) HSV.x = (1.0/3.0) + D.r - D.b; else if (RGB.b == HSV.z) HSV.x = (2.0/3.0) + D.g - D.r; if (HSV.x < 0.0) { HSV.x += 1.0; } if (HSV.x > 1.0) { HSV.x -= 1.0; } } gl_FragColor = vec4(HSV, 1); }
Рис. 2
. Цветовой цилиндр HSV/B.
Для выделения красного цвета мы строим три пересекающиеся плоскости, которые образуют область в цветовом цилиндре HSV/B, соответствующую красному цвету. Задача выделения белого цвета является более простой, т.к. белый цвет расположен в центральной части цилиндра и нам достаточно указать порог по радиусу (ось S) и высоте (ось V) цилиндра, которые образуют область, соответствующую белому цвету.
Код шейдера, выполняющий эту операцию:
Varying highp vec2 textureCoordinate; precision highp float; uniform sampler2D Source; //parameters that define plane const float v12_1 = 0.7500; const float s21_1 = 0.2800; const float sv_1 = -0.3700; const float v12_2 = 0.1400; const float s21_2 = 0.6000; const float sv_2 = -0.2060; const float v12_w1 = -0.6; const float s21_w1 = 0.07; const float sv_w1 = 0.0260; const float v12_w2 = -0.3; const float s21_w2 = 0.0900; const float sv_w2 = -0.0090; void main() { vec4 valueHSV = texture2D(Source, textureCoordinate); float H = valueHSV.r; float S = valueHSV.g; float V = valueHSV.b; bool fR=(((H>=0.75 && -0.81*H-0.225*S+0.8325 <= 0.0) || (H <= 0.045 && -0.81*H+0.045*V-0.0045 >= 0.0)) && (v12_1*S + s21_1*V + sv_1 >= 0.0 && v12_2*S + s21_2*V + sv_2 >= 0.0)); float R = float(fR); float B = float(!fR && v12_w1*S + s21_w1*V + sv_w1 >= 0.0 && v12_w2*S + s21_w2*V + sv_w2 >= 0.0); gl_FragColor = vec4(R, 0.0, B, 1.0); }
Результат работы шейдера, выделяющего красный и белый цвет на изображении 512 х 512, приведен на Рис. 2. Однако, как показали вычислительные эксперименты, для дальнейшей работы полезно понижать разрешение изображения до 256 на 256, т.к. это повышает производительность и практически не влияет на качество локализации знаков.
Рис . 3. Красно-белое изображение.
Поиск окружностей на изображении
Большинство методов поиска окружностей работают с бинарными изображениями. Поэтому, полученное на предыдущем шаге красно-белое изображение нужно преобразовать в бинарный вид. В нашей работе мы опирались на то, что на запрещающих знаках белый цвет фона граничит с красным контуром знака, и разработали алгоритм для шейдера, который ищет такие границы на красно-белом изображении и отмечает граничные пиксели как 1, а не граничные - 0.
Работа алгоритма заключается в следующем:
- сканируются соседние пиксели каждого красного пикселя изображения;
- если находится хоть один пиксел белого цвета, то исходный красный пиксел помечается как граничный.
Таким образом, у нас получается черно-белое изображение (256 х 256), в котором фон залит черным цветом, а предполагаемые окружности - белым (Рис. 4а).
Рис. 4а
. Бинарное изображение, отображающее границы красного и белого цветов.
Для уменьшения количества ложных точек полезно применить морфологию (Рис. 4б).
Рис. 4б
. То же изображение, но после применения морфологии.
Далее, на полученном бинарном изображении необходимо найти окружности. Сначала, мы решили использовать метод Хаффа для поиска окружностей (Hough Circles Transform), реализованный на CPU в библиотеке OpenCV. К сожалению, как показали вычислительные эксперименты, данный метод слишком нагружает CPU и снижает производительность до неприемлемого уровня.
Логичным выходом из данной ситуации служил бы перенос алгоритма на шейдеры GPU, однако, как и другие методы поиска окружностей на изображениях, метод Хаффа плохо соответствует парадигме шейдеров (shader-approach). Таким образом, нам пришлось обратиться к более экзотическому методу поисков окружностей - методу быстрого поиск кругов при помощи градиентных пар (Fast Circle Detection Using Gradient Pair Vectors) , который показывает более высокую производительность на CPU.
Основные этапы данного метода следующие:
1 . Для каждого пикселя бинарного изображения определяется вектор, характеризующий направление градиента яркости в данной точке. Данные вычисления выполняет шейдер, реализующий оператор Собеля (Sobel operator):
Varying highp vec2 textureCoordinate; precision highp float; uniform sampler2D Source; uniform float Offset; void main() { vec4 center = texture2D(Source, textureCoordinate); vec4 NE = texture2D(Source, textureCoordinate + vec2(Offset, Offset)); vec4 SW = texture2D(Source, textureCoordinate + vec2(-Offset, -Offset)); vec4 NW = texture2D(Source, textureCoordinate + vec2(-Offset, Offset)); vec4 SE = texture2D(Source, textureCoordinate + vec2(Offset, -Offset)); vec4 S = texture2D(Source, textureCoordinate + vec2(0, -Offset)); vec4 N = texture2D(Source, textureCoordinate + vec2(0, Offset)); vec4 E = texture2D(Source, textureCoordinate + vec2(Offset, 0)); vec4 W = texture2D(Source, textureCoordinate + vec2(-Offset, 0)); vec2 gradient; gradient.x = NE.r + 2.0*E.r + SE.r - NW.r - 2.0*W.r - SW.r; gradient.y = SW.r + 2.0*S.r + SE.r - NW.r - 2.0*N.r - NE.r; float gradMagnitude = length(gradient); float gradX = (gradient.x+4.0)/255.0; float gradY = (gradient.y+4.0)/255.0; gl_FragColor = vec4(gradMagnitude, gradX, gradY, 1.0); }
Все ненулевые векторы группируются по направлениям. В силу дискретности бинарного изображения всего получается 48 направлений, т. е. 48 групп.
2 . В группах ищутся пары противоположно направленных векторов V1 и V2, например, 45 градусов и 225. Для каждой найденной пары проверяются условия (Рис. 5):
- угол бета меньше некоторого порога
- расстояние между точками P1 и P2 меньше заданного максимального диаметра окружности и больше минимального.
Если данные условия выполняются, то считается, что точка С, являющаяся серединой отрезка P1P2, является предполагаемым центром окружности. Далее эта точка C помещается, в так называемый, аккумулятор.
3 . Аккумулятор представляет собой трехмерный массив размером 256 x 256 x 80. Первые два измерения (256 x 256 - высота и ширина бинарного изображения) соответствуют предполагаемым центрам окружностей, а третье измерение (80) представляет возможные радиусы окружностей (максимальный - 80 пикселей). Таким образом, каждая градиентная пара накапливает отклик в некоторой точке, соответствующей предполагаемому центру окружности с некоторым радиусом.
Рис. 5
. Пара векторов V1-V2 и предполагаемый центр окружности C.
4 . Далее, в аккумуляторе ищутся центры, в которых дали отклик как минимум 4 пары векторов с различными направлениями, например, пары 0 и 180, 45 и 225, 90 и 270, 135 и 315. Близкие друг к другу центры объединяются. Если в одной точке аккумулятора найдено несколько центров окружностей с разными радиусами, то эти центры также объединяются и берется максимальный радиус.
Результат работы алгоритма поиска окружностей показан на Рис. 6.
Рис. 6
. Локализованные окружности, соответствующие двум запрещающим знакам.
Этап 2. Распознавание локализованных знаков
Локализованные на изображение окружности, которые должны соответствовать запрещающим знакам, вырезаются и нормализуются до размера 28х28 пикселя. Вырезанные изображения дополнительно обрабатываются оператором Собеля и передаются на вход сверточной нейронной сети, предварительно обученной на базе изображений запрещающих знаков.
О принципе работы нейросетей мы писали в одном из наших недавних проектов по распознаванию номеров банковских карт. Наша задача требовала работу с многослойными - сверточными - нейросетями. Когда сегментация знака завершена, мы получаем изображение, которое и передаем сверточной нейронной сети, построенной на основе работ Йэн ЛеКана, Леона Вотту, Йошуа Бенджио и Патрика Хаффнера. Для обучения нейросети была подготовлена небольшая база обучающих изображений.
После распознавания каждой окружности мы получаем массив вероятностей того или иного знака. Не всегда получается определить знак с хорошей вероятностью на одном кадре, нераспознанные знаки будут уточнены после обработки следующего кадра; точно распознанной считается знак, максимальное значение вероятности для которого в массиве вероятностей выше определенного порога.
Заключение
Прототип приложения-штурмана - наш пробный шар в использовании M2M-технологий, и мы планируем развивать это направление в дальнейшем. В ближайших планах - реализовать распознавание всех типов знаков и расширить диапазон яркости: день, сумерки, яркое солнце, закаты и др.
Основная сложность задачи по распознаванию других типов знаков - в определении форм отличных от круга: треугольников, квадратов и других. Пока у нас нет конечного решения, есть несколько вариантов, каждый со своими достоинствами и недостатками. Поэтому нам очень интересен ваш опыт решения задач по цветовой локализации, будем признательны вам за рекомендации и советы.
Водитель любого транспортного средства принимает за минуту огромное количество решений. И следить за обстановкой приходится тоже очень внимательно. Машины вокруг, дорожная разметка и знаки, правильное использование органов управления – все это делать одновременно не то что сложно, а очень сложно. Пока автомобилист наберется опыта и сможет контролировать обстановку вокруг себя более уверенно пройдет масса времени и есть всегда есть вероятность того, что может произойти ДТП.
Система распознавания дорожных знаков призвана помочь водителям в повседневной езде и немного ослабить давление на мозг человека, особенно когда он уставший за рулем.
Основное назначение
Стоит понимать, что большинство ДТП происходит по вине водителя, который не соблюдает скоростной режим. А делается это зря, так как ограничения вводятся не просто так: скорость автомобиля должна быть такой, чтобы водитель мог успеть выполнить все принимаемые им решения, будь то маневр или экстренное торможение. Поэтому и начались разработки специальных систем, которые могут помочь водителю принимать решение или контролировать свои действия. Сейчас система распознавания дорожных знаков встречается на разных автомобилях, в том числе и таких дорогих, как BMW, Mercedes-Benz, Audi, Ford, Opel, Volkswagen и еще многие другие. Эта технология является одной из основных в системе безопасности автомобиля, которой сейчас комплектуется большинство автомобилей. Примером можно назвать Opel Eye от, соответственно, Опель. Эта система признана одной из лучших на протяжении нескольких последних лет. Mercedes-Benz же назвали свою систему Speed Limit Assist, а специализируется она на предупреждении водителя о превышении им скоростного лимита на данном участке дороге в конкретное время.
Конструкция системы
Как правило, все эти конструкции от любого производителя имеют типичный набор инструментов и устройств в своем распоряжении.
Связано это банально с тем, что для работы нужны просто одинаковые приспособления. В их число входят:
- Специальная чувствительная видеокамера.
- Экран или некое другое приспособление, на котором система отчитывается перед водителем.
- Блок управления, который и выполняет основную работу.
Видеокамера располагается рядом с ветровым стеклом в салоне автомобиля. На некоторых моделях, где эта возможность интегрирована во весь автомобиля камера может быть спрятана где-то под стеклом или, например, в уплотнителе стекла, чтобы камера не заслоняла часть лобового стекла и не закрывала обзор. Камер направлена так, чтобы ей было удобно снимать пространство впереди машины, в местах, где стоят знаки по ходу движения, то есть немного справа от дороги. Далее, отснятое видео передается в блок управления, микропроцессор которого в режиме реального времени анализирует его содержимое. Также эта камера используется и другими системами безопасности, такими как система обнаружения пешеходов, на проезжей части и система помощи движения по ряду или полосе в потоке машин.
Алгоритм распознавания
Электронный блок управления системы инициирует специальный механизм, программно заложенный в его систему. В виде последовательности его можно представить так:
- Опознавание формы дорожного знака (а они у нас бывают очень разные).
- Определение надписи на знаке.
- Распознавание цвета знака.
- Проверка наличия таблички информации.
Разберем принцип работы этого алгоритма на примере знака ограничения скорости движения, распознавание которого и ориентировано большинство автомобилей. Сначала технология опознает знак круглой формы, затем его цветовое сочетание: красное с белым. Следующим становится распознавание надписи, которая есть на знаке, то есть цифра максимально допустимой скорости. Теперь блок анализирует скорость автомобиля, с которой он едет в данный момент и, если есть различие, информирует водителя о превышении максимально допустимой скорости на данном участке дороги. Если же превышения нет, то знак просто высвечивается на приборной панели автомобиля, как бы информирую водителя о том, что знак был распознан.
Очень интересным новшеством является совместная работа системы распознавания дорожных знаков вместе с навигатором автомобиля.
Если навигатор достаточно продвинут, то распознавание знаков будет ориентироваться по навигатору, там ведь тоже есть перечень всех знаков, что будут на маршруте. Так что даже, если камера не успеет засечь знак по какой-то причине – он все равно будет выведен на приборную панель, а водитель будет проинформирован о своем превышении. Как видим, система распознавания знаков является серьезным подспорьем любому водителю – как опытному, так и новичку. В разных ситуациях эта система может помочь сориентироваться в обстановке и принять правильное решение.
Да Нет