Специалисты из Китая разработали сенсор, способный снизить энергопотребление дронов и других автономных устройств при обработке визуальных данных. Исследование опубликовано 19 августа в журнале Nature Sensors. В нём описана архитектура нового двухмерного чипа LightTok, который преобразует свет напрямую в токены (единицы данных), используемые моделями искусственного интеллекта (ИИ), не выходя за пределы самого сенсора.
«Наша идея состояла в том, чтобы перенести генерацию токенов на сам сенсор, позволив чипу напрямую создавать токены, которые модели ИИ могут обрабатывать, как только свет достигает сенсора, — заявил Мяо Фэн, директор Института мозгоподобного интеллекта Нанкинского университета. — Эти токены содержат полную информацию об изображении». Разработка пропускает несколько энергоёмких этапов, на которые опираются традиционные сенсорные системы.
В обычном процессе визуального восприятия свет проходит несколько стадий. Сенсор улавливает сигналы, аналого-цифровой преобразователь превращает свет в пиксели, затем данные временно сохраняются и передаются на отдельный чип, где изображение разбивается на квадратные фрагменты, напоминающие плитки сетки. Каждый такой фрагмент преобразуется в токен для чтения моделью ИИ. Одно из широко цитируемых исследований показало, что на аналого-цифровой преобразователь в среднем приходится 66% энергопотребления сенсора изображения, а перенос обработки в облако может ещё больше увеличить общие затраты энергии.
LightTok решает проблему энергии, объединяя пять этапов в один: считывание, хранение и вычисления встроены в один пиксель. Это стало возможным благодаря массиву на основе технологии однослойного плавающего затвора-фототранзистора из дисульфида молибдена, который умеет улавливать свет, запоминать воспринятое и учитывать это в расчётах. Дисульфид молибдена — двухмерный материал, хорошо реагирующий на свет и выращиваемый в виде листов толщиной в один атом. Фототранзистор превращает фотоны в электрический ток, а плавающий затвор удерживает электрический заряд, не теряя его после исчезновения света.
«Чип физически устраняет перемещение данных, которое является главным источником потерь энергии, — пояснил Лиан Ши-Цзюнь, профессор физики Нанкинского университета, в беседе с китайским государственным агентством Xinhua. — Свет входит, токены выходят» — отсюда и название LightTok. В ходе испытаний чип показал точность распознавания изображений 87,3% по сравнению с традиционным многоступенчатым процессом, а преобразование света в токены оказалось в 10 раз энергоэффективнее.
Сейчас максимальное разрешение LightTok составляет всего 32 на 32 светочувствительных пикселя, что значительно уступает камерам современных смартфонов, не говоря уже о дронах и автономных устройствах. Тем не менее, по словам Мяо Фэна, технологию можно масштабировать с помощью комплементарного металл-оксид-полупроводникового процесса — того же метода, что используется для производства чипов в смартфонах и ноутбуках, а также сенсоров в дронах. Исследователи полагают, что успешное масштабирование LightTok способно изменить работу технологий дистанционного зондирования: например, дрон, сканирующий зону бедствия или удалённую территорию, сможет летать дольше за счёт меньших затрат энергии на обработку изображений.