Първата оптична невронна мрежа

[ramus]

 

kaldata.com

 

Първата оптична невронна мрежа

Даниел Десподов

Учените от Калифорнийския университет в Лос Анджелис създадоха нов тип невронна мрежа, която вместо електричество използва светлина. В списание Science бе публикувана статия, описваща идеята, работещото устройство, неговата производителност и типовете приложения, за които е най-подходяща новата невронна мрежа.

Изцяло оптичният фреймуърк за дълбоко обучение Diffractive Deep Neural Network (D²NN) физически е формиран от от множество отразяващи или прозрачни повърхности. Тези панели работят съвместно, изпълнявайки произволна функция, усвоена в резултат от обучение и тренировка. Тъй като подаването на условията на задачите и получаването на резултата стават изцяло по оптичен път, обучаващата част на проектирането структурата на отразяващите повърхности става с помощта на компютър.

Физическата структура на D²NN се състои от редица отразяващи или прозрачни слоеве. Всяка точка от тези слоеве пропуска или отразява светлинната вълна. По този начин става възможно всяка една от тези точки да се използва като изкуствен неврон, който е съединен с останалите неврони от другите слоеве чрез оптична дифракция. Структурата на D²NN е показана на следната илюстрация:

В изображение А е показана схемата на няколко прозрачни и отразяващи слоя, в които всяка точка е неврон със сложен коефициент на прозрачност и отражение. Тези коефициенти се изчисляват с помощта на дълбоко машинно обучение. След фазата на обучение, дизайнът на D²NN се фиксира и с помощта на 3D принтер се разпечатват съответните пластини. Те се подреждат в оптичен пакет, който може да изчислява функцията, зададена чрез първичното обучение. За разлика от електронните компютърни мрежи, в новата оптична невронна мрежа изчисленията се осъществяват със скоростта на светлината.

В долната част на показаното по-горе изображение се прави сравнението на работата на дифракционната оптична невронна мрежа (отляво) и електронната невронна мрежа (отдясно). Базирайки се на кохерентни вълни, D²NN работи с комплексни значения и мултипликативни функции. Стойностите (теглата) в в D²NN се основават на дифракцията в свободното пространство и определят кохерентната интерференция на вторичните вълни. Тези вторични вълни имат фаза и амплитуда, модулирани от предишните слоеве. Символът „о“ означава операцията произведение на Адамар, тоест побитово логическо умножение на съответните членове на две последователности с еднаква дължина.

Учените обясняват, че структурата на оптичната невронна мрежа се базира на принципа на Хюйгенс, в съответствие с който всеки елемент на вълновия фронт може да се разглежда като център на вторично въздействие, пораждащо вторични сферични светлинни вълни. Полученото по този начин светлинно поле във всяка точка от пространството се определя от интерференцията на тези вълни. По този начин, всеки изкуствен неврон в D²NN мрежата е съединен с другите неврони от следващия слой чрез вторичната вълна, модулирана по амплитуда и фаза като входна интерференционна картина, създадена от предишните слоеве, както и от локалния коефициент на пропускане и отразяване на светлината.

Учените подчертават, че оптичната невронна мрежа изпълнява всички функции със скоростта на светлината и не се нуждае от енергия. Това засега е най-ефективният и бърз начин за реализирането на машинно обучение.

За проверка на идеята, специалистите създадоха D²NN невронна мрежа, способна да разпознава цифрите от 0 до 9 и да съобщава резултата. След обучението с помощта на 55 000 изображения, е постигната точност от 93,39%.

При разпознаването на модни дрехи и обувки, 5-слойна D²NN невронна мрежа показва точност от 81,13%, а 10-слойната – 86,60%.

Според експериментаторите, невронната мрежа от оптичен тип може да се използва в специализираните устройства, изискващи много висока скорост на работа. Като например, определянето на конкретно лице в движеща се тълпа от хора.

Научната работа е публикувана на 26 юли 2018 година в Science.

 

[Amazonski]

Това е сериозен пробив. Освен бързината, това е и съчетаване на "хардуерно" и софтуерно решение, а не просто софтуер базиран на съществуващи архитектури. Което малко ни приближава да начина по който е устроен мозъка. Съществуващите ИИ, са по-скоро вариации на тема експертни системи. Това горе ИМО е стъпка в правилна посока. Отделно че са се насочили към правилната сфера. Разпознаването на образи е от най-сложните и най-критичните стъпки към създаване на използваеми ЕС, или ИИ.

[Exhemus]

Много добре! Но, ramus ако обичаш, дай още малко пояснения.

- Къде се съхраняват тегловните коефициенти W ? Това са стрелките в горната картинка.

- Ако всяка точка /петно/ от една плоскост е неврон то със известните технологии може да се направи да помни праговата стойност /bias/.

- Обаче, изходът на един неврон във вид на вълна във всички посоки, преди да попадне на всеки неврон от следващия слой, трябва да се модулира индивидуално за съответния неврон, като всеки модулационен коефициент W трябва да се помни някъде?  Броят на W = неврони². Модулаторът на всеки лъч от даден неврон не трябва да пречи на лъчите от другите неврони.

- Също не ясно как се извършва Backpropagation? По електронен път ли или пак чрез светлина? Backpropagation трябва да променя W и B  или обратно - да ги прави устойчиви на случайна промяна, която също трябва да бъде вкарана като функционалност. Това е преди още да помислим за реализацията на алгоритмите за  Backpropagation.

- 

 

[Joro-01]

On 8.08.2018 г. at 21:44, ramus said:

 

kaldata.com

 

Първата оптична невронна мрежа

 

Така... Всичко тези неюа макар и по-грубо и с черно-бели схеми са описани в тази руска книжка, издание шейсе и някоя година.

Бях си я купил 90-та година (самата книга мисля, че е по-стара, може би 60 и някоя...