Новий сенсорний інтерфейс дозволяє поєднувати дані реального і цифрового світу
Фахівці з лабораторії компанії Fujitsu розробили новий тип інтерфейсу наступного покоління, який створює інтерактивну систему, подібну до сенсорного екрану. Але, на відміну від сенсорних екранів, що дозволяють маніпулювати тільки цифровими даними та об'єктами в комп'ютері, нова система, точно відстежуючи положення і рухи рук і пальців користувача, дозволяє користувачеві управляти цифровими даними, накладеними на реальні об'єкти і вводити реальні об'єкти в цифрову середу.
"В основу нашої системи лягла ідея, яка полягає в тому, що папером з текстом і зображеннями, іншими предметами в реальному світі можна управляти, накладаючи на них цифрову інформацію, з допомогою дотиків як на сенсорному екрані" - розповідають розробники системи, - "Реалізація цієї системи не вимагає використання складних апаратних засобів. Для її роботи досить простий веб-камери і звичайного цифрового проектора. А високі точнісні характеристики і широка функціональність системи досягнуті за рахунок використання алгоритмів програмного забезпечення системи, що реалізують технології складної обробки зображень".
При використанні системи будь-яка текстова або графічна інформація з паперового документа, книги чи з будь-якого іншого предмета може бути імпортована у вигляді цифрових даних у комп'ютер за допомогою простих дотиків пальцями до необхідних місць. Для того, щоб зробити це, програмне забезпечення системи постійно визначає і вимірює форму реальних об'єктів, потрапляють в поле її зору. Ці дані використовуються для корекції систем координат, які використовуються камерою і проектором. Завдяки постійній корекції, виробленої в режимі реального часу, система може синхронізувати зображення проектора з місцем дотику пальців з предметами, які можуть мати будь-яку, не обов'язково плоску форму.
"До останнього часу жестикулирование використовувалося більше для управління комп'ютерами та іншими пристроями. Використовуючи новий інтерфейс ми вже не просто керований комп'ютером, ми маніпулюємо реальними предметами, а комп'ютер лише пристосовує свою цифрову інформацію, її вміст і вид представлення у відповідності з нашими діями".
Програмне забезпечення системи розроблено таким чином, що воно не реагує на звичайні дії і рухи. Системою можна управляти, лише діючи одним пальцем як покажчиком. Для того, щоб здійснити точне спостереження, система повинна точно виміряти відстань до пальця і його висоту щодо об'єкта. У складі системи використовується камера з досить низьким дозволом, 320 на 180 точок. Така роздільна здатність дозволяє безпосередньо визначати відстані і розміри з точністю до одного сантиметра, що абсолютно неприйнятно для нормальної роботи будь-якого інтерактивного інтерфейсу. Тут і вступають в дію досить складні і потужні алгоритми обробки зображень, які з прийнятною точністю обчислюють положення точок в тривимірному просторі, використовуючи нечітке зображення з веб-камери.
Система дозволяє здійснювати управління комп'ютером і в тих випадках, коли не потрібно торкатися до яких предметів. У цьому випадку управління здійснюється, як і в інших подібних системах, за допомогою жестів, рухів пальців і рук.
"Наша система знаходиться ще в стадії дослідного зразка. Цілком ймовірно, що під час пробної експлуатації, під час якої система буде використана для вирішення різних фактичних завдань, виявляться деякі проблеми і з'являться пропозиції з модернізації, поліпшення зручності і простоти використання. Після цього, до 2014 року, ми сподіваємося створити повністю працездатну систему, яку можна буде ставити на комерційні рейки".