Projekt nie je dostupný zdarma na stiahnutie! Pri záujme o kúpu softvérovej časti projektu s funkčnosťou, ktorá je na danej stránke rozpísaná kontaktovať na adrese: martinius96@gmail.com
Arduino ESP8266 ESP32 Webkit Voice control Multilanguage

Ovládanie hlasom

Možnosť vyskúšať s prehliadačom Chrome (ako jediný podporuje Webkit):

  • Slovenský jazyk
  • Anglický jazyk
  • Český jazyk
  • Ruský jazyk

    • Používateľská časť:

  • Používateľ využije webové rozhranie pre hlasové zadávanie
  • Kliknutím na spúšťací prvok - mikrofón - začne byť jeho hlas nahrávaný a po ukončení hlasového povelu sa automaticky ukončí.
  • Zmena sa prejaví prakticky okamžite aj vo webovom rozhraní, kde sa zmení stav na základe hlasového povelu používateľa.

    • Funkčná časť - Webstránka + mikrokontróler:

  • Webové rozhranie používa Javascript, ktorým nahrávanie hlasu začne - na základe kliknutia používateľa.
  • Hlas používateľa je nahrávaný, pokým používateľ hovorí.
  • Po vyslovení príkazu sa nahrávanie automaticky ukončí a vykoná sa Xhr request na Google servery, ktoré realizujú preklad hlas na text.
  • Navrátová hlavička z Google serverov obsahuje aj text, ktorý používateľ vyslovil.
  • Arduino + Ethernet shield client - SK
  • NodeMCU - SK
  • ESP32 - SK
  • ESP32 Enterprise - SK
  • Arduino + Ethernet shield client - CS
  • NodeMCU - CS
  • ESP32 - CS
  • ESP32 Enterprise - CS
  • Arduino + Ethernet shield client - EN
  • NodeMCU - EN
  • ESP32 - EN
  • ESP32 Enterprise - EN
  • Arduino + Ethernet shield client - RU
  • NodeMCU - RU
  • ESP32 - RU
  • ESP32 Enterprise - RU
  • Proces premeny hlasovej vzorky na text sa nazýva speech-to-text, alebo Speech recognition
  • Mikrokontróler má obmedzený výkon, vie pracovať iba s textovými reťazcami, výstupmi, odosielať dáta do internetu.
  • Nemá dostatočný výkon na speech-to-text proces a ani nato nemá knižnice, ktoré by to umožňovali.
  • Prevod reči na text teda musí realizovať počítač, alebo server. Pri ovládaní hlasom využívam technológiu Webkit, ktorá komunikuje so servermi Googlu.
  • Google servery dokážu v krátkom časovom horizonte (pár ms) odoslať spätnú response hlavičku, ktorá obsahuje text.

    • Callback - vrátená response z Google serverov (príklady použitia)

    Ovládanie garážovej / vstupnej brány hlasom v slovenčine
    Ovládanie kúrenie hlasom v slovenčine
    Ovládanie kúrenia s nastavením teploty hlasom v slovenčine
  • Technológiu Webkit je možné aplikovať na akýkoľvek svetový jazyk a je ju možné používať z akéhokoľvek zariadenia, ktoré má podporu prehlidača Chrome/Samsung Mobile.
  • Ovládanie hlasom je možné použiť pre akúkoľvek platformu, web časť je univerzálna
    • Kam sa technológia hodí?
  • Inteligentné domy
  • Ovládanie výstupov z internetu
  • Automatizácia domu odkiaľkoľvek
  • Uľahčenie ovládania domu osobami s obmedzenou mobilitou
    • Čo ako klient potrebujem aby som mohol používať túto technológiu v projekte?
  • Webserver s HTTPS protokolom, aj HTTP variantu ak chcete použiť Arduino
  • Prehliadač Google Chrome/Samsung Mobile
  • Wifi sieť pre NodeMCU/ESP32, alebo LAN káble pre Arduino a jeho Ethernet shield z rodiny Wiznet