02. 설계

📍RFID 흰지팡이

✔️센서

- RFID 리더기

각 좌석의 하단의 RFID 태그값을 읽어 들여 해당 좌석의 번호를 얻기 위한 장치이다. ESP32 에서 빈 좌석 여부를 불러올 때 몇 번 좌석의 정보를 불러올지 결정한다.

- ESP32

DB에 접속하고 RFID 리더기, 진동모터, 스피커, 앰프 제어를 위한 메인 연산장치이다. RFID의 태그값을 읽고 이를 DB와 연동하여 스피커에게 어떤 음성을 출력할지, 진동을 울릴지 판단한다.

- 스피커&앰프

ESP32에서 전달받은 명령을 실행하여 음성을 출력한다. WAV 음성 파일을 최종적으로 byte 변환을 하고 아두이노의 talkie 라이브러리를 사용하여 음성을 출력한다.

- 진동 모터

ESP32에서 전달받은 명령을 실행하여 진동을 울린다. 해당 좌석 번호의 데이터베이스 데이터들 중 가장 최신 데이터가 빈자리일 경우 진동모터 를 작동한다. 진동모터가 엄지손가락이 닿도록 잡는 것을 올바른 제품사용의 가이드라인으로 잡았다. 이는 RFID 리더기의 인식 범위가 리더기 정면과 후면이고 (측면X) 구간이 짧은 것을 고려한 것이다.

 

✔️순서도

 

✔️회로 구성

 

✔️아두이노 코드

#include <Arduino.h>
#include <MFRC522.h>
#include <SPI.h> 
#include <WiFi.h>              
#include <HTTPClient.h>   

//음성 출력
#include "Talkie.h"

//진동 모터 
#define SS_PIN 5
#define RST_PIN 27

const int vibPin = 16;

const int freq = 5000;
const int vibChannel = 0;
const int resolution = 8;

const char WIFI_SSID [ ] = "";
const char WIFI_PASSWORD [ ] = "";

//select.php를 통해 데이터베이스에 저장되어 있는 값을 불러오기
String avalue = "http://192.168.xx.xx/select_data1.php?";
String bvalue = "http://192.168.xx.xx/select_data2.php?";
String cvalue = "http://192.168.xx.xx/select_data3.php?";

HTTPClient http;
Talkie voice;

//MP3 파일 속 음성을 byte로 변환한 값
uint8_t num1[] PROGMEM = {}
uint8_t num2[] PROGMEM = {}
uint8_t num3[] PROGMEM = {}

MFRC522 rfid(SS_PIN, RST_PIN);

//-------------------------------------------------------

void setup() {
  Serial.begin(9600);

  WiFi.begin(WIFI_SSID, WIFI_PASSWORD);
  Serial.println("Connecting");
  while(WiFi.status() != WL_CONNECTED) {
    delay(1000);
    Serial.print(".");
  }
  
  Serial.println("");
  Serial.print("Connected to WiFi network with IP Address: ");
  Serial.println(WiFi.localIP());

  SPI.begin(); 
  rfid.PCD_Init(); 
  Serial.println("Tap an RFID/NFC tag on the RFID-RC522 reader");

 
  ledcSetup(vibChannel, freq, resolution);
  

  ledcAttachPin(vibPin, vibChannel);
  
}

//-------------------------------------------------------

void loop() {

  int httpCode;
  String payload;
  

  String tag_uid = "";
  String rfid123;

  if (rfid.PICC_IsNewCardPresent()) {
    if (rfid.PICC_ReadCardSerial()) {
      MFRC522::PICC_Type piccType = rfid.PICC_GetType(rfid.uid.sak);
      Serial.print("RFID/NFC Tag Type: ");
      Serial.println(rfid.PICC_GetTypeName(piccType));

      // print UID in Serial Monitor in the hex format
      Serial.print("UID:");
      for (int i = 0; i < rfid.uid.size; i++) {
        Serial.print(rfid.uid.uidByte[i] < 0x10 ? " 0" : " ");
        Serial.print(rfid.uid.uidByte[i], HEX);
        tag_uid.concat(String(rfid.uid.uidByte[i] < 0x10 ? " 0" : " "));
        tag_uid.concat(String(rfid.uid.uidByte[i], HEX));
      }
      Serial.println();
      tag_uid.toUpperCase();

      rfid.PICC_HaltA(); // halt PICC
      rfid.PCD_StopCrypto1(); // stop encryption on PCD
    
    }

  }

  //-------------------------------------------------------
  //각 RFID 태그의 고유번호와 좌석 번호를 매칭
  
  if (tag_uid.substring(1) == "99 EE 59 B3")
  {
    Serial.println("1번");
    rfid123 = "1";
    Serial.println(rfid123);
  }
  else if (tag_uid.substring(1) == "A0 9E 59 B3")
  {
    Serial.println("1번");
    rfid123 = "1";
    Serial.println(rfid123);
  }
  else if (tag_uid.substring(1) == "C2 1F 59 B3")
  {
    Serial.println("1번");
    rfid123 = "1";
    Serial.println(rfid123);
  }
 
  //--------------------------------------------
  else if (tag_uid.substring(1) == "5A 88 CE AD")
  {
    Serial.println("2번");
    rfid123 = "2";
    Serial.println(rfid123);
  }
  else if (tag_uid.substring(1) == "52 7E 76 2F")
  {
    Serial.println("2번");
    rfid123 = "2";
    Serial.println(rfid123);
  }
  else if (tag_uid.substring(1) == "52 B7 72 2F")
  {
    Serial.println("2번");
    rfid123 = "2";
    Serial.println(rfid123);
  }
 
  //--------------------------------------------
   else if (tag_uid.substring(1) == "AB AD 5D B3")
  {
    Serial.println("3번");
    rfid123 = "3";
    Serial.println(rfid123);
  }
  else if (tag_uid.substring(1) == "F0 A9 2B B3")
  {
    Serial.println("3번");
    rfid123 = "3";
    Serial.println(rfid123);
  }
  else if (tag_uid.substring(1) == "13 66 A2 1C")
  {
    Serial.println("3번");
    rfid123 = "3";
    Serial.println(rfid123);
  }
  
 //--------------------------------------------------------------- 
 //좌석 번호와 음성 파일 매칭(좌석 번호가 1번일 경우 1번 MP3파일 재생)
  
  if ((rfid123 == "1") || (rfid123 == "2") || (rfid123 == "3"))
  {
     if (rfid123 == "1") {
         http.begin(avalue);
         Serial.println(avalue);
         voice.say(num1);
     }
     else if (rfid123 == "2") {
         http.begin(bvalue);
         Serial.println(bvalue);
         voice.say(num2);
     }
     else if (rfid123 == "3") {
         http.begin(cvalue);
         Serial.println(cvalue);
         voice.say(num3);
     }

  //-----------------------------------------------------
         
     httpCode = http.GET();
     
     if(httpCode > 0) 
     {
     
     if(httpCode == HTTP_CODE_OK) 
     {
      payload = http.getString();
      payload = payload.substring(0, 1);
      Serial.print("payload:");
      Serial.println(payload);
      
     if (payload == "0")
     {
      Serial.println("Seat");
      ledcWrite(vibChannel, 255);
      delay(1000);
      ledcWrite(vibChannel, 0);
     }
     else
     { 
      Serial.println("No seat");
     }
    } 
    
    else 
    {
      Serial.printf("[HTTP] GET… code: %d\n", httpCode);
    }
    
   }
 }

  http.end();
  delay(100);
}

 

📍Database: MySQL

https://m.blog.naver.com/jungha3071/222574019949

데이터베이스로는 MySQL을 사용하였고, 라즈베리파이4를 서버로 두었다. 순서대로 Apache, PHP, MySQL을 설치해주었고, 웹 상에서는 phpmyadmin을 사용하여 관리해주었다.

DB는 압력센서의 값을 받아오고 이 값을 어플리케이션과 진동모터에 전달하는 역할을 한다. 이 때, 값을 받아올 때에는 insert 형식의 php 파일을, 값을 전송할 때는 select 형식의 php 파일을 만들어주었다. 연동을 할 때에는 이에 해당하는 url을 활용하였고, 값을 가져올 때에는 해당 좌석의 최신 좌석 정보를 가져오도록 설정하였다. 한 좌석당 하나의 테이블을 할당하였고, 빈자리 여부는 0과 1의 쿼리 값으로 판단하였다. (빈자리일 경우 0, 그렇지 않을 경우 1) 업데이트는 1초에 1번으로 설정하였다.

✔️Table

 

✔️insert.php

<?php

   //GET 방식을 통해 데이터 값 받기
   $bus = $_GET["bus_value"];

   $servername = "127.0.0.1";
   $username = "team4";
   $password = "1234qwer";   
   $dbname = "esp32test";

 $conn = new mysqli($servername, $username, $password, $dbname);

   if ($conn->connect_error) {
      die("Connection failed: " . $conn->connect_error);
   }

   //new라는 테이블의 쿼리 값 중 bus_value에 압력센서로부터 받아온 데이터 값 넣기
   $sql = "INSERT INTO new (bus_value) VALUES ($bus)";
    
   if ($conn->query($sql) === TRUE) {
      echo "New record created successfully";
 } else {
      echo "Error: " . $sql . " => " . $conn->error;
   }

   $conn->close();
   
?>

 

✔️select.php

<?php

   $conn = mysqli_connect("127.0.0.1", "team4", "1234qwer" , "esp32test");
   
   //new라는 테이블의 쿼리 값인 ID, bus_value 중 빈자리 여부의 정보가 들어있는 bus_value의 값만 받기
   //ID(1초 간격의 시간)의 순서대로 값 받기
   $sql = "SELECT ID, bus_value FROM new ORDER BY ID DESC LIMIT 1“;
   $result = mysqli_query($conn, $sql);
   if (mysqli_num_rows($result) > 0) {
   while($row = mysqli_fetch_assoc($result)) {
   echo “번호: " . $row["ID"]. " 좌석:" . $row["bus_value"]. "<br>";
   } 
   }
   else{
   echo "테이블에 데이터가 없습니다.";
   }
   mysqli_close($conn);
   
?>

 

📍압력센서 부착 의자

✔️위치 및 개수 선정

↳ 의자 끝에 걸터앉는 자세에서는 신체와 센서가 닿지 않아 빈좌석으로 판단

↳ 발 받침대에 발을 올린 자세에서 허벅지가 의자에 닿지 않아 빈좌석으로 판단

↳ 끝에 걸터 앉는 자세에서 무게중심이 둔부에 쏠린다는 점을 고려해 압력 센서 2개를 둔부 쪽에 추가

 

✔️회로 구성

 

✔️아두이노 코드

#include <Arduino.h>
#include <WiFi.h>              
#include <HTTPClient.h>        

//압력센서 5개
int pressSensor1 = A0;
int pressSensor2 = A3;
int pressSensor3 = A6;
int pressSensor4 = A7;
int pressSensor5 = A4;


const char WIFI_SSID [ ] = "";
const char WIFI_PASSWORD [ ] = "";

//insert.php를 통해 압력센서의 값을 데이터베이스로 전송
String avalue  = "http://192.168.xx.xx/insert_data1.php?red=";
HTTPClient http;


void setup() {
  Serial.begin(9600);

  WiFi.begin(WIFI_SSID, WIFI_PASSWORD);
  Serial.println("Connecting");
  while(WiFi.status() != WL_CONNECTED) {
    delay(1000);
    Serial.print(".");
  }
  Serial.println("");
  Serial.print("Connected to WiFi network with IP Address: ");
  Serial.println(WiFi.localIP());
  
 
}

void loop() {

	//analogRead: 압력센서의 저항값을 0~1023의 값으로 변환하여 출력
    int a = analogRead(pressSensor1);
    int b = analogRead(pressSensor2);
    int c = analogRead(pressSensor3);
    int d = analogRead(pressSensor4);
    int e = analogRead(pressSensor5);

    String dmlwk;
   
    //5개의 압력센서 값의 합이 0인 경우 "빈자리(0)"를 출력
    //0이 아닌 경우 비어있지 않은 자리(1)"를 출력
    //출력된 값을 쿼리에 넣어서 데이터베이스로 전송
    if (a+b+c+d+e == 0)
    {
      dmlwk = "0";
    }
    

    else
    {
      dmlwk = "1";
    }
   
   
   
   http.begin(avalue+ dmlwk);
   int httpCode = http.GET();

   
   if(httpCode > 0) {
     
    if(httpCode == HTTP_CODE_OK) {
      String payload = http.getString();
      Serial.println(payload);
    } else {
      
      Serial.printf("[HTTP] GET... code: %d\n", httpCode);
    }
  } else {
    Serial.printf("[HTTP] GET... failed, error: %s\n", http.errorToString(httpCode).c_str());
  }

  http.end();
  delay(1000);
}

• 센서 값이 "0"인 경우 "0"의 값 전송 → 출력값들의 "합이 0이면" 빈자리

• 센서 값이 "0"이 아닌 경우 "1"의 값 전송 → 출력값들의 "합이 0이 아니면" 빈자리 아님

 

📍어플

음성지원 서비스 "스크린리더" 이용

: 어플의 각종 글씨, 팝업창 등을 음성으로 읽어주고, 진동을 통해 버튼을 구별하여 시각장애인의 어플 사용에 도움을 주는 역할

 

✔️사용법

1. 어플 화면을 켜고 아무 곳이나 터치한다.

2. ’화면의 버튼을 눌러 탑승하려는 버스번호를 입력 하세요’ 라는 음성을 듣고 난 후, 화면을 터치하고 버 스 번호를 말한다. 

3. 해당 버스의 좌석 배치도의 화면을 손가락으로 쓸 어내리며 진동과 음성안내를 통해 배치도를 익힌다. 버스 의자그림이 터치되면 ‘A번 좌석’이라는 진동과 함 께 음성안내가 나온다.

4. 화면 하단의 버튼을 터치하여 비어 있는 좌석 정보 를 안내받는다. ‘처음으로’ 버튼을 이용하여 버스번호 입력 화면으로 돌아갈 수 있다.

 

✔️버스 좌석 배치도 호출: 음성 인식

탑승하려고 하는 버스 번호를 음성으로 입력할 수 있게 한다. 

이는 안드로이드 스튜디오 내장 API인 ‘Google Speech to Text’를 통해 구현되었다.

private RecognitionListener listener = new RecognitionListener() {
	@Override
    public void onReadyForSpeech(Bundle params) {
    	Toast.makeText(getApplicationContext(), text: "음성인식 시작", Toast.LENGTH_SHORT).show();
    }
    
    @Override
    public void onBeginningOfSpeech() {
    	//말하기 시작했을 때 호출
    }
    
    @Override
    public void onRmsChanged(float rmsdB) {
    	//입력받는 소리의 크기를 알려줌
    }
    
    @Override
    public void onBufferReceived(byte[] buffer) {
    	//말을 시작하고 인식이 된 단어를 buffer에 담음
    }
    
    @Override
    public void onEndOfSpeech() {
    	//말하기를 중지하면 호출
    }

 

✔️잔여 좌석 안내: 데이터베이스 호출

버튼을 누르면 해당 좌석의 최신 좌석 정보만을 데이터베이스에서 가져온다.

try {
	String _url3="http://192.168.xx.xx/select_data1.php?"
    URL url3=new URL(_url3);
    HttpURLConnection conn3=(HttpURLConnection) url3.openConnection();
    if (conn3 != null){
    	conn3.setConnectTimeout(10000);
        conn3.setRequestMethod("GET");
        conn3.setDoInput(true);
        conn3.setDoOutput(true);
        
        int resCode3=conn3.getResponseCode();
        if (resCode3 == HttpURLConnection.HTTP_OK) {
        	BufferedReader reader3 = new BufferedReader(new InputStreamReader (conn3.getInputStream()));
            String line3=null;
            while (true) {
            	line3=reader3.readLine();
                if (line3 == null)
                	break;
                if (line3.equals(number)) {
                	line3="착석가능";
                    count3++;
                }
                else {
                	line3="착석불가";
                }
                
                print(line3);
            }
            reader3.close();
        }
        conn3.disconnect();
    }