로고

건설기계 장비 작동 상태 ‘손쉽게 취득’…‘QR 코드 궤적 추적 방법’ 선봬

오성덕 기자 | 기사입력 2024/06/24 [15:53]
오성덕 기자 이메일 아이콘 기사입력  2024/06/24 [15:53]
건설기계 장비 작동 상태 ‘손쉽게 취득’…‘QR 코드 궤적 추적 방법’ 선봬
트위터 페이스북 카카오톡   필자의 다른기사 보기 인쇄하기 메일로 보내기 글자 크게 글자 작게

건설기계 장비의 작동 상태를 비교적 손쉽게 취득할 수 있는 ‘QR코드 궤적 추적 방법’이 선보여 화제다.  

 

장비 레버에 QR코드 부착 이를 동영상으로 촬영

지속적 추적 경우 레버 ‘종류·움직임’ 파악 가능

 

최근 건설기계의 작업 특성 도출을 위한 다양한 시도가 이뤄지고 있지만, 다양한 원인들로 한계에 부딪히고 있는 것으로 알려져 있다.

 

자동차의 경우 운전자가 가속페달이나 브레이크를 얼마나 밟았는지, 핸들을 얼마나 돌렸는지 등을 수치적으로 확인할 수 있어 자동차의 주행 특성 파악이 가능하고, 연비 등에 대한 평가 모드를 생성할 수 있다. 

 

건설기계도 자동차와 마찬가지로 가속페달, 브레이크, 핸들과 같이 주행과 관련된 정보를 수치적으로 확인할 수 있지만, 건설기계의 경우 운용 목적이 주행이 아닌 작업이라는 점에서 차이가 있다. 

 

즉, 굴착기나 지게차의 경우 이동을 위해 주행이 이뤄질 수 있지만, 대부분 버킷이나 포크를 움직여 작업이 이뤄지기 때문에 이와 관련한 특성 파악이 필요하다.  

 

이 같은 건설기계의 작업 특성 도출을 위해서는 작동 상태에 대한 수치화가 필수적이다.

 

하지만, 건설기계에서 주행과 관련된 부분은 OBD 등을 통해 데이터를 취득할 수 있는 반면, 유압으로 구동되는 장비의 상태에 대해서는 움직임에 대한 측정이 어려운 것으로 알려져 있다. 

 

변위 센서 등과 같은 계측장치를 장비의 각 마디나 조종석의 장비 조작 레버에 장착해 장비의 움직임을 측정할 수 있지만, 계측 장치의 가격이 비싼 것은 물론 부피가 크고 부착 방식도 번거로워 실제 현장에서 작업하는 건설기계에 직접 부착하기에는 어려움이 뒤따르는 것으로 파악되고 있다. 

 

또한, 작업 현장에서 실제로 작업에 투입되는 건설기계들을 대상으로 특수하게 개조하는 것도 여의치 않다. 

 

이에 이 연구에서는 작업 특성 도출을 위한 장비 상태 측정을 위해 실제 작업 현장에서 구동되는 건설기계를 대상으로 비교적 간편하게 건설기계 장비의 작동 상태를 취득할 수 있는 ‘QR코드 궤적 추적 방법’을 선보였다. 

 

본문이미지

▲ (사진 왼쪽부터) QR코드를 이용한 레버 위치 검출 모습과 디블러링과 칼만 필터를 적용한 장비 레버 궤적 추출 모습    

 

연구내용

이 연구에서는 보다 간편하게 장비 조작 레버의 위치 변화를 측정하는 방안 도출을 위해 장비 레버에 QR코드를 부착하고, 이를 동영상으로 촬영한 후 QR코드가 인식되는 좌표의 움직임을 기록하는 방법을 고안했다. 

 

QR코드에는 장비 조작 레버의 명칭이 기록돼 있어 이를 지속적으로 추적할 경우 어느 레버가 어떤 움직임을 보이는지 파악할 수 있다. 

 

이 방법은 계측 장치를 부착하는 방법 대비 상대적으로 간편하고, 건설기계의 실내 상부에 카메라 장착만으로도 운영할 수 있어 조종사들이 큰 불편 없이 사용할 수 있고, 비용도 절감할 수 있는 것으로 알려져 있다. 

 

특히, 장비 조작 레버는 상하로 움직이기 때문에 1차원에서의 움직임인데 반해 동영상에서 추출되는 QR코드 위치의 궤적은 2차원으로 나타나는 점을 반영해 차원 축소 기법을 적용하고, 2차원으로 추출된 레버 궤적을 1차원으로 축소했다. 

 

이후 이 궤적을 시간 순서대로 나열해 장비 조작 레버 데이터를 추출했다.

 

또한, 흔들림과 폐색이 나타나는 건설기계의 특성을 반영해 해당 프레임에 대해 디블러링(Deblurring) 기법을 적용, 인식률을 높이는데 성공했다. 

 

디블러링은 흔들린 영상을 흔들리지 않은 모습으로 변환하는 것으로, 기존의 통계적 방식을 이용한 디블러링 방법에서는 영상의 흔들린 궤적을 분석하고, 이 궤적의 역방향으로 영상을 다시 조합, 흔들리지 않은 영상을 생성했다. 

 

이 방식은 비교적 정확하게 영상을 복원할 수 있는 반면, 영상 내에 서로 다른 방향으로 흔들린 객체들이 존재할 경우 이를 모두 복원할 수 없다는 한계가 있다. 

 

따라서 다수의 레버들이 존재하는 건설기계의 경우 레버들이 서로 다른 방향으로 흔들림을 가질 수 있기 때문에 최근 대두되고 있는 생성형 AI 방식을 적용했다. 

 

이후 보정된 영상들을 대상으로 다시 QR 코드 인식을 시도해 좌표를 알아낼 수 있지만, QR코드가 갖는 복잡성으로 인해 그 내용이 온전히 읽혀지지 않을 수 있다. 

 

이 경우 동영상에서의 인접한 프레임들은 서로 유사한 내용을 갖는다는 점을 이용, 현재 프레임에서 인식된 QR코드의 위치가 이전 프레임에서 인식된 위치와 특정 임계점 이하로 가까이 존재할 경우 이전 프레임에서 읽혀진 정보를 이용한다.

 

또한, 장비 조작 레버는 선형으로 움직인다는 점을 이용, 추출한 장비 조작 레버 데이터에 칼만 필터를 적용해 결측된 인식 지점들에 대해 레버 위치를 추정하고, 이상치를 보정한 후 최종적으로 장비 조작 레버 데이터를 추출했다. 

 

 

인 / 터 / 뷰

 

디블러링 기법 적용 ‘영상 프레임 흔들림’ 보정

 

본문이미지

건설기계부품연구원 박근영 선임연구원은 “이 연구는 건설기계의 평가 모드 도출을 위해 QR코드를 활용한 장비 데이터 취득 방법 개발 연구”라고 소개했다. 

 

건설기계는 진동이 심하고 실내외를 오가는 특성으로 인해 영상의 흔들림이 많이 발생하고 명암 차이가 시시각각 바뀌는 등 QR코드 인식에 어려움이 많은 환경이다. 

 

실제로 조명에 의한 폐색을 비롯해 지저분한 배경, 진동에 의한 왜곡 등의 현상이 쉽게 발생하고, 심지어 조작 레버에도 많은 유격이 발생하는 것으로 알려져 있다. 

 

연구진은 이 같은 문제 해결을 위해 딥러닝을 이용한 디블러링 기법을 적용해 영상 프레임의 흔들림을 보정했다.

 

이어 “하지만, 디블러링 기법을 적용해 QR코드의 위치를 식별해도 QR코드가 담고 있는 내용까지는 식별에 어려움이 발생할 수 있는 만큼 동영상 프레임 간 상관관계를 이용해 이전 프레임에서의 식별 정보를 이용하는 방법을 추가로 적용했다”고 설명했다. 

 

연구성과 하나의 소프트웨어로 ‘패키징’ 조만간 데이터 확보 나설 터

 

연구진은 그동안 추진했던 연구 과정들을 하나의 소프트웨어로 패키징하고, 조만간 실제 건설기계의 장비 데이터 추출을 위한 적용에 나설 예정이다. 

 

박 박사는 “이번 연구성과를 이용해 순수 유압으로 작동되는 장비의 작동 데이터를 비교적 쉬운 방법으로 확보할 수 있는 만큼 향후 작업 데이터를 충분히 확보할 수 있도록 굴착기 등과 같은 건설기계에 장착할 예정”이라고 밝혔다. 

 

이어 “이후 확보한 데이터들을 이용해 작업 특성을 도출하고, 나아가 평가 모드 수립에도 활용할 계획”이라고 말했다. 

 

한편, 박 박사는 “최근 건설기계에 AI를 적용하는 연구들이 매우 활발히 이뤄지고 있지만,  건설기계를 처음부터 새롭게 설계·제작하지 않는 한 기존의 건설기계를 대상으로 다양하게 개조하는 방식이 주를 이룰 것”이라고 전망했다. 

 

이어 “따라서 비교적 낮은 비용과 저성능의 컴퓨팅 파워만으로도 유사한 성능을 낼 수 있는 기술 개발 연구에 나설 예정”이라고 밝혔다. 

 

이번 QR코드를 이용한 장비 데이터 취득 연구도 같은 측면에서 수행한 만큼 그는 첨단 기술 적용 시 비용이 문제가 되지 않는 환경을 만들어 나가겠다는 포부도 안고 있다. 

 

끝으로 박 박사는 “그동안 수학, 물리학, 심지어 의학에서까지 힌트를 얻어 문제를 해결했던 경험에 비춰볼 때 다양한 학문 간 융·복합 연구가 중요하다”며, “이번 연구도 그동안 배우고 익혔던 지식과 경험을 건설기계 분야에 이롭게 적용할 수 있어 뿌듯하다”고 덧붙였다. 

트위터 페이스북 카카오톡
무단전재 및 재배포 금지. ⓒ 건설기술신문
  • 도배방지 이미지

광고
광고
광고
광고
광고
광고
광고
광고