기사 메일전송
서울공대 전기정보공학부 오성회 교수팀, 로봇 스스로 테이블 정리하는 AI 기술 개발
  • 김미경 기자
  • 등록 2025-09-15 11:49:46

기사수정
  • 세계적 권위의 로봇 분야 학술지 ‘IEEE RA-L’ 논문 게재
  • RGB-D 카메라 한 대로 물체 식별하는 정리정돈 AI 알고리즘 제시
  • 시뮬레이션·실제 실험에서 성능 입증해 로봇 제어 분야 상용화 기대돼

서울대학교 공과대학은 전기정보공학부 오성회 교수 연구팀이 로봇 스스로 테이블 위 물체들을 식별하고 효율적으로 정돈하는 인공지능(AI) 기술을 개발했다고 밝혔다.

 

왼쪽부터 서울대학교 전기정보공학부 오성회 교수, POSTECH 전자전기공학과 안혜민 교수, 서울대학교 전기정보공학부 기호건 연구원, 오우석 연구원, 강민재 연구원

연구진은 RGB-D 카메라 한 대만으로 물체를 분별하고, 정리정돈 점수(Tidiness Score)에 기반한 최적의 로봇 행동 시퀀스를 찾아 자동으로 정돈하는 알고리즘인 ‘TSMCTS(Tidiness Score-Guided Monte Carlo Tree Search)’를 제안함으로써 기존 연구의 한계를 극복한 새로운 방식의 테이블 정리정돈 AI 기술을 선보였다.

 

이번 연구 결과는 미국 전기전자학회(IEEE) 산하 로봇·자동화 학회(RAS)가 발간하는 국제 학술지 ‘IEEE Robotics and Automation Letters (RA-L)’(IF=5.3)에 지난 8월 11일 게재됐다. IEEE RA-L은 SCIE(SCI-Expanded) 등재 저널로, 세계적 권위의 로봇 분야 학술지 중 하나로 꼽힌다.

 

이미 우리 생활 곳곳에서 AI 상용화가 이뤄지고 있지만, 아직 AI 기반 테이블 정돈 기술은 가정이나 사무실에서 실제로 쓰이지 못하고 있다. 여러 제약으로 인해 관련 연구의 발전이 더뎠기 때문인데, 그 중요한 이유 중 하나가 정돈의 객관적 평가 기준으로 활용할 표준 벤치마크가 없다는 점이다. 기존 연구들이 공유하는 평가 기준의 부재가 각 방법론 간의 객관적 비교를 어렵게 만든 결과, 해당 기술 연구의 발전이 지체된 것이다.

 

또한 이전에 많이 연구됐던 ‘목표 이미지’ 기반 정돈 기술은 로봇이 물건을 공간과 상황에 따라 어떻게 놓아야 하는가에 집중하기보다는, 사전에 목표로 주어진 이미지에 맞춰 물건을 배치하는 데 중점을 뒀다. 그래서 로봇에게 언제 어디서건 ‘알아서 깨끗이 치우는’ 능력을 학습시키기에는 역부족이었다. 서비스 로봇이 실제 가정·사무 환경에서 보편화되려면 사용자가 별도의 명령이나 가이드라인을 주지 않더라도 자율적으로 물건을 정돈할 능력이 필수적이므로, 기존 기술의 한계를 돌파할 연구가 필요한 실정이었다.

 

사람마다 물건 정리 방식이 다르고, 정돈됐다고 판단하는 기준도 다르기에 AI에게 정리정돈은 학습이 어려운 주관적 개념이다. 그러나 ‘깔끔하다’라는 개념을 AI가 학습할 수 있다면, 스스로 알아서 정돈하는 AI 기술 개발도 가능하리라는 오성회 교수팀의 아이디어에서 이번 연구가 출발했다.

 

연구팀은 먼저 로봇이 ‘깔끔함’을 이해할 수 있도록, 이미지만 본 후 해당 장면의 정돈 정도를 점수화하는 모델 ‘정리정돈 점수 판별기(Tidiness Discriminator)’를 학습시키기로 했다. 이를 위해 카페 테이블, 사무실 책상, 식탁, 욕실 공간 등 4곳의 환경과 170종 물체를 활용해 구축한 22만4225장의 장면 데이터, 즉 ‘책상 정리정돈 데이터셋(Tabletop Tidying Up Dataset, TTU 데이터셋)’을 만들었다. 이 데이터셋으로 점수 판별기를 학습한 로봇은 목표 이미지 없이도 책상의 정돈 상태를 수치로 평가할 수 있게 됐다.

 

다음 순서로 연구진은 오프라인 강화학습(Offline Reinforcement Learning)과 몬테카를로 트리 탐색(MCTS)을 결합시켜 다양한 정리정돈 전략을 탐색하고 실행하는 ‘MCTS 기반 계획기(Monte Carlo Tree Search Planner)’를 개발했다. 그리고 이에 기반해 로봇이 스스로 효율적인 정리 계획을 세워 실행할 수 있는 ‘TSMCTS(Tidiness Score-Guided Monte Carlo Tree Search)’ 알고리즘을 완성하는 성과를 거뒀다.

 

연구진은 시뮬레이션상에서 실제 환경과 동일하게 TSMCTS 알고리즘이 탑재된 로봇을 구현해 정리정돈 실험을 진행한 결과, 5곳 환경에서의 총 750개 시나리오에서 평균 성공률 88.5%, 평균 Tidiness Score 0.901점을 달성했다. 또한 카페 테이블, 사무실 책상, 식탁, 욕실 공간 등 4곳의 환경에서 진행한 실제 로봇 실험에서는 총 20개 시나리오에서 평균 성공률 85%, 평균 Tidiness Score 0.897을 기록해 상용화가 가능할 수준의 우수한 성능이 입증됐다.

 

그리고 17명의 사람이 참여한 블라인드 테스트에서 여러 알고리즘의 성능을 비교 평가한 결과, TSMCTS는 사람의 역량에 가장 근접한 정리정돈 능력을 보였다. 이 테스트는 TSMCTS 알고리즘이 탑재된 로봇으로 정돈한 결과와 여러 비교 알고리즘으로 정돈한 결과를 사람들에게 보여준 후, 참여자들로 하여금 만족할 때까지 직접 책상을 더 정돈하도록 했을 때, 각 결과에서 물건들을 얼마나 많이 옮겼는지를 측정한 실험이다. 그 결과, TSMCTS 알고리즘으로 정돈된 결과에서 가장 짧은 이동 거리(57cm), 가장 적은 조작 횟수(103회)를 기록하는 등 참여자들이 가장 적게 움직인 것으로 나타났다.

 

이번 연구에서 개발된 기술은 인간의 지시가 없어도 로봇 스스로 정리정돈을 수행할 수 있는 강점 덕분에 가정용 청소 로봇과 호텔 룸서비스 로봇 개발에 즉시 적용될 수 있다. 또한 물류·제조 현장 자동화에서 응용될 경우, 다양한 크기의 부품·제품을 깔끔하게 배열해야 하는 키팅(kitting)·패킹 라인에서 작업 준비 시간을 단축하고 품질 편차를 줄일 것으로 기대된다.

 

또한 연구팀이 이번 연구를 통해 공개한 대규모 정리정돈 데이터셋은 객체 재배열·제어·멀티모달 인지 연구의 표준 벤치마크로 활용될 잠재력이 크다. 따라서 향후 진행될 후속 연구의 기반이 될 수 있을 뿐 아니라 데이터 및 알고리즘 생태계 확장에 기여할 전망이다.

 

연구를 지도한 오성회 교수는 “로봇 스스로 정리정돈하는 AI 기술은 앞으로 서비스·가정용 로봇, 카페·레스토랑 자동화, 물류·생산 라인 등 다양한 분야에서 응용될 수 있을 것”이라며 “향후 대형 언어모델(LLM)과 결합해 물체의 기능·맥락까지 이해하는 정리정돈 기술로 발전시킬 계획”이라고 밝혔다.

 

이번 논문의 제1저자인 기호건 연구원은 서울대학교 전기정보공학부에서 석박통합 박사과정을 밟고 있으며, 로봇 파운데이션 모델 학습 및 휴머노이드 제어 관련 연구를 이어가고 있다. 졸업 후 국내외 연구소 또는 기업에서 AI·로보틱스 분야의 연구 개발자로 근무할 예정이다.

 

한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 ‘(SW스타랩) 로봇학습: 효율적이고 안전한, 사회 친화적 기계학습 과제’와 ‘복합지능 자율행동체 SW 핵심기술 개발 사업’의 일환으로 수행된 ‘자율행동체의 복합작업 자율 수행을 위한 임무 수행 절차 생성 기술 개발’ 과제를 통해 이뤄졌다.

 

0
  • 목록 바로가기
  • 인쇄


서초구
국민신문고
많이 본 뉴스더보기
  1. 계양구, 수능 수험생 특별수송지원 교통대책상황반 운영 인천광역시 계양구(구청장 박형우)는 오는 11월 19일 실시되는 2027학년도 대학수학능력시험을 앞두고 수험생의 원활한 이동과 교통편의를 위해 특별교통대책을 수립하고 교통대책상황반을 운영한다고 밝혔다.올해 계양구에서는 수험생 3,537명이 계산고 등 관내 8개 고등학교 시험장에서 시험을 치른다.구는 수험생들이 차분한 분위기에서 ..
  2. 남동구, 일자리위원회 개최…일자리 정책 성과 점검하고 미래 고용전략 구체화 인천 남동구(구청장 이병래)는 16일 `2026년 남동구 일자리위원회`를 열고 올해 추진한 일자리 정책의 주요 성과를 점검하는 한편, 민선9기 지역 일자리 정책의 발전 방향을 논의했다.남동구 일자리위원회는 지역 일자리 정책의 기본방향을 설정하고 일자리 창출을 위한 자문과 발전방안을 제안하는 기구로, 다양한 분야의 전문가들이 참여하.
  3. 코이카, 기업 지원 `IMPACT TOGETHER 2026` 개최 개발도상국 현장에서 쌓은 기술과 경험을 국내 공공사업과 해외시장 진출로 연결하기 위해 기업과 공공기관이 한자리에 모였다.코이카(KOICA·한국국제협력단)는 16일(월) 오후 서울 강남구 한국과학기술회관(ST Center)에서 `KOICA IMPACT TOGETHER 2026`을 개최했다.`기업의 성과와 현지의 변화를 잇는 파트너십`을 주제로 열린 이번 행사는 코이카...
  4. 하나은행, JYP엔터테인먼트와 손잡고 `JYP EDM 나눔 적금` 출시 하나은행(은행장 이호성)은 JYP엔터테인먼트(이하 `JYP`)와 함께 금융과 K-POP 팬덤 문화의 선한 영향력을 연계한 금융상품 `JYP EDM 나눔 적금`을 17일 출시했다고 밝혔다.이번 상품은 `세상의 모든 꿈은 소중하다(Every Dream Matters!)`는 의미를 담은 JYP의 사회공헌활동 `EDM`과 연계해, 손님이 적금 가입과 저축을 통해 자산을 형성하는 것은 물론, 나눔...
  5. 인천시교육청, 제1형 당뇨병 학생 `푸름이 캠프` 개최 인천광역시교육청(교육감 도성훈)은 14일 인하대학교 60주년기념관에서 인하대학교병원, 인하대학교와 함께 학생과 학부모를 대상으로 `2026년 제1형 당뇨병 학생 푸름이 캠프`를 개최했다.올해로 2회째를 맞은 이번 행사는 `당당하게 꿈을 그려봐`를 주제로, 학생들이 스스로 건강을 관리하는 능력을 기르고 자신의 꿈과 미래를 긍정적으로 ..
  6. 옹진군 북도면, 11월 1차 클린업데이 대청소 실시 옹진군 북도면(면장 고수영)은 지난 16일 장봉리 석산터 해안가 일대에서 클린업데이 대청소를 실시했다고 밝혔다.이번 대대적인 환경정화 활동은 캠핑객들이 버리고 간 생활쓰레기와 해양쓰레기를 수거해 깨끗한 해안 환경을 조성하고자 추진됐다.이날 현장에는 면사무소 직원 및 지역 주민 30여 명이 참여했다. 참여자들은 석산터 해안가.
  7. 서울주택도시개발공사, 구룡마을 화재 피해지역 주변 환경정화 봉사 실시 서울주택도시개발공사(SH, 사장 황상하)는 16일 구룡마을 화재 피해지역 주변에서 추가 화재 확산 방지와 2차 안전사고 예방을 위한 환경정화 봉사활동을 실시했다고 밝혔다.이날 황상하 사장을 비롯한 SH 임직원 80여 명은 화재 피해지역 주변에 방치된 생활폐기물과 쓰레기를 수거하는 등 환경정비 활동을 펼쳤다.특히 추가 화재 발생 시 주.
모바일 버전 바로가기