[AI 로보틱스 필드노트 (2)] 강화학습은 로봇에서 어떤 역할을 맡아야 할까?

알파고 이후 강화학습은 무엇이든 배울 수 있는 알고리즘처럼 보였습니다. 시도하고, 평가받고, 더 나은 답을 찾는 과정을 무한히 반복하면 어떤 작업이든 익힐 수 있다는 그림이었습니다.

로봇에 적용해 본 결과는 달랐습니다. 학습에 시간이 너무 오래 걸리고, 학습 과정이 자주 불안정하게 무너지며, 한 작업에서 통한 학습 레시피가 다른 작업으로 옮겨지지 않았습니다. 논문은 "우리처럼 하면 된다"고 말하지만, 고도로 특화된 설정에서 출발하기 때문에 그대로 재현되는 경우가 드뭅니다.

그래서 저희는 강화학습의 역할을 다시 정했습니다. 정책을 처음부터 만들어 내는 주연이 아니라, 이미 만들어진 정책을 현장에 맞게 다듬는 교정기입니다.

1. 강화학습은 시행착오로 배웁니다

강화학습을 한마디로 줄이면 시행착오입니다. 어떤 행동을 시도해 보고, 그 결과를 평가받고, 이를 반복해 더 나은 행동을 찾아갑니다. 로봇이 상태를 관측하고, 행동하고, 보상을 받는 순환 구조입니다.

여기서 자주 오해되는 지점이 하나 있습니다. 보상은 환경이 주는 것이 아닙니다. 현실의 환경은 점수를 매겨 주지 않기 때문에, 보상 신호는 결국 사람이 설계합니다. 일관된 기준으로 점수를 줄 수 있다면 알고리즘이든 사람의 관찰이든 보상이 될 수 있고, 이 설계의 품질이 학습 결과를 좌우합니다.

보상 설계가 어긋나면 로봇은 목표를 달성하는 대신 점수만 챙기는 행동을 반복합니다. 보상을 만든 사람의 의도가 아니라 보상 그 자체를 최적화하기 때문입니다.

2. 현장은 강화학습의 전제를 지켜주지 않습니다

강화학습 이론은 세 가지 전제 위에 서 있습니다. 현재 상태만 알면 미래를 예측할 수 있고, 로봇이 환경의 진짜 상태를 전부 관측할 수 있으며, 환경의 규칙이 시간이 지나도 변하지 않는다는 것입니다.

공장은 세 가지 중 어느 것도 보장해 주지 않습니다. 카메라와 센서는 환경의 일부만 봅니다. 조명이 바뀌고, 치공구가 마모되고, 자재 로트가 달라집니다. 더 곤란한 것은, 정책을 학습시키는 수학이 이 사실을 모른다는 점입니다. 학습된 정책은 자기가 보는 세상이 전부이고 규칙이 변하지 않는다고 가정한 채 동작합니다.

그래서 이 간극은 알고리즘이 아니라 아키텍처와 데이터로 메워야 합니다. 부족한 관측은 힘·토크 센서, 촉각 센서, 뎁스 카메라 같은 모달리티를 더해 보완하고, 변하는 환경은 그 변화가 담긴 데이터로 가르치는 수밖에 없습니다.

3. 그래서 처음부터 배우게 하지 않습니다

맨땅에서 시행착오로 배우게 하는 방식은 현장에서 성립하기 어렵습니다. 시간이 오래 걸리고, 그 시행착오를 실제 라인에서 감당할 수 없기 때문입니다.

저희가 취하는 구조는 정책을 두 층으로 나누는 것입니다. 아래층의 베이스 정책은 이동, 파지, 릴리스 같은 큰 동작을 담당합니다. 시연 데이터로 만들어지는, 행동의 뼈대에 해당하는 층입니다. 위층의 잔차(residual) 정책은 베이스가 해내지 못하는 작고 정교하며 도메인에 특화된 동작을 담당합니다.

강화학습이 들어가는 자리는 위층입니다. 큰 동작은 이미 학습되어 있으니, 강화학습은 그 위에서 마지막 몇 밀리미터와 몇 뉴턴을 다듬습니다. 탐색해야 할 공간이 좁아지는 만큼 학습 시간과 불안정성 문제가 함께 줄어듭니다.

4. 저희는 이렇게 쓰고 있습니다

이 관점에서 저희 AI Robotics 그룹이 실험한 방향 두 가지를 소개합니다.

하나는 사전학습된 정책을 강화학습으로 미세조정하는 방식입니다. 시연 데이터로 학습된 플로우 기반 정책에 학습 가능한 노이즈를 주입해, 탐색할 가치가 있는 행동 공간을 정책 스스로 찾게 합니다. 무작위로 헤매는 탐색이 아니라, 이미 할 줄 아는 동작 주변에서 더 나은 답을 찾는 탐색입니다.

다른 하나는 정책 본체를 건드리지 않는 방식입니다. 모델 중간의 내부 표현에 최적화된 변환만 얹어 출력 동작을 조정합니다. 본체를 다시 학습시키지 않아도 되기 때문에, 이미 검증된 정책을 보존한 채 성능을 끌어올릴 수 있습니다.

두 방향 모두에서 확인한 한계도 있습니다. 조정된 정책은 학습 조건 근처에서는 성능이 좋아지지만, 대상물의 위치가 크게 바뀌는 것처럼 조건이 달라지면 그 성능이 유지되지 않았습니다. 교정기는 정책을 다듬을 뿐, 일반화는 결국 베이스 정책과 데이터의 몫이라는 사실을 다시 확인한 셈입니다.

정리

저희가 밀고 있는 방향은 "가능한 한 적은 시연으로, 가능한 한 빠르게 현장에 적응하는 학습"입니다. 그 안에서 강화학습의 자리는 분명합니다.

• 강화학습은 정책을 처음부터 만드는 주연이 아니라, 만들어진 정책을 현장에 맞추는 교정기입니다.

• 맨땅 탐색 대신, 좋은 베이스 정책에서 출발해 더 좋게 만드는 방식을 취합니다.

• 이론의 전제와 현장의 간극은 알고리즘이 아니라 센서 모달리티와 데이터로 메웁니다.

• 다음 과제는 알고리즘이 아니라 데이터입니다. 작업을 하위 작업으로 쪼개 단계적으로 모으는 커리큘럼 데이터셋과, 온라인 학습 없이도 시연보다 나은 베이스 정책을 얻는 방법을 살펴보고 있습니다.