연구진은 2024년 11월부터 1월까지 클로드에 올라온 대화 데이터 수백만 건을 분석했다. 예를 들어 사용자가 한국어 문서를 올리고 영어로 번역을 해 달라고 한 뒤 결과물을 보고 요약까지 해 달라고 요청했다면, 이 상호작용을 통째로 하나의 대화 데이터로 묶어서 성격에 맞게 분류한 것이다. 분류는 미국 노동부 산하 고용훈련청에서 개발한 직업 정보 데이터베이스 O*NET 체계를 활용했다⁵. O*NET은 직업들을 단지 직업군만 분류하는 데 그치지 않고, 경제 활동을 하는 데 필요한 기술과 지식, 능력들을 세부적으로 쪼개 만들어둔 데이터셋이다. 따라서 위 예시에서 사용자가 필요로 하는 ‘번역’과 ‘요약’은 O*NET 체계상 인지 능력(Cognitive Abilities), 그중에서도 언어능력(Verbal Abilities)으로 분류된다.

이러한 기술 분류를 바탕으로 연구진은 사용자와 AI의 상호작용을 ‘자동화 행동(Automate tasks)’과 ‘증강 행동(Augment tasks)’으로 나누어 분석했다. 자동화 행동은 인간 사용자의 개입은 최소화하면서 AI가 직접 과제를 수행하도록 하는 일이다. 아예 업무를 위임해서 일을 마치도록 ‘명령’하거나, 과제의 환경을 줘 가며 태스크를 마치도록 만드는 ‘피드백 루프’ 대화들이다. 예를 들면 프로그래밍할 때 “이게 내 코드인데 에러가 났네. 좀 고쳐줄래? (…) 다른 에러 메시지가 떴어. 다시 고쳐 봐.” 같은 대화가 자동화 행동에 들어간다.

증강 행동은 조금 차이가 있다. AI와 인간 사용자가 좀 더 협업을 하는 형태를 띤다. 함께 마케팅 전략을 짜 보자면서 대화를 주고받는 식의 ‘연속적 업무’ 대화나, 모르는 것을 이해시켜 달라고 묻는 ‘학습’ 행위, 인간 사용자가 만든 것에 대해 평가해달라고 묻는 ‘검증’ 작업 같은 것들이 여기에 들어간다. 예컨대 “강화학습에 대해 설명해 줄래?”라거나 “내가 지금 쓴 SQL 쿼리의 로직이 괜찮은지 한 번 봐 줘” 같은 대화 행동이 여기에 들어간다.

분석 결과, 전체 대화 중 57% 정도가 증강 행동에 해당됐다. 자동화 성격을 띤 경우는 43%였다. 세부적으로 볼 때 가장 많이 하는 상호작용은 함께 보고서를 써 내려가는 식의 ‘연속적인 업무’ 대화였고, 아예 “어떤 문서를 고쳐” 같이 ‘명령’하는 자동화 작용이 그 뒤를 이었다. 또한 무언가를 가르쳐 달라고 묻는 ‘학습’ 행위도 세 번째로 높은 비율을 차지했다. ‘검증’을 요하는 행동은 그리 많지 않았는데, 대부분이 외국어 표현에 대해 매끄러운지를 묻는 경우들이었다고 한다. 연구진은 “증강 행동과 자동화 행동이 섞여 있는 경우도 많았다”면서 “AI 도구는 사용자의 효용을 높이는 기능과 함께 협업 파트너로서의 기능까지 포괄해 향상시킬 필요가 있다”고 분석했다.

AI 대화 데이터를 직군별 평균 수입에 따라 분석한 결과, 저임금과 최고 임금으로 갈수록 AI 서비스의 사용이 줄어든다는 결과도 나왔다. 중상위 임금에서 AI 사용량이 가장 많았는데, 해당 연봉권에 있는 소프트웨어 직군이 이러한 서비스를 가장 많이 쓴 영향이 있는 것 같다고 연구진은 밝혔다. 실제 직업 분석을 진행했을 때도, AI 서비스를 쓰는 직업군으로는 컴퓨터/수학 직군이 가장 많았고 그 뒤를 예술/엔터테인먼트/미디어 직군, 생명과학과 사회과학, 그리고 교육/도서관 직군이었다.

금융이나 고위관리직으로 가면 AI 사용량이 줄어들었다. 아주 많은 시간의 훈련과 학습이 필요한 의사, 변호사와 같은 직군에서도 마찬가지로 사용이 적었다. 예상할 수 있는 것처럼 물리적인 움직임이 절대적인 활동들, 가령 농업, 임업, 서비스직, 돌봄과 같은 직군에서도 또한 AI의 사용이 더딘 것으로 나타났다. 임금을 많이 받을수록, 반대로 적게 받을수록 AI 사용이 줄어드는 경향이 있었다.

이번 연구는 앤트로픽의 자체 생성형 AI 서비스에서 추출한 데이터를 중심으로 분석했다. 월 8천700만 명 정도가 쓰는 서비스로 알려져 있기는 하지만 사용성 측면에서 편향이 있을 수 있다. 해당 서비스가 코딩을 잘하는 어시스턴트 툴로 알려져 있고, 아직 이미지 분석 및 생성 서비스를 제공하지 않으며, 전문 데이터셋에 강화돼 있지 않아 전문가의 니즈도 충족하지 못한다는 점에서 연구의 한계도 있다. 또한 미국의 직무 기술 체계를 따르다 보니 전 세계 모든 곳의 직무와 맞아떨어지지 않을 수도 있다.

그럼에도 불구하고 모든 직업이 AI에 의해 대체될 것이라는 공포심과 AI 기술에 대한 과도한 기대감으로 시장의 거품이 두껍게 쌓였다는 우려들이 막연하게 퍼져있는 상황에서, 실증 데이터를 중심으로 직군별 사용 분포를 확인했다는 점에서 이 연구의 의미가 있다. 특히 직군과 직무, 그리고 그에 필요한 기술이 연결돼 있는 체계 안에서, AI가 잘 해낼 수 있고 혹은 앞으로 잘 해내야 할 지점이 무엇인지를 짚어냈다는 점에서 기술 발전의 내일을 점쳐볼 수 있다. 인간이 AI 기술의 도움을 받아 스스로를 강화할 수 있는 지점에 대해서도 시사점을 얻을 수 있을 것 같다.