코딩테스트의 종말, 그 다음

1. 시작점: 기술이 아닌 사람의 문제

얼마 전 아내에게 Cursor와 Claude Code 같은 AI 코딩 도구를 가르쳐주면서 큰 깨달음을 얻은 적이 있다. 개발 지식이 없는 사람들은 AI 도구가 아무리 비약적으로 발전해도 여전히 그 사용을 어려워한다는 사실이었다.

가만히 지켜보니 그 어려움의 본질은 기술 그 자체에 있지 않았다. "내가 무엇을 원하는지 명확하게 생각하고, 그것을 구체적인 언어로 표현하며, 결과를 보고 다시 생각해서 포기하지 않고 끝까지 해내는 능력." 결국 이 힘이 부족했던 것이다. AI 도구는 이미 우리가 상상하는 것 이상으로 똑똑하다. 문제는 도구의 성능이 아니라, 그것을 쥐고 있는 사람의 역량이었다.

올해 다보스포럼에서 투즈 교수가 던진 화두도 정확히 이 지점을 관통한다. 명문대 출신조차 성공하지 못하는 이유에 대해 그는 텍스트에 오랫동안 진지하게 몰입할 수 있는 '지속적 집중력'의 부재를 꼽았다. 읽고, 생각하고, 문제를 끈질기게 해결하는 이 과정은 결코 타고나는 것이 아니라 훈련으로 개발되는 영역이다.

이를 AI 시대의 언어로 번역해 보면 명확해진다. AI가 준 답을 의심 없이 그대로 믿는 사람과 논리적 허점을 집요하게 파고드는 사람, 첫 번째 결과에 적당히 만족하는 사람과 세 번의 반복(Iteration)을 거쳐 기어코 95점짜리 결과물을 만들어내는 사람. 그 격차가 바로 지속적 집중력의 차이이며, 그것이 곧 'AI 활용능력'의 본질이다.

2. 세계가 바뀌고 있다: 코딩테스트의 종말

세상은 이미 우리가 체감하는 것보다 훨씬 빠르게 변하고 있다. 엔비디아의 젠슨 황은 "이제 아무도 프로그래밍을 할 필요가 없는 세상을 만들고 있다"고 선언했고, 안드레지 카파시는 "가장 뜨거운 새로운 프로그래밍 언어는 영어"라고 단언했다. 쇼피파이 CEO 토비 뤼트케의 말처럼 이제 실무에서 AI 사용은 돋보이는 특기가 아니라 '기본 기대치'가 되었다. 오히려 AI 없이도 이 일을 할 수 있는지 먼저 증명해야 하는 시대가 온 것이다.

나는 스탠포드 제레미 우틀리 교수의 통찰을 참 좋아한다. 그는 AI를 가장 잘 사용하는 사람들은 코더가 아니라 '코치'들이라고 말한다. AI는 열정적이고 의욕 넘치며 능력도 뛰어나지만, 반박에는 서투른 인턴과 같기 때문이다.

결론은 명확하다. 전통적인 알고리즘 위주의 코딩테스트 시대는 저물고 있다. 하지만 사회와 기업은 여전히 실력 있는 인재를 검증하고 그들의 잠재력을 끌어올릴 새로운 기준을 필요로 한다. 기존의 잣대가 사라진 이 거대한 공백, 우리가 이 플랫폼을 만드는 이유이다.

3. 우리의 답: fluentdot

우리의 답은 간결하다. fluentdot은 한 마디로 'AI 시대의 코딩테스트를 위한 AI 활용능력 평가 플랫폼'이다.

코딩테스트가 개발자의 논리력과 기본기를 검증했다면, fluentdot은 누구나 일상과 업무에서 AI를 주도적으로 다루는 기본기를 검증한다. 응시자는 철저히 AI 사용이 전제된 실전 문제를 풀며, 이 과정에서 프롬프트는 곧 사고력이자 실력이 된다. 제출된 결과와 과정은 'Gabriel'이라는 AI 채점관이 루브릭을 기반으로 자동 채점하며, 유저의 역량은 4개의 축으로 정교하게 수치화된다. 유저는 매일 자신의 스킬 변화를 추적하며 성장할 수 있다.

우리가 상상하는 이 경험은 현재 fluentdot.com 이라는 도메인 위에서 실제로 구현되고 있다.

4. 4축 평가 체계: 과학적이고 체계적인 검증

평가의 기준이 모호하거나 주관적이어서는 안 된다. 우리는 Ng(2021), Long(2020), Carolus(2023) 등의 AI 리터러시 초기 연구부터 2024~2026년 사이 발행된 18편의 최신 논문을 꼼꼼히 검토해 4축 평가 체계를 설계했다.

지시 Instruct — 명확한 프롬프팅 전략을 세우고, 맥락과 제약 조건을 명시해 AI로부터 정확한 결과를 1차적으로 뽑아내는 능력이다.
검증 Verify — 팩트체크를 수행하고, 할루시네이션이나 논리적 비약을 찾아내는 날카로운 비판적 사고 능력을 평가한다.
활용 Apply — 복합적인 실무 과제를 논리적으로 분해하고, 여러 도구를 조합해 멀티턴 전략으로 결과를 통합해 내는 종합 문제 해결 역량이다.
판단 Judge — 윤리적 문제와 보안 리스크를 정확히 인식하고, AI를 언제 어떻게 쓸지 결정하는 거시적인 의사결정 능력이다.

이 4축은 이론에 머물지 않는다. fluentdot에서는 각 축이 고유한 색상과 아이덴티티를 갖는다. 지시는 파란색, 검증은 빨간색, 활용은 보라색, 판단은 호박색. 유저가 문제를 풀 때마다 해당 축의 점수가 실시간으로 갱신되고, 프로필의 레이더 차트 위에 자신만의 역량 지형이 그려진다. 어떤 사람은 지시에 강하고 검증에 약하며, 또 다른 사람은 판단 축에서 두드러진다. 이 비대칭이야말로 우리가 포착하고 싶은 것이다. 단일 점수가 아니라, 역량의 형태 그 자체.

현재 플랫폼에는 지시 3문제, 검증 3문제, 활용 2문제, 판단 2문제 — 총 10개의 퀘스트가 등록되어 있다. '조건 폭탄 이메일'에서는 복잡한 조건을 정확히 지시하는 프롬프트 설계를, '할루시네이션 보고서'에서는 AI가 만들어낸 거짓을 찾아내는 검증 역량을, '정산을 하자!'에서는 실제 카카오톡 대화와 영수증 데이터를 AI로 종합 처리하는 활용 역량을, 'AI 사용 O/X'에서는 상황별 AI 사용의 적절성을 판단하는 의사결정 능력을 평가한다. 각 문제는 난이도(Easy, Medium, Hard)에 따라 100~500 XP를 부여하며, 이 경험치가 누적되어 일별 성장 곡선을 만든다.

5. 문제 설계 철학: 기술의 평등과 깊은 사유의 복원

이 플랫폼의 성패는 오직 '문제의 질'에 달려 있다. 우리가 만드는 문제는 누군가를 맹목적으로 줄 세우기 위한 도구가 아니다. 우리의 문제 설계는 세상에 긍정적인 가치를 더하는 5가지 원칙을 엄격하게 따른다.

모두를 위한 AI (AI for All): 우리는 AI 사용을 금지하지 않고 적극 장려한다. 기술은 소수 전문가의 전유물이 아니라 모두의 무기여야 한다. 누구나 AI를 도구 삼아 자신의 한계를 넘어서는 방법을 평가한다.
깊은 사고의 복원 ('딸깍' 불가): 문제 전체를 복사해서 AI에 붙여넣었을 때 한 방에 정답이 나오면 그건 실패한 문제다. AI가 답을 주는 시대일수록 인간의 고유한 사유가 더 중요하다. 깊이 고민하고 탐구해야만 풀리는 문제를 통해 인간 지성의 가치를 지킨다.
과정의 가치 증명 (프롬프트 중심): 최종 결과물만 보는 성과주의에서 벗어난다. 같은 결과라도 더 효율적이고 구조적인 프롬프트를 쓴 사람이 높은 점수를 받는다. 문제를 어떻게 구조화하고 해결해 나가는지 그 치열한 '과정' 자체를 존중한다.
편견 없는 공정한 기회 (자동 채점): OpenAI의 Gabriel 프레임워크를 활용한 AI 채점관이 루브릭에 따라 흔들림 없는 정량 평가를 수행한다. 배경, 학벌, 환경에 구애받지 않고 오직 AI와 소통하며 문제를 해결하는 순수한 역량만을 편견 없이 평가한다.
성장을 위한 이정표 (확실한 변별력): 대충 던진 첫 답(50점)과 치열한 검증을 거친 답(95점)은 명확히 구분되어야 한다. 이는 누군가를 떨어뜨리기 위함이 아니라, 현재 자신의 위치를 파악하고 앞으로 어떤 역량을 더 키워나가야 할지 알려주는 성장의 길잡이가 되기 위함이다.

이 원칙이 코드 위에서 실현되는 방식은 구체적이다. 유저가 문제 워크스페이스에 들어서면 왼쪽에는 시나리오와 자료, 오른쪽에는 제출 폼이 분할 패널로 펼쳐진다. 타이머가 돌아가는 가운데 유저는 자신이 선택한 AI 도구(GPT, Claude, Gemini 등)로 문제를 풀고, 프롬프트와 결과물을 함께 제출한다. Gabriel은 제출물을 루브릭의 각 기준에 대해 독립적으로 채점하고, 100점 만점의 점수와 함께 어떤 기준에서 감점이 되었는지 피드백을 돌려준다. 이 피드백이 학습의 핵심이다. 단순한 맞다/틀리다가 아니라, '왜 이 점수인지'를 구체적으로 알려주기 때문이다.

6. 현재 상태: 여기까지 왔다

해커톤은 짧지만, 우리는 이미 단단한 토대를 만들어 두었다. 기술적으로는 Next.js 16, React 19, TypeScript 5, Tailwind CSS v4 기반으로 프론트를 구축했고, Supabase(인증 및 DB)와 Vercel 인프라 위에서 안정적으로 돌아가고 있다.

이미 랜딩페이지부터 시작해 카드 그리드와 필터가 적용된 퀘스트 탐색, 스플릿 패널과 타이머가 적용된 문제 풀이 워크스페이스 구축을 완료했다. Gabriel 연동 채점 시스템, 레이더 차트가 포함된 프로필, 일별 스킬 변화를 보여주는 데일리 리포트, 커뮤니티 기능, 그리고 온보딩 및 OAuth 로그인까지 핵심 기능이 모두 연결되어 있다. 퀘스트 썸네일 10개는 Gemini의 Nano Banana 모델을 활용해 카테고리에 맞춰 일관되게 생성해 두었다.

현재 등록된 문제는 총 10개(지시 3, 검증 3, 활용 2, 판단 2)이며, 지금 이 순간에도 문제의 퀄리티를 계속해서 다듬고 업그레이드하는 중이다.

7. 비즈니스 방향: 잠재력 중심의 새로운 표준

우리의 1차적인 목표는 B2B 채용 시장의 패러다임을 바꾸는 것이다. 기존의 학벌이나 전통적인 스펙이 아니라, '변화하는 기술을 얼마나 잘 수용하고 활용하는가'라는 진정한 잠재력 중심의 채용 문화를 정착시키려 한다. 기업이 후보자의 AI 활용 능력을 4축으로 깊이 있게 이해하고, 가장 적합한 인재를 편견 없이 발견하여 건강한 조직을 구축하도록 돕는다.

나아가 B2C 시장에서는 누구나 자신의 AI 역량을 증명하고 성장할 수 있는 글로벌 표준 지표가 되고자 한다. 단순히 수익을 창출하는 자격증이 아니라, 급변하는 AI 시대에 사람들이 기술 소외감을 느끼지 않고 자신감을 가질 수 있도록 돕는 일종의 '디지털 교육 인프라'로 기능하는 것이 목표이다.

궁극적으로 fluentdot은 인간과 AI가 가장 이상적으로 협력하는 방법을 제시하고, 기술의 발전이 소수가 아닌 모두의 기회로 이어지는 세상을 만들어가는 데 기여할 것이다.