서론: AI 시대, ‘조수’는 얼마나 믿을 수 있을까?
인공지능(AI)은 사람들의 일상 생활의 풍경을 혁신적으로 바꾸고 있다. 아이디어 구상, 초안 작성, 데이터 분석, 코드 생성 등 일상의 강력한 조수 역할뿐 아니라 의사 결정자의 역할 까지도 해내고 있다. 하지만 AI가 제공하는 정보나 제안을 100% 신뢰할 수 있을까? 본 필자의 의견은 절대 그렇지 않다. 되겠다.
본 필자는 최근, 서로 다른 의견을 제시하는 Gemini와 ChatGPT간의 의견 조율 과정을 거치며, AI 모델 간 초기 의견이 다를 수 있으며, 사용자의 적극적인 개입과 교차 검증을 통해 더 나은 결론에 도달할 수 있음을 경험했다.
‘절차 설명 문서의 SEO/AEO 최적 HTML 태그 사용법’이라는 주제에 대해 두 AI가 합의점을 찾아내는 과정을 진행하며 느낀, AI 시대에 왜 사용자 지식에 기반한 비교 검증이 필수적인지, 그리고 어떻게 AI를 더 현명하게 활용할 수 있는에 대한 생각을 나눠보고자 한다.
사례 연구: SEO/AEO 최적 HTML 태그, AI들의 첫 대답은 달랐다!
문제의 발단은 ‘방법(How-To)’이나 ‘절차’를 설명하는 HTML문서를 를 만들 때, 어떤 HTML 태그 구조가 검색 엔진 최적화(SEO)와 답변 엔진 최적화(AEO)에 가장 효과적인가 하는 질문을 ChatGPT에게 한 것이었다.
ChatGPT의 초기 입장: <section><h3>단계 제목</h3>...</section> 선호
각 단계를 독립적인 <section>으로 보고, 그 안에 헤딩과 내용을 구성하는 방식을 제안하며, <li> 내부에 직접 헤딩을 사용하는 것에 대해서는 시맨틱적 부적절성과 잠재적 혼란 가능성을 언급했다.
그럴듯 해 보이는 답변에, 본 필자는 문서를 작성하기 시작했다. 하지만 문서를 작성하는 도중, 뭔가 이상한 느낌이 들었다. 본 필자가 알고 있던 각 태그의 W3C 권고안과 약간의 차이가 느껴졌기 때문이다. 이에 같은 질문을 Gemini에게 던졌고, Gemini는 이런 답을 내 놓았다.
Gemini의 초기 입장: <ol><li><h3>단계 제목</h3>...</li></ol>의 강력한 지지
각 단계를 순서 있는 목록(<ol>)의 항목(<li>)으로 구성하고, 각 <li> 내에 해당 단계의 제목을 <h3>(또는 적절한 하위 헤딩)으로 명시하는 것이 시맨틱적으로 명확하며, HowTo 스키마 적용 및 접근성 향상에 유리하다.
시장 점유율 1위인 AI와 검색 엔진 1위인 회사의 AI가 서로 반대의 답을 주고 있었다.
사용자 주도 토론과 상호 검증의 힘: 합의점을 찾아서
서로 정 반대의 주장을 펼치는 두 AI를 보고, 그래도 같은 구글에서 나온 서비스라는 생각에 Gemini의 답변이 맞을 것이라 생각 했다. 하지만, 본 필자가 알고 있는 HTML 태그의 역할을 생각해 보면 ChatGPT의 답변 또한 오류가 있지는 않았다.
Gemini와 ChatGPT의 의견중 어느 것을 선택해야 할까 고민하던 필자는 한가지 생각을 떠올렸다.
지네들 끼리 싸움을 붙이고 결론 내리라고 하면 되잖아?필자는, 각 AI에게 주장하는 이유와 근거를 제시하라고 요청했고, 반대편 AI에게 반박하라 지시했다.
처음에는 각자의 주장을 절대 굽히지 않으며, 상대방의 말을 조목조목 따져가며 날을 세우던 Gemini와 ChatGPT는, 계속되는 의견교환(이라 썼으나 실상은 말싸움 수준)과, 그 과정에 더해지는 필자의 질문 및 의견들을 참조하기 시작하더니 각자의 말을 바꾸기 시작했다.
쌈박질의 끝: 지식을 넓혀가며 결론을 내리다
이러한 상호 검증 및 심층 토론 과정을 통해, 두 AI는 이 주제에 대해 콘텐츠의 맥락과 각 단계의 복잡성에 따라 최적의 구조가 달라진다는 합의에 이르렀다. (이 단계에서 서로 ‘의견에 강하게 동의한다’라는 표현을 썼다.) 그리고 다음과 같은 구체적인 가이드라인을 만들 수 있었다.
절차 목록 HTML 태그 사용 방법 결론
<ol><li><h3>단계 제목</h3>...</li></ol>구조가 최적인 경우:- 각 단계가 자체 제목을 가질 만큼 충분한 내용과 복잡성을 지닐 때 (여러 문단, 이미지, 코드 등).
- 각 단계가 실질적으로 독립된 하위 절차나 주요 구분점을 형성할 때.
- 명확한 단계별 AEO (
HowToStep의name매핑)가 중요할 때.
- 대안 1:
<ol><li><strong>단계 제목</strong> 내용...</li></ol>- 단계가 매우 간결하고, 시각적 강조는 필요하지만 구조적 헤딩까지는 불필요할 때.
- 대안 2: 각 단계를
<section><h3>단계 제목</h3>...</section>- 각 단계가 매우 방대하여 독립적인 ‘섹션’으로 간주될 수 있을 때. (단, 남용 주의)
- 대안 3:
<ol><li>내용...</li></ol>(단계 내 별도 제목 없음)- 각 단계가 매우 짧고, 제목 없이도 내용만으로 충분히 이해될 때.
필자가 얻은 것
이 주제에 대해 본 필자가 두 AI 중 하나의 초기 답변만을 듣고 적용했더라도 큰 문제는 없었을 것이다. 하지만 더 나은 방법을 사용하지 못해 발생하는 비효율을 (본 필자도 모르게) 감당해야 했을 것이다.
이 과정을 통해 상황에 따라 더 효율적인 방법이 있다라는 것을 알게 되었고, 더 나은 방법을 선택할 수 있게 되었다. 거기에 더해 두 AI의 토론 과정에서 사용된 방대한 양의 새로운 관련 지식을 습득할 수 있는 기회가 되었다.
두 AI의 합의안이 도출되기까지 본 필자는AI 간 의견 교환을 유도하고, 추가적인 의견과 방향성을 유지시켜주어야 했다. 사용자가 건들지 않으면, ‘저놈 말은 이런저런 이유로 헛소리에요’ 로 끝나 버린다.
AI 답변, 왜 사용자의 교차 검증이 필수적인가?
이 HTML 태그 논쟁 사례는 AI 활용에 있어 기억해야 할 몇 가지 교훈을 준다.
- AI는 만능이 아니다: AI는 학습된 데이터를 기반으로 가장 확률 높은 답변을 생성하지만, 항상 완벽하거나 유일한 정답을 제공하는 것은 아니다. 초기 제안이 특정 맥락에 부적합할 수도 있다.
- 다양한 AI, 다양한 관점: 서로 다른 AI 모델은 고유한 아키텍처, 학습 데이터셋, 미세 조정 과정을 거치므로, 같은 질문에도 다른 답변이나 접근 방식을 보일 수 있다. 이는 오히려 다양한 관점을 얻을 수 있는 기회가 될 수 있다.
- 맥락 이해의 한계: AI는 사용자가 명시적으로 제공하지 않은 미묘한 맥락이나 숨겨진 의도를 완벽히 파악하기 어려울 수 있다. 때문에 반복 검증을 통해 사용자의 의도를 재차 명확하게 AI에 전달시킬 필요가 있다.
- ‘그럴듯한’ 답변의 위험: AI는 그럴듯 해 보이는 말도 안되는 소리 (이른바 ‘환각 현상’)을 내 뱉기도 한다.
따라서 AI가 제공하는 정보는 ‘초안’ 또는 ‘참고 자료’로 여기고, 최종 판단과 책임은 사용자에게 있다는 것을 기억해야 한다. 주식, 코인이랑 뭐가 다르지
현명한 AI 활용법: 사용자 주도 검증 전략
어떻게 AI를 더 효과적으로 활용하고 검증하기 위한 방법을 나름대로 정리해 본다면?
- 명확하고 구체적인 질문: AI에게 원하는 결과물의 맥락, 목표, 제약 조건 등을 상세히 전달하여 오해의 소지를 줄여야 한다.
- 하나 이상의 AI에게 문의: 가능하다면 같은 질문을 여러 AI 모델에게 던지고 답변을 비교 분석해 본다. (예: Gemini, ChatGPT, Claude 등)
- 공신력 있는 출처와 비교: AI의 답변을 신뢰할 수 있는 외부 정보와 비교해 본다.
- 자신의 전문 지식 활용: 해당 분야에 대한 자신의 지식과 경험을 바탕으로 AI의 답변을 비판적으로 수용한다. ‘뭔가 이상한데?’라는 직감은 중요한 단서가 되어 준다.
- 단계적 접근과 테스트: AI의 제안을 바로 적용하기보다는, 먼저 테스트해보거나 프로토타입을 만들어 실제 효과를 검증한다.
- AI에게 되묻고 토론하기: AI 답변에 의문이 들면, 근거를 묻거나 반론을 제기하며 토론하듯 답변의 질을 높인다.
- 복사 붙이기의 자제: AI 답변을 전체를 복붙하면 내용을 검증할 수 없다. 최소한 단락 단위로 사용하고, 가급적 답변을 옮겨 쓰는 형식으로 검증해 가며 사용한다.
결론: 운전대는 사용자가 잡아야 한다.
AI는 의심할 여지 없이 많은 분야에서 혁명적인 변화를 가져오고 있다. 본 필자만 하더라도 코드작성, 로그분석, 디버깅 등에 많은 효과를 보고 있다. 하지만 AI의 능력을 최대한 활용하고 잠재적인 위험을 피하기 위해서는, 사용자가 더욱 능동적이고 비판적인 자세를 가져야 한다.
AI는 단순한 ‘정답 자판기’가 아니다. 아이디어를 확장하고 효율성을 높여주는, ‘꽤 일을 잘하는 비서’ 정도로 생각하는 것이 적당할 듯 하다. 그리고 그 비서가 제시하는 길을 무조건 따르기보다는, 자신의 지식을 바탕으로 최종 경로를 결정하는 현명한 ‘운전자’가 되어야 할 것이다. 그렇게 할 때, AI는 진정으로 창의성과 생산성을 극대화하는 비서가 되어 가진 시간과 자원을 더 효율적으로 사용하는데 도움을 줄 것이다.
본 필자의 별 것 아닌 경험이 독자 제위에게 작은 모티브가 되기를 소망한다.