구글 검색 키워드 어뷰징에 kakao.com이?

오늘 우연히 구글 검색에서 내 블로그의 키워드중 하나인 '네이버 상단 광고'를 검색했다가 인지도가 높은 사이트도 구글 키워드 어뷰징에 이용되는것을 확인하였습니다.

 

요즘 chatGPT의 영향으로 키워드를 조합하여 만든 사이트들이 구글검색 상단에 위치한것을 자주 볼 수 있고, 검색 품질이 많이 떨어졌음을 체감할 수 있었는데요.

 

'네이버 상단 광고'를 검색한 뒤 3페이지 쯤 나온 결과에는 kakao.com이 이용되었다.

이걸 낮은 수준의 취약점이라고도 볼 수 도 있습니다.

 

결국에는 사이트의 평판 저하로 이어지기 때문에 사이트 운영자시라면 하단에 소개해드릴 대처법을 적용해보시는게 좋을것 같습니다.

 

 

작동원리

티스토리에 검색하면...

사이트에 검색시 일반적으로 검색 키워드를 포함한 제목을 서버에서 출력하게 되어있습니다.

 

제목은 검색엔진에서 중요하게 보는 내용중 하나인데, 여기에 특정 키워드(이 글 예시에서는 '네이버 상단 광고')가 포함되어있으면 광고 키워드가 있어도 함께 보여지는 식 입니다.

 

kakao.com은 당연히 인지도, 사용자 수, 평판 등에서 상위권이기 때문에 구글 검색에서 상단에 뜨기 좋습니다.

이걸 악용한 것으로 보이는데 어떻게 사이트 주인이 아닌데 구글 검색에 등록된것인지는 확실치는 않지만 다음의 방법을 생각해볼 수 있습니다.

• 검색 키워드를 포함하여 생성한 해당 URL로 검색
• 이미 등록 또는 등록 신청한 URL에 해당 URL을 포함 시키기

아무래도 두번째 방법으로 등록되는 것 같네요.

 

 

 

대처법

대처법은 간단한데 검색페이지를 크롤링 하지 않도록 만드는 것 입니다.

그러나 robots.txt에서는 소용이 없습니다.

https://shoppinghow.kakao.com/robots.txt

User-agent:*
Disallow:/

User-agent: Googlebot

Disallow: /html/
Disallow: /search/
Disallow: /mypage/

Sitemap: http://shoppinghow.kakao.com/sitemap/menu/pc
Sitemap: http://shoppinghow.kakao.com/sitemap/model/pc
Sitemap: http://shoppinghow.kakao.com/sitemap/category/pc

Sitemap: http://shoppinghow.kakao.com/sitemap/menu/m
Sitemap: http://shoppinghow.kakao.com/sitemap/model/m
Sitemap: http://shoppinghow.kakao.com/sitemap/category/m

 

저는 알고 있었는데 다들 알고계실지는 모르겠지만..

구글 크롤링 봇은 robots.txt보다 사이트 내에 meta태그(또는 응답헤더)로 지정된 로봇 태그가 우선순위가 높고, 링크로 연결되어 크롤링 되는 경우 robots.txt를 건너뛰기도 합니다.

공식 문서에서도 robots.txt의 우선순위가 낮음을 알 수 있다.

구글 크롤링 가이드: https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ko

 

위 검색어가 등록된 shoppinghow.kakao.com의 경우에도 robots.txt에

Disallow: /search/

가 있음에도 검색 결과가 수집되어 있습니다.

 

따라서 결과 수집을 방지하기 위해서는 아래의 HTML코드가 검색 결과 페이지에 포함되어야 합니다.

<meta name="robots" content="noindex">