Ads.txt 기술적 처리 과정

카테고리 : 소개/IT 상식 2021. 3. 8. 06:39

Ads.txt는?

사이트 내에 표시되는 광고 게시자를 확인할 수 있게 만들어진 규격입니다.

https://example.com/ads.txt 와 같이 루트(최상위 도메인)에 두는것이 기본입니다.

 

알아 볼 내용

  1. 크롤링 되는 과정과 어떻게 처리되는지
  2. 예외사항은 어떤게 있는지

 

먼저 크롤링 과정입니다.

여기서는 애드센스 크롤러인 Mediapartners-Google으로 예를들어 상황을 설명해보고자 합니다.

 

여기의 설명은 구글의 처리과정을 기반으로하여 페이스북, 마이크로소프트 등 타 광고 서비스와는 약간의 차이가 있을 수 있습니다.

 

Ads.txt 크롤링 과정

  1. 애드센스 크롤러는 게시자의 루트도메인/robots.txt 파일에 접근을 시도합니다.
    • robots.txt 파일이 없다면 실패합니다.
  2. (성공시) robots.txt의 구문을 분석하여 ads.txt에 접근가능한지 확인합니다.
    • ads.txt에 대한 크롤링 권한이 없다면 실패합니다.
    • robots.txt를 분석할 수 없다면 실패합니다.
    • ads.txt 파일이 없다면 실패합니다.
  3. (성공시) 크롤러는 게시자의 루트도메인/ads.txt 파일에 접근을 시도합니다.
    • 올바르지 않은 리다이렉트가 있다면, 실패합니다.
  4. (성공시) 크롤링 서버로 다운로드합니다.
    • 파일용량이 너무 크다면, 실패합니다.
    • 올바르지 않은 서브도메인(서브도메인.루트도메인.com 이 아님)일 경우 실패합니다.
    • 올바르지 않은 공백이 있어 구문분석 실패시 실패합니다.
    • 올바르지 않은 Ascii값이 있어 구문분석 실패시 실패합니다.
    • 승인된 애드센스 게시자 코드가 일치하지 않는 경우 실패합니다.

 

이러한 과정으로 Ads.txt를 크롤링 합니다.

 

이는 구글의 공식발표자료를 조금 더 읽기 편하게 정리하였으며,

아마 인터넷상에서 동일한 내용을 찾기는 어렵지 않을까 생각됩니다.

 

강조해둔 부분은 잘 몰랐거나, 자주 실수할 수 있는 부분을 체크해뒀습니다.

Ads.txt 크롤링 과정중 발생할수있는 문제점들

 

만약 HTTP 200 (응답성공) 또는 HTTP 500 (서버오류) 인데 구문분석 실패했다면?

> 구글은 5일 후 다시 크롤링합니다.

 

여러 사이트를 운영해본 경험상.. 정상적으로 ads.txt파일을 올리고, robots.txt로 접근을 허용했다면?

> 애드센스 경고문구는 대부분 1일 이내 경고문구가 사라집니다.

 

HTTPS 에서는 접근가능하고 HTTP는 접근이 불가하다면?

> 애드센스 크롤링 시스템상 이미 크롤링된 결과를 삭제할수도 있습니다.

 

 

 

예외사항

루트도메인/ads.txt가 기본사항이지만 몇 가지 예외사항이 있습니다.

 

http리다이렉트

example.com/ads.txt (http 301) -> www.example.com/ads.txt

http리다이렉트를 통해 www 서브도메인으로 이동하여도 크롤링가능합니다.

 

구글의 경우 어떠한 하위도메인으로 리다이렉트시켜도 됩니다.

(접속가능한 올바른 하위도메인인경우 + ads.txt가 정상적으로 열리는경우)

 

Subdomain

Ads.txt 초기규격인 1.0.1 버전에서 생성된 규칙으로

 

이 기능은 루트도메인과, 서브도메인에 게시된 광고가 다른경우에만 적용하면됩니다.

일반적인 루트도메인과 서브도메인 모두 한사람이 운영하는 경우 적용할 필요가 없습니다.

 

예를들어, http://example.com/ads.txt 의 파일은 아래와 같습니다.

greenadexchange.com, 12345, DIRECT, d75815a79
blueadexchange.com, XF436, DIRECT
subdomain=divisionone.example.com

 

이 경우 크롤러는 http://divisionone.example.com/ads.txt 파일을 동일한 과정으로 크롤링 해야됩니다.

silverssp.com, 5569, DIRECT, f496211
orangeexchange.com, AB345, RESELLER

 

example.com과 divisionone.example.com은 별도로 처리됩니다.

 

divisionone.example.com에는 example.com에 적용된 greenadexchange.com과 blueadexchange.com이 적용되지 않고,

orangeexchange.com만 적용이됩니다.

'소개 > IT 상식' 카테고리의 다른 글

불편하게 슬라이드 되어, 보기 힘든 뉴스페이지 쉽게 보는법  (0) 2022.02.16
보기 싫은 쇼츠영상 없애는 법  (0) 2022.02.16
크롬 95버전용 "하이라이트 링크 복사" 제거방법  (5) 2021.10.23
크롬 "하이라이트 링크 복사" 설정/해제 방법  (3) 2021.06.14
1.1.1.1은 IP를 숨겨주지 않습니다.  (8) 2021.01.25
내 인터넷에 맞는 DNS를 결정하는 방법  (0) 2021.01.23
윈도우에서 복사 붙여넣기 클립보드 기록(히스토리) 사용법  (0) 2021.01.20
컴퓨터를 24시간이상 켜놓아도 괜찮을까?  (1) 2021.01.18

 

저작권 보호안내
무단 전재, 재배포 행위는 금지됩니다. (글을 복사하여 게시금지)
본문의 일부(링크용 문장) 인용은 가능하지만, 출처와 링크(a 태그)를 남기셔야 됩니다.
(웹툴을 이용하고, 스크린샷/녹화하는것은 상관없습니다.)

예외적으로. 저에게 허락받은 경우에는 본문을 전재할 수 있습니다.

만약, 본문 공유를 원하신다면 링크 공유를 해주세요

저작권 정책 확인하기
링크 공유하기

 댓글