TCP 3-Way Handshake와 4-Way Handshake 완벽 가이드: 기초부터 실무 최적화까지

TCP 3-Way Handshake와 4-Way Handshake 완벽 가이드: 기초부터 실무 최적화까지

 

TCP 연결 과정의 기본 원리부터 실제 운영 환경에서의 성능 최적화까지, 단계별로 쉽게 이해할 수 있는 완전 가이드입니다.

---

네트워크 통신의 기초: 왜 TCP가 필요할까요?

인터넷에서 데이터를 주고받는 것은 마치 편지를 보내는 것과 비슷합니다.

하지만 편지와 달리 인터넷에서는 데이터가 여러 조각으로 나뉘어 각각 다른 경로로 전송됩니다.

이때 데이터가 안전하게 도착했는지, 순서대로 도착했는지 확인하는 것이 바로 TCP(Transmission Control Protocol)의 역할입니다.

TCP vs UDP: 신뢰성 vs 속도

TCP는 신뢰성을 중시하는 프로토콜입니다:

• 📦 데이터 손실 방지: 패킷이 유실되면 재전송
• 📋 순서 보장: 데이터가 보낸 순서대로 도착
• ✅ 오류 검증: 데이터가 정확히 전달되었는지 확인

UDP는 속도를 중시하는 프로토콜입니다:

• ⚡ 빠른 전송: 확인 과정 없이 바로 전송
• 🎮 실시간 통신: 게임, 동영상 스트리밍에 적합
• ❌ 신뢰성 부족: 데이터 손실 가능성 존재

실생활 비유:

• TCP: 등기우편 📮 (확인서를 받아야 하지만 안전)
• UDP: 일반우편 📪 (빠르지만 분실 위험 있음)

왜 웹사이트는 TCP를 사용할까요?

웹사이트에서 HTML, CSS, JavaScript 파일을 다운받을 때 단 1바이트라도 손실되면 페이지가 깨지거나 동작하지 않습니다.

따라서 100% 정확한 전송이 필요한 웹 통신에는 TCP가 필수입니다.

HTTP/1.1 스펙에 따르면, 모든 HTTP 통신은 TCP 연결 위에서 동작합니다.

---

TCP 연결의 생명주기: 전체 그림 이해하기

TCP 연결은 사람들이 전화 통화하는 과정과 매우 유사합니다:

1. 📞 전화 걸기 → 3-Way Handshake (연결 설정)
2. 💬 대화하기 → 데이터 전송
3. 📴 전화 끊기 → 4-Way Handshake (연결 종료)

TCP 전체 생명주기 다이어그램

클라이언트                           서버
    |                                |
    |          3-Way Handshake        |
    |  ┌─────────────────────────┐    |
    |  │    1. SYN             │    |
    |  │ ─────────────────────> │    |
    |  │    2. SYN-ACK         │    |
    |  │ <───────────────────── │    |
    |  │    3. ACK             │    |
    |  │ ─────────────────────> │    |
    |  └─────────────────────────┘    |
    |                                |
    |         데이터 전송               |
    |  <==========================>   |
    |        (HTTP 요청/응답)          |
    |                                |
    |          4-Way Handshake        |
    |  ┌─────────────────────────┐    |
    |  │    1. FIN             │    |
    |  │ ─────────────────────> │    |
    |  │    2. ACK             │    |
    |  │ <───────────────────── │    |
    |  │    3. FIN             │    |
    |  │ <───────────────────── │    |
    |  │    4. ACK             │    |
    |  │ ─────────────────────> │    |
    |  └─────────────────────────┘    |
    |               X                |

TCP 연결 상태 다이어그램

CLOSED → SYN-SENT → ESTABLISHED → FIN-WAIT → CLOSED
   ↑         ↓           ↓            ↓        ↑
   └─────────┴───────────┴────────────┴────────┘

각 상태의 의미:

• CLOSED: 연결이 없는 상태 (전화기 내려놓은 상태)
• SYN-SENT: 연결 요청을 보낸 상태 (전화 거는 중)
• ESTABLISHED: 연결이 성립된 상태 (통화 중)
• FIN-WAIT: 연결 종료 대기 상태 (전화 끊는 중)

---

3-Way Handshake: 연결 설정의 기초

쉬운 이해를 위한 실생활 비유

3-Way Handshake는 두 사람이 처음 만나서 대화를 시작하는 과정과 같습니다:

1. A: "안녕하세요, 대화할 수 있나요?" (SYN)
2. B: "네, 안녕하세요! 대화 가능합니다." (SYN-ACK)
3. A: "좋습니다, 그럼 시작해요!" (ACK)

단계별 상세 설명

1단계: SYN (Synchronize) - "연결하고 싶어요!"

클라이언트 → 서버: SYN 패킷

 

클라이언트가 서버에게 전달하는 정보:

• "저는 연결하고 싶습니다" (SYN 플래그)
• "제 시작 번호는 1000번입니다" (Sequence Number)
• "저는 한 번에 1460바이트까지 받을 수 있어요" (MSS: Maximum Segment Size)

실제 패킷 예시:

TCP Header:
- Source Port: 54321
- Dest Port: 80
- Sequence: 1000
- Flags: SYN
- Window Size: 65535

2단계: SYN-ACK - "저도 연결하고 싶어요!"

서버 → 클라이언트: SYN-ACK 패킷

 

서버가 클라이언트에게 전달하는 정보:

• "연결 요청 잘 받았습니다" (ACK 플래그)
• "저도 연결하고 싶습니다" (SYN 플래그)
• "제 시작 번호는 2000번입니다" (Sequence Number)
• "당신의 다음 번호는 1001번이에요" (Acknowledgment Number)

실제 패킷 예시:

TCP Header:
- Source Port: 80
- Dest Port: 54321
- Sequence: 2000
- Acknowledgment: 1001
- Flags: SYN + ACK

3단계: ACK - "연결이 완성되었어요!"

클라이언트 → 서버: ACK 패킷

클라이언트가 서버에게 전달하는 정보:

• "서버의 응답 잘 받았습니다" (ACK 플래그)
• "이제 데이터를 주고받을 준비가 되었어요"

실제 패킷 예시:

TCP Header:
- Sequence: 1001
- Acknowledgment: 2001
- Flags: ACK

3-Way Handshake 전체 다이어그램

클라이언트                    서버
    |                         |
    |       1. SYN            |
    |------------------------>|
    |                         |
    |     2. SYN-ACK          |
    |<------------------------|
    |                         |
    |       3. ACK            |
    |------------------------>|
    |                         |
    |    연결 설정 완료!        |
    |<======================>|

3-Way Handshake 시각화

시간	클라이언트 상태	패킷	서버 상태
T0	CLOSED	→ SYN →	LISTEN
T1	SYN-SENT	← SYN-ACK ←	SYN-RECEIVED
T2	ESTABLISHED	→ ACK →	ESTABLISHED

실제 브라우저에서 확인해보기

Chrome 개발자 도구에서 TCP 연결 확인:

1. F12 키로 개발자 도구 열기
2. Network 탭 클릭
3. 웹사이트 새로고침
4. 첫 번째 요청 클릭
5. Timing 탭에서 "Initial connection" 시간 확인

일반적인 연결 시간:

• 국내 서버: 10-30ms
• 해외 서버: 100-300ms
• 모바일 네트워크: 50-200ms

---

4-Way Handshake: 연결 종료의 기초

실생활 비유: 정중한 작별 인사

4-Way Handshake는 두 사람이 대화를 마치고 정중하게 작별하는 과정입니다:

1. A: "저는 할 말이 다 끝났어요." (FIN)
2. B: "알겠습니다." (ACK)
3. B: "저도 할 말이 다 끝났어요." (FIN)
4. A: "알겠습니다. 안녕히 가세요!" (ACK)

왜 4단계나 필요할까요?

TCP는 양방향 통신이므로 각 방향의 연결을 개별적으로 종료해야 합니다:

• 클라이언트 → 서버 방향 종료
• 서버 → 클라이언트 방향 종료

비유: 양방향 도로에서 각 차선을 따로 폐쇄하는 것과 같습니다.

단계별 상세 설명

1단계: FIN - "저는 보낼 데이터가 없어요"

클라이언트 → 서버: FIN 패킷

클라이언트가 서버에게:

• "제가 보낼 데이터는 모두 끝났습니다" (FIN 플래그)
• "하지만 서버가 보내는 데이터는 계속 받을 수 있어요"

2단계: ACK - "알겠습니다"

서버 → 클라이언트: ACK 패킷  

서버가 클라이언트에게:

• "종료 요청 잘 받았습니다" (ACK 플래그)
• "저는 아직 보낼 데이터가 있을 수 있어요"

3단계: FIN - "저도 끝났어요"

서버 → 클라이언트: FIN 패킷

서버가 클라이언트에게:

• "제가 보낼 데이터도 모두 끝났습니다" (FIN 플래그)

4단계: ACK - "완전히 종료합니다"

클라이언트 → 서버: ACK 패킷

클라이언트가 서버에게:

• "모든 종료 절차가 완료되었습니다" (ACK 플래그)

4-Way Handshake 전체 다이어그램

클라이언트                    서버
    |                         |
    |       1. FIN            |
    |------------------------>|
    |                         |
    |       2. ACK            |
    |<------------------------|
    |                         |
    |       3. FIN            |
    |<------------------------|
    |                         |
    |       4. ACK            |
    |------------------------>|
    |                         |
    |    연결 종료 완료!        |
    |         X               |

4-Way Handshake 시각화

시간	클라이언트 상태	패킷	서버 상태
T0	ESTABLISHED	→ FIN →	ESTABLISHED
T1	FIN-WAIT-1	← ACK ←	CLOSE-WAIT
T2	FIN-WAIT-2	← FIN ←	LAST-ACK
T3	TIME-WAIT	→ ACK →	CLOSED
T4	CLOSED	-	CLOSED

---

실제 동작 확인하기: 기초 실습

1. 명령어로 TCP 연결 확인하기

Windows에서:

# 현재 TCP 연결 상태 보기
netstat -an | findstr :80

# 특정 사이트로의 연결 테스트
telnet google.com 80

 

Mac/Linux에서:

# 현재 TCP 연결 상태 보기  
netstat -an | grep :80

# 또는 최신 도구 사용
ss -tan | grep :80

# 특정 사이트로의 연결 테스트
telnet google.com 80

2. 웹브라우저에서 연결 과정 관찰

Step 1: 브라우저 캐시 비우기

• Chrome: Ctrl+Shift+Delete
• 모든 데이터 삭제 선택

Step 2: 개발자 도구로 네트워크 모니터링

F12 → Network 탭 → Preserve log 체크 → 새로고침

Step 3: 연결 시간 분석

• DNS lookup: 도메인을 IP로 변환하는 시간
• Initial connection: TCP 3-Way Handshake 시간
• SSL: HTTPS의 경우 SSL/TLS 협상 시간

3. 간단한 Python 스크립트로 실습

import socket
import time

def tcp_client_example():
    # 1. 소켓 생성
    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

    print("1. 소켓 생성 완료")

    # 2. 서버에 연결 (3-Way Handshake 발생)
    start_time = time.time()
    sock.connect(('www.google.com', 80))
    connect_time = time.time() - start_time

    print(f"2. 연결 완료 (소요시간: {connect_time:.3f}초)")

    # 3. HTTP 요청 전송
    request = "GET / HTTP/1.1\r\nHost: www.google.com\r\n\r\n"
    sock.send(request.encode())

    print("3. 데이터 전송 완료")

    # 4. 응답 받기
    response = sock.recv(1024)
    print(f"4. 응답 받음 (크기: {len(response)}바이트)")

    # 5. 연결 종료 (4-Way Handshake 발생)
    sock.close()
    print("5. 연결 종료 완료")

# 실행
tcp_client_example()

---

실무에서 자주 발생하는 문제들

문제 1: 연결이 느려요 (High Latency)

증상: 웹사이트 로딩이 오래 걸림

원인 파악:

# 네트워크 지연 시간 측정
ping google.com

# 경로 추적
traceroute google.com  # Linux/Mac
tracert google.com     # Windows

해결 방법:

• CDN 사용: 사용자와 가까운 서버에서 콘텐츠 제공
• Keep-Alive 활성화: 연결 재사용으로 Handshake 횟수 감소
• HTTP/2 도입: 하나의 연결로 여러 파일 동시 전송

문제 2: 연결이 자주 끊어져요 (Connection Reset)

증상: "Connection was reset" 오류

원인:

• 방화벽에서 연결 차단
• 서버 과부하로 인한 연결 거부
• 네트워크 중간 장비 문제

확인 방법:

# 연결 시도
telnet target-server 80

# 방화벽 확인 (Linux)
sudo iptables -L -n

문제 3: TIME-WAIT 소켓이 너무 많아요

증상: "Address already in use" 오류

확인:

# TIME-WAIT 소켓 개수 확인
netstat -an | grep TIME_WAIT | wc -l

원인: 짧은 시간에 많은 연결을 생성하고 종료할 때 발생

해결:

• 연결 풀링 사용: 연결을 재사용
• Keep-Alive 설정: 연결 유지 시간 조정

---

성능 최적화 기초

Keep-Alive: 연결 재사용의 마법

Keep-Alive 없이 (매번 새로운 연결):

요청1: TCP 연결 → 데이터 전송 → 연결 종료
요청2: TCP 연결 → 데이터 전송 → 연결 종료  
요청3: TCP 연결 → 데이터 전송 → 연결 종료

 

Keep-Alive 사용 (연결 재사용):

TCP 연결 → 요청1 → 요청2 → 요청3 → 연결 종료

성능 향상 효과:

• 연결 시간 절약: 50-70% 응답 시간 단축
• 서버 부하 감소: CPU 사용량 30-50% 절약
• 사용자 경험 개선: 페이지 로딩 속도 향상

실제 웹서버 설정

Apache 설정 (httpd.conf):

# Keep-Alive 활성화
KeepAlive On

# 하나의 연결에서 최대 100개 요청 처리
MaxKeepAliveRequests 100

# 15초 동안 Keep-Alive 유지
KeepAliveTimeout 15

 

Nginx 설정:

http {
    # Keep-Alive 활성화
    keepalive_timeout 75s;
    keepalive_requests 100;

    # 클라이언트 연결 설정
    client_header_timeout 60s;
    client_body_timeout 60s;
}

Connection Pool: 데이터베이스 연결 최적화

문제 상황: 매번 새로운 DB 연결 생성

// 비효율적인 방법
public void getData() {
    Connection conn = DriverManager.getConnection(url, user, pass);
    // 쿼리 실행
    conn.close(); // 매번 연결 종료
}

 

해결책: Connection Pool 사용

// 효율적인 방법 (HikariCP 사용)
@Configuration
public class DatabaseConfig {
    @Bean
    public DataSource dataSource() {
        HikariConfig config = new HikariConfig();
        config.setMaximumPoolSize(20);    // 최대 20개 연결 유지
        config.setMinimumIdle(5);         // 최소 5개 연결 유지
        config.setConnectionTimeout(30000); // 연결 대기 시간 30초

        return new HikariDataSource(config);
    }
}

---

최신 기술 동향: HTTP/3와 QUIC

기존 TCP의 한계

HOL(Head-of-Line) Blocking 문제:

• 하나의 패킷이 지연되면 뒤의 모든 패킷이 대기
• 웹페이지에서 하나의 이미지가 느리면 전체 페이지 로딩 지연

QUIC 프로토콜의 혁신

QUIC (Quick UDP Internet Connections)는 Google이 개발한 새로운 프로토콜입니다:

주요 특징:

• UDP 기반: TCP보다 빠른 연결 설정
• 0-RTT 연결: 이전 연결 정보로 즉시 연결
• 멀티플렉싱: 여러 스트림이 독립적으로 동작
• 내장 암호화: TLS 1.3 필수 적용

성능 비교:

TCP + TLS 1.2: 3-RTT (연결 + 암호화)
TCP + TLS 1.3: 2-RTT  
QUIC: 0-1-RTT (첫 연결: 1-RTT, 재연결: 0-RTT)

HTTP/3 도입 현황

지원 현황 (caniuse.com 기준):

• Chrome: 87+ 버전부터 지원
• Firefox: 88+ 버전부터 지원
• Safari: 14+ 버전부터 지원

주요 서비스:

• Google 검색, YouTube
• Facebook, Instagram
• Cloudflare CDN

---

모니터링과 트러블슈팅 도구

기본 도구들

1. netstat - 네트워크 연결 상태 확인

# 모든 TCP 연결 보기
netstat -tan

# 특정 포트의 연결 상태 확인
netstat -tan | grep :80

# 연결 상태별 개수 확인
netstat -tan | awk '{print $6}' | sort | uniq -c

 

2. ss - 현대적인 netstat 대안

# TCP 연결 상태 확인
ss -tan

# 특정 상태의 연결만 보기
ss -tan state established
ss -tan state time-wait

 

3. tcpdump - 패킷 캡처 및 분석

# 특정 포트의 패킷 캡처
sudo tcpdump -i any port 80

# SYN 패킷만 캡처
sudo tcpdump -i any 'tcp[tcpflags] & tcp-syn != 0'

웹 성능 측정 도구

1. curl을 이용한 상세 타이밍

curl -w "@curl-format.txt" -o /dev/null -s "http://example.com"

 

curl-format.txt 파일:

     time_namelookup:  %{time_namelookup}\n
        time_connect:  %{time_connect}\n
     time_appconnect:  %{time_appconnect}\n
    time_pretransfer:  %{time_pretransfer}\n
       time_redirect:  %{time_redirect}\n
  time_starttransfer:  %{time_starttransfer}\n
                     ----------\n
          time_total:  %{time_total}\n

 

2. Chrome DevTools Network 탭

• Timing 분석: DNS lookup, Initial connection, SSL, Request sent, TTFB
• Waterfall 차트: 요청 순서와 의존성 확인
• Connection ID: 연결 재사용 여부 확인

---

실무 체크리스트

개발 환경 설정 체크리스트

✅ 웹서버 설정

• Keep-Alive 활성화 확인
• 적절한 타임아웃 값 설정
• 최대 연결 수 제한 설정

✅ 애플리케이션 설정

• Connection Pool 설정 확인
• 적절한 풀 크기 설정 (보통 CPU 코어 수 x 2-4)
• 연결 유효성 검사 활성화

✅ 모니터링 설정

• TCP 연결 수 모니터링
• 응답 시간 추적
• 오류율 알림 설정

성능 최적화 체크리스트

✅ 네트워크 레벨

• CDN 도입 검토
• HTTP/2 또는 HTTP/3 지원
• Gzip 압축 활성화

✅ 애플리케이션 레벨

• 불필요한 HTTP 요청 제거
• 리소스 번들링 (CSS, JS 파일 합치기)
• 이미지 최적화

✅ 인프라 레벨

• 로드 밸런서 설정 최적화
• 데이터베이스 연결 풀 튜닝
• 캐시 전략 수립

---

학습 로드맵과 다음 단계

초급자를 위한 학습 순서

1단계: 기본 개념 이해 (1-2주)

• TCP/IP 프로토콜 스택 구조
• 3-Way/4-Way Handshake 원리
• 기본 네트워크 명령어 사용법

2단계: 실습과 측정 (2-3주)

• 개발자 도구로 네트워크 분석
• 간단한 소켓 프로그래밍
• 성능 측정 도구 사용법

3단계: 최적화 적용 (3-4주)

• Keep-Alive 설정
• Connection Pool 구현
• 모니터링 대시보드 구축

중급자를 위한 심화 학습

고급 주제들:

• 커널 파라미터 튜닝: /proc/sys/net/ 설정 최적화
• eBPF 프로그래밍: 커널 레벨 네트워크 분석
• QUIC/HTTP3: 차세대 프로토콜 적용

권장 학습 자료:

• High Performance Browser Networking - 무료 온라인 도서
• RFC 9293 - TCP 스펙 - 공식 문서
• Linux Network Performance - 성능 분석 도구

---

결론: TCP 마스터가 되는 길

TCP 연결 과정을 이해하는 것은 현대 웹 개발자의 필수 소양입니다.

기본 원리부터 시작해서 점진적으로 고급 최적화 기법까지 학습하면,

시스템의 성능 병목을 정확히 진단하고 해결할 수 있는 능력을 갖출 수 있습니다.

 

핵심 요점 정리:

• 3-Way Handshake: 안전한 연결 설정 과정
• 4-Way Handshake: 정중한 연결 종료 과정
• Keep-Alive: 연결 재사용으로 성능 향상
• Connection Pool: 리소스 효율적 관리

실무에서의 가치:

• 사용자 경험 개선: 빠른 페이지 로딩
• 서버 비용 절약: 효율적인 리소스 사용
• 개발자 성장: 시스템 전체를 이해하는 시야

이제 여러분도 네트워크 통신의 기초부터 고급 최적화까지 단계별로 학습하여, 실무에서 신뢰받는 개발자로 성장해보세요! 🚀