[Pandas] transform / apply

정의

transform, 같은 shape

각 그룹에 함수를 적용해도 결과가 원본 DataFrame 과 같은 행 수. 그룹별 정규화에 적합.

import pandas as pd
df = pd.DataFrame({
  'team': ['A','A','A','B','B'],
  'score': [80, 90, 100, 60, 80],
})
df['team_mean'] = df.groupby('team')['score'].transform('mean')
df['team_z'] = df.groupby('team')['score'].transform(lambda s: (s - s.mean()) / s.std())
print(df)

  team  score   team_mean    team_z
0    A     80   90.000000 -1.000000
1    A     90   90.000000  0.000000
2    A    100   90.000000  1.000000
3    B     60   70.000000 -0.707107
4    B     80   70.000000  0.707107

각 행에 그 행이 속한 그룹의 평균 이 채워졌다. 핵심 패턴.

자주 쓰는 transform 예

# 그룹별 평균으로 NaN 채우기
df['salary'] = df.groupby('dept')['salary'].transform(lambda s: s.fillna(s.mean()))

# 그룹별 max 대비 비율
df['pct_of_max'] = df['sales'] / df.groupby('region')['sales'].transform('max')

# 그룹 내 순위
df['rank_in_team'] = df.groupby('team')['score'].rank(ascending=False)

apply, 가장 유연

.apply 는 각 그룹에 임의의 함수 를 적용. 결과 shape 는 함수가 결정.

def top3_with_total(g):
    return g.nlargest(3, 'score').assign(total=g['score'].sum())

df.groupby('team').apply(top3_with_total)

apply 의 단점

• 느리다 (Python 함수 호출 오버헤드)
• 결과 타입 추론이 까다로움 (warn 자주 발생)
• 같은 효과를 agg / transform 으로 표현 가능하면 그것이 더 빠름

언제 무엇을 쓸까

벡터 연산 우선

# ❌ apply 로 행마다 처리
df['bmi'] = df.apply(lambda r: r['weight'] / (r['height']/100)**2, axis=1)

# ✓ 벡터 연산
df['bmi'] = df['weight'] / (df['height']/100)**2

벡터 연산이 종종 100배 이상 빠르다.

transform 의 제약

• 함수가 같은 길이 결과 를 반환해야 함
• 그룹별 단일 값 (예: mean) → 자동 broadcast
• 길이 불일치 → ValueError

df.groupby('x').transform(lambda s: s.head(2))   # ❌ 그룹마다 다른 길이
df.groupby('x').apply(lambda s: s.head(2))       # ✓ apply 가 적절

참고

• Pandas groupby
• Pandas agg
• Pandas pivot_table