map/reduce

Python中的Map和Reduce函数教程

概述

Python内置了map()和reduce()函数，它们是函数式编程的重要工具。这些概念与Google著名的MapReduce论文中提出的分布式计算模型类似，但实现更简单。

Map函数

map()函数将一个函数应用于一个可迭代对象(iterable)的每个元素，并返回一个迭代器(iterator)。

基本语法

map(function, iterable, ...)

示例

# 平方函数
def square(x):
    return x * x

# 应用map
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9]
squared = map(square, numbers)

# 转换为列表查看结果
print(list(squared))  # 输出: [1, 4, 9, 16, 25, 36, 49, 64, 81]

使用lambda表达式

squared = map(lambda x: x**2, [1, 2, 3, 4, 5])
print(list(squared))  # 输出: [1, 4, 9, 16, 25]

多参数map

# 两个列表相加
list1 = [1, 2, 3]
list2 = [4, 5, 6]
result = map(lambda x, y: x + y, list1, list2)
print(list(result))  # 输出: [5, 7, 9]

Reduce函数

reduce()函数(从Python 3开始位于functools模块)对一个序列中的元素进行累积计算。

基本语法

from functools import reduce

reduce(function, sequence[, initial])

工作原理

reduce(f, [x1, x2, x3, x4])等价于f(f(f(x1, x2), x3), x4)

示例

from functools import reduce

# 累加
def add(x, y):
    return x + y

total = reduce(add, [1, 3, 5, 7, 9])
print(total)  # 输出: 25

# 使用lambda简化
total = reduce(lambda x, y: x + y, [1, 3, 5, 7, 9])
print(total)  # 输出: 25

更复杂的例子

# 将数字列表转换为一个整数
def digits_to_num(digits):
    return reduce(lambda x, y: x * 10 + y, digits)

print(digits_to_num([1, 3, 5, 7, 9]))  # 输出: 13579

实用案例

1. 字符串规范化

def normalize(name):
    return name.capitalize()

names = ['adam', 'LISA', 'barT']
normalized_names = list(map(normalize, names))
print(normalized_names)  # 输出: ['Adam', 'Lisa', 'Bart']

2. 列表乘积计算

from functools import reduce

def prod(L):
    return reduce(lambda x, y: x * y, L, 1)

print(prod([3, 5, 7, 9]))  # 输出: 945

3. 字符串转浮点数

from functools import reduce

def str2float(s):
    def char2num(c):
        return {'0': 0, '1': 1, '2': 2, '3': 3, '4': 4,
                '5': 5, '6': 6, '7': 7, '8': 8, '9': 9}[c]
    
    if '.' in s:
        integer_part, decimal_part = s.split('.')
        return (reduce(lambda x, y: x * 10 + y, map(char2num, integer_part)) +
                reduce(lambda x, y: x * 10 + y, map(char2num, decimal_part)) / 10**len(decimal_part))
    else:
        return reduce(lambda x, y: x * 10 + y, map(char2num, s))

print(str2float('123.456'))  # 输出: 123.456

现代Python中的替代方案

虽然map()和reduce()仍然有用，但现代Python中通常使用：

  1. 列表推导式替代简单map()：

    # map方式
squared = map(lambda x: x**2, numbers)

# 列表推导式方式
squared = [x**2 for x in numbers]

  2. 内置函数如sum()替代简单reduce()

  3. 生成器表达式替代map()处理大数据集

性能考虑

  • 对于简单操作，列表推导式通常比map()更快
  • map()在处理大数据时更节省内存(返回迭代器而非列表)
  • reduce()在某些累积计算中仍然无可替代

总结

函数作用返回类型典型用途
map()对序列每个元素应用函数迭代器数据转换
reduce()累积计算序列元素单个值聚合计算

掌握map()和reduce()可以帮助你写出更简洁、更函数式的Python代码，特别是在数据处理和转换场景中。