文章目录人话版Git Bash 中 grep 管道中文乱码问题的解决问题描述原因分析问题一Binary file matches问题二中文乱码解决方案方案一设置环境变量推荐永久生效方案二grep 加 -a 参数临时解决二进制识别问题方案三关闭程序的颜色输出方案四重定向到文件再查看最佳实践扩展版Windows Git Bash 使用 grep 管道过滤 Python 输出乱码解决方案Binary file matches、UTF-8 中文乱码、ANSI 颜色码问题详解前言一、问题现象1. grep 提示 Binary file matches2. 使用 grep -a 后中文乱码二、问题产生的原因分析1. grep 为什么认为输入是二进制ANSI 颜色控制符导致误判2. 为什么 grep -a 可以解决三、Windows 中文乱码的根本原因Windows 历史编码问题四、Python 输出编码问题1. Python 默认 stdout 编码2. 环境变量影响五、推荐解决方案方案一设置 PYTHONIOENCODING推荐六、grep -a 临时解决 Binary file matches七、关闭 ANSI 彩色输出方法一程序参数关闭方法二使用 NO_COLOR 标准八、重定向到文件再分析九、PowerShell 下如何设置十、Git Bash 推荐配置~/.bashrc十一、如何判断到底是哪一个问题第一步直接运行程序第二步查看编码第三步检查 ANSI第四步测试 grep -a十二、为什么 Linux 和 macOS 很少遇到十三、开发者最佳实践1. 默认不要输出颜色2. 明确指定 UTF-83. 提供 --no-color 参数总结人话版Git Bash 中 grep 管道中文乱码问题的解决在 Windows 的 Git Bash 中使用grep管道过滤 Python 程序输出时遇到了Binary file (standard input) matches报错且grep -a强制输出后中文全部乱码。根本原因是程序输出了 ANSI 颜色转义码导致grep误判为二进制同时 Windows 默认的 GBK 编码与 Python 输出的 UTF-8 不匹配导致中文乱码。在~/.bashrc中添加export PYTHONIOENCODINGutf-8即可永久解决乱码问题临时使用的话grep -a可以绕过二进制检测。文章目录人话版Git Bash 中 grep 管道中文乱码问题的解决问题描述原因分析问题一Binary file matches问题二中文乱码解决方案方案一设置环境变量推荐永久生效方案二grep 加 -a 参数临时解决二进制识别问题方案三关闭程序的颜色输出方案四重定向到文件再查看最佳实践扩展版Windows Git Bash 使用 grep 管道过滤 Python 输出乱码解决方案Binary file matches、UTF-8 中文乱码、ANSI 颜色码问题详解前言一、问题现象1. grep 提示 Binary file matches2. 使用 grep -a 后中文乱码二、问题产生的原因分析1. grep 为什么认为输入是二进制ANSI 颜色控制符导致误判2. 为什么 grep -a 可以解决三、Windows 中文乱码的根本原因Windows 历史编码问题四、Python 输出编码问题1. Python 默认 stdout 编码2. 环境变量影响五、推荐解决方案方案一设置 PYTHONIOENCODING推荐六、grep -a 临时解决 Binary file matches七、关闭 ANSI 彩色输出方法一程序参数关闭方法二使用 NO_COLOR 标准八、重定向到文件再分析九、PowerShell 下如何设置十、Git Bash 推荐配置~/.bashrc十一、如何判断到底是哪一个问题第一步直接运行程序第二步查看编码第三步检查 ANSI第四步测试 grep -a十二、为什么 Linux 和 macOS 很少遇到十三、开发者最佳实践1. 默认不要输出颜色2. 明确指定 UTF-83. 提供 --no-color 参数总结问题描述在 Windows 的 Git Bash 中将程序输出通过管道传给grep时遇到两个问题grep无输出程序输出包含 ANSI 颜色转义码grep将其识别为二进制文件直接报Binary file (standard input) matches。中文乱码加了grep -a能看到内容但中文显示为乱码如ȱ□□、û□□□ҵ□。示例$ my-python-tool--verbose|grepERROR Binaryfile(standard input)matches $ my-python-tool--verbose|grep-aERROR[ERROR]模□□□初始化失败□□[ERROR]□□□□找不到配置文件原因分析两个问题各有独立原因问题一Binary file matches程序输出中包含 ANSI 颜色转义序列如\x1b[33m表示黄色文字grep在检测输入时发现非文本字节将整个输入当作二进制文件处理因此不会正常输出匹配行。问题二中文乱码Windows 系统默认编码是 GBKCP936而现代程序如 Python默认输出 UTF-8 编码。Git Bash 的管道在 Windows 上使用系统默认编码传递数据UTF-8 的中文在 GBK 终端中被错误解码产生乱码。两者叠加就出现了 “能看到英文但中文全是方块” 的现象。解决方案方案一设置环境变量推荐永久生效在~/.bashrc中添加exportPYTHONIOENCODINGutf-8对于 PowerShell 用户在$PROFILE中添加$env:PYTHONIOENCODING utf-8这样 Python 程序的输出编码与终端一致中文就能正常显示。方案二grep 加-a参数临时解决二进制识别问题my-python-tool--verbose|grep-aERROR-a让grep将输入强制当作文本处理解决 “Binary file matches” 的问题但不解决乱码。方案三关闭程序的颜色输出# 方式一程序自带选项my-python-tool--verbose--no-color|grepERROR# 方式二通过环境变量部分程序支持NO_COLOR1my-python-tool--verbose|grepERROR关闭颜色输出后grep不会误判二进制但需要程序本身支持。方案四重定向到文件再查看my-python-tool--verboseoutput.txt21grepERROR output.txt写文件时不会经过管道编码转换VSCode 等编辑器会自动识别 UTF-8。最佳实践同时设置PYTHONIOENCODING和使用grep -a一劳永逸# ~/.bashrcexportPYTHONIOENCODINGutf-8# 使用时my-python-tool--verbose|grep-aERROR扩展版Windows Git Bash 使用 grep 管道过滤 Python 输出乱码解决方案Binary file matches、UTF-8 中文乱码、ANSI 颜色码问题详解前言在 Windows 环境下使用 Git Bash 进行开发时经常会遇到一个比较隐蔽的问题程序直接运行时中文显示正常但是一旦通过管道传递给grep、awk、sed等 Linux 命令进行过滤输出突然出现Binary file (standard input) matches中文乱码中文变成□□□UTF-8 字符显示异常英文正常但中文损坏。例如python main.py--verbose|grepERROR结果Binary file (standard input) matches于是尝试python main.py--verbose|grep-aERROR虽然可以看到匹配内容[ERROR] 初始化失败但是中文变成[ERROR] 初始化失败或者[ERROR] □□□□这个问题看似是 grep 的问题实际上涉及Windows 默认编码Python 标准输出编码Git Bash 的终端环境ANSI 彩色控制字符Unix 管道机制。本文记录完整排查过程以及推荐解决方案。一、问题现象1. grep 提示 Binary file matches示例python test.py|grepERROR输出Binary file (standard input) matches正常情况下grep 应该显示[ERROR] 配置文件不存在 [ERROR] 数据初始化失败但是它认为输入不是普通文本。2. 使用 grep -a 后中文乱码执行python test.py|grep-aERROR输出[ERROR] æ•°æ®åŠ è½½å¤±è´¥或者[ERROR] □□□说明grep 已经可以读取内容但是字符编码错误。二、问题产生的原因分析这个问题实际上由两个独立问题叠加产生。1. grep 为什么认为输入是二进制ANSI 颜色控制符导致误判很多现代 CLI 程序为了提高可读性会给输出添加颜色。例如红色 ERROR\x1b[31mERROR\x1b[0m其中\x1b代表 ESC 控制字符。终端看到ERROR但是实际输出ESC [31m ERROR ESC [0m对于终端这些字符表示颜色。但是对于 grep它看到非普通文本控制字符可能判断这不是文本文件而是二进制数据。于是输出Binary file matches2. 为什么 grep -a 可以解决grep 参数-a含义--text强制 grep把输入当作文本处理。例如python main.py|grep-aERROR即可绕过二进制检测。但是注意grep -a只能解决Binary file matches不能解决中文乱码因为编码问题完全不同。三、Windows 中文乱码的根本原因Windows 历史编码问题Windows 长期使用GBK也叫CP936作为中文系统默认编码。但是现在的软件例如Python 3Node.jsGoRust默认大量采用UTF-8例如中文错误UTF-8E9 94 99 E8 AF AFGBKB4 ED CE F3两种编码完全不同。如果程序输出 UTF-8E9 94 99终端按照 GBK 解析乱码四、Python 输出编码问题Python 在 Windows 下有多个编码来源1. Python 默认 stdout 编码查看importsysprint(sys.stdout.encoding)可能输出cp936或者utf-82. 环境变量影响Python 支持PYTHONIOENCODING用于指定stdinstdoutstderr编码。例如exportPYTHONIOENCODINGutf-8之后Python 输出统一使用 UTF-8。五、推荐解决方案方案一设置 PYTHONIOENCODING推荐这是最彻底的方法。编辑~/.bashrc添加exportPYTHONIOENCODINGutf-8保存。重新打开 Git Bash。检查echo$PYTHONIOENCODING输出utf-8即可。优点永久生效所有 Python 程序生效不需要每次输入参数。六、grep -a 临时解决 Binary file matches如果只是临时查看使用grep-aERROR例如python main.py--verbose|grep-aERROR适合临时排查日志快速过滤输出。但是它不是根治方案。因为ANSI 颜色码仍然存在。七、关闭 ANSI 彩色输出很多 CLI 工具支持方法一程序参数关闭例如python main.py --no-color或者tool--colorfalse方法二使用 NO_COLOR 标准很多现代 CLI 支持NO_COLOR1command例如NO_COLOR1python main.py|grepERROR关闭颜色后输出ERROR 初始化失败而不是ESC[31mERRORESC[0mgrep 也不会误判。八、重定向到文件再分析另一种稳定方式python main.pyoutput.txt21然后grepERROR output.txt优点文件编码稳定VSCode 可以识别 UTF-8方便保存日志。适合大型日志分析。例如python train.pytrain.log21grep-nERROR train.log九、PowerShell 下如何设置如果不是 Git Bash而是 PowerShell打开$PROFILE添加$env:PYTHONIOENCODINGutf-8重新打开 PowerShell。也可以临时$env:PYTHONIOENCODINGutf-8python main.py十、Git Bash 推荐配置对于 Windows 开发环境建议~/.bashrc添加# Python 输出统一使用 UTF-8exportPYTHONIOENCODINGutf-8# 禁止部分工具输出颜色exportNO_COLOR1之后python xxx.py|grepERROR基本不会再出现中文乱码Binary file matches。十一、如何判断到底是哪一个问题可以按照下面顺序排查。第一步直接运行程序python test.py如果中文正常说明程序没问题。第二步查看编码执行python-cimport sys;print(sys.stdout.encoding)如果cp936说明 Python 仍然使用 GBK。第三步检查 ANSI查看原始输出python test.py|xxd如果看到1b 5b 33 31说明存在ESC [31m即颜色控制符。第四步测试 grep -apython test.py|grep-aERROR如果能显示内容说明只是二进制检测问题。十二、为什么 Linux 和 macOS 很少遇到因为Linux/macOS 默认UTF-8整个系统文件编码终端编码Shell 环境基本统一。Windows 历史原因同时存在GBKUTF-8UTF-16OEM 编码。所以跨平台开发时更容易遇到。十三、开发者最佳实践如果你的程序需要被别人通过管道调用建议1. 默认不要输出颜色检测sys.stdout.isatty()例如ifsys.stdout.isatty():enable_color()else:disable_color()原因终端需要颜色。但是管道不需要。2. 明确指定 UTF-8Pythonprint(text.encode(utf-8))或者启动时PYTHONIOENCODINGutf-8 python app.py3. 提供 --no-color 参数这是优秀 CLI 工具的标准设计。例如tool --verbose --no-color总结Windows Git Bash 中使用 grep 过滤 Python 输出时出现Binary file (standard input) matches以及中文乱码通常不是 grep 本身的问题而是两个因素共同导致ANSI 颜色控制符导致 grep 判断输入为二进制Windows GBK 与 Python UTF-8 输出编码不一致推荐解决方案永久配置exportPYTHONIOENCODINGutf-8临时过滤grep-a关闭颜色NO_COLOR1最佳实践# ~/.bashrcexportPYTHONIOENCODINGutf-8exportNO_COLOR1配置完成后Git Bash 中 Python、grep、管道组合即可稳定处理中文日志输出。本文记录 Windows 开发环境中的实际排错过程适用于 Git Bash、Python CLI 工具以及大多数基于 UTF-8 输出的现代开发工具。本账号所有文章均为原创欢迎转载请注明文章出处https://shandianchengzi.blog.csdn.net/article/details/162127355。百度和各类采集站皆不可信搜索请谨慎鉴别。技术类文章一般都有时效性本人习惯不定期对自己的博文进行修正和更新因此请访问出处以查看本文的最新版本。