问题描述
执行以下代码以加载几个大型（~200MB）Json 文件：
def work():
jsons = get_data()
# do something with the jsons
def get_data():
json_files = []
for json_path in file_paths_list:
json_files.append(load_json(json_path))
return json_files
def load_json(json_path):
import json
with open(json_path) as f:
return json.load(f)
这是 Pycharm 的自定义 VM 选项的外观（最多 30GB 堆大小，RAM 为 32GB）：
# custom PyCharm VM options
-Xms25000m
-Xmx30000m
...
...
...
已应用“使缓存无效/重新启动”的流行建议。
加载 2 个文件（总共约 400MB）后，在第 3 个文件中，抛出异常“MemoryError”。
我不明白为什么如果我有高达 30GB 的堆大小，仅在 400MB 后就会抛出内存错误？
谢谢，
1楼
PyCharm 是 Python IDE，而不是 Python 解释器。 它使用的内存用于编辑阶段。
由于 python 对象的开销，400MB 的文件很可能会扩展到几 GB 的数据（可能不是 30，而是 3 或 4）。 例子：
>>> s = "hello"
>>> import sys
>>> sys.getsizeof(s)
54
基本上，ram 中对象的大小远高于字符串的大小。
所以如果你的 python 解释器是 32 位解释器，你有 2GB 或 3GB 的限制，这可以解释这一点。 PyCharm 使用 64 位内核，但无法帮助解释器部分。
升级到 64 位解释器，它可以让您的所有 RAM 受益。
您可以使用此（来自 Pycharm）检查版本信息和 32/64 位信息：
>>> import sys
>>> sys.version
例如我得到：
('3.4.3 (v3.4.3:9b73f1c3e601, Feb 24 2015, 22:44:40) [MSC v.1600 64 bit '
'(AMD64)]')
如果它显示“32 位”，我的猜测是正确的。 所以卸载32位版本并安装相同版本的python，但在64位，并在pycharm中选择它作为当前解释器。
您可能需要在新安装中安装其他模块，因此最好在卸载之前，以便能够在新的 64 位版本上执行全局pip install 。