当前位置: 代码迷 >> 综合 >> Machine Learning 和 Data Science 的最佳公共数据集
  详细解决方案

Machine Learning 和 Data Science 的最佳公共数据集

热度:29   发布时间:2023-11-27 04:03:53.0

什么是机器学习的最佳数据集?本文整理了一个高质量、多样化的机器学习数据集榜单。

AUTHORS:
Stacy Stanford, Machine Learning Memoirs Inc.
Roberto Iriondo, Machine Learning Department, Carnegie Mellon University.

PUBLISHED:
October 2, 2018
LAST UPDATED:
May 15, 2019
原文链接(需翻墙):
https://medium.com/towards-artificial-intelligence/the-50-best-public-datasets-for-machine-learning-d80e9f030279

文章目录

  • Dataset Finders(去哪里寻找数据集)
  • General Datasets
    • - Public Government Datasets (政府公开数据集)
    • - Housing Datasets(住房数据集)
    • - Geographic Datasets(地理数据集)
    • - Finance & Economics Datasets(金融与经济数据集)
  • Machine Learning Datasets:
    • - Imaging Datasets(图像数据集)
    • - Sentiment Analysis Datasets(情绪分析数据集)
    • - Natural Language Processing Datasets(自然语言处理数据集)
    • - Self-driving (Autonomous Driving) Datasets (自动驾驶数据集)
    • - Clinical Datasets(临床数据集)
  • Source
  • Citation:

在搜索 high-quality datasets 时,要记住以下几点:

  1. 不混乱(messy),否则要花费大量时间来清理数据(cleaning data);
  2. 不要有太多的行和列,否则难以使用;
  3. 数据越干净越好,清洗大型数据集将非常非常耗时;
  4. 要有一个目标,比如要回答一个问题或做一个决策,而这个目标又是可以通过数据来解答的。

Dataset Finders(去哪里寻找数据集)

  • Google Dataset Search:与Google Scholar 类似,可以查找到托管在任何位置的数据集,无论是发布者的网站,数字图书馆还是作者的个人网页。
  • Kaggle:一个数据科学网站,包含了各种外部贡献的有趣数据集,从拉面评级到篮球数据,甚至是西雅图宠物许可证。
  • UCI Machine Learning Repository:UCI机器学习库,Web上最古老的数据集源之一,也是寻找有趣数据集时的第一站。 虽然数据集是用户贡献的,可能具有不同的清洁度(cleanliness),但绝大多数都是干净的。 可以直接下载数据,无需注册。
  • VisualData:Discover Computer Vision Datasets,计算机视觉(CV)数据集,支持搜索查询
  • Find Datasets | CMU Libraries:感谢Huajin Wang, CMU 搜集的高质量数据集

General Datasets


- Public Government Datasets (政府公开数据集)

  • Data.gov:该站点可以下载美国多个政府机构的数据。 数据范围从政府预算到学校绩效评估。 但请注意:大部分数据需要进一步研究。
  • Food Environment Atlas:包含地方食物的选择如何影响美国饮食结构的数据。
  • School system finances:对美国学校系统财务状况的调查。
  • Chronic disease data:有关美国各地区慢性病指标的数据。
  • The US National Center for Education Statistics:美国国家教育统计中心,来自美国和世界各地的教育机构和教育人口统计数据。
  • The UK Data Service:英国最大的社会、经济和人口数据集。
  • Data USA:美国公共数据的全面可视化。

- Housing Datasets(住房数据集)

  • Boston Housing Dataset:波士顿住房数据集,包含美国人口普查局(the U.S Census Service)收集的有关波士顿马萨诸塞州(Boston Mass)住房的信息。它来自 StatLib archive,并在整个文献中广泛用于基准(benchmark)算法。

- Geographic Datasets(地理数据集)

  • Google-Landmarks-v2:用于地标识别和检索(landmark
    recognition and retrieval.)的数据集(改进版)。 该数据集包含来自世界各地的200k+地标的5M+图像,由Wiki Commons社区提供和注释。

- Finance & Economics Datasets(金融与经济数据集)

  • Quandl:经济和金融数据的良好来源 - 有助于建立预测经济指标或股票价格的模型。
  • World Bank Open Data:世界银行开放数据,涵盖全球人口统计数据(population demographics),大量经济和发展指标的数据集。
  • IMF Data:国际货币基金组织(The International Monetary Fund)公布的有关国际金融,债务利率,外汇储备,商品价格和投资的数据。
  • Financial Times Market Data:金融时报市场数据,来自世界各地的金融市场的最新信息,包括股票价格指数,商品和外汇。
  • Google Trends:谷歌趋势数据,分析世界各地的互联网搜索活动和热门新闻报道的数据。
  • American Economic Association (AEA):美国经济协会(AEA),寻找美国宏观经济数据的良好来源。

Machine Learning Datasets:


- Imaging Datasets(图像数据集)

  • xView:最大的overhead imagery公开可用数据集之一。 包含来自世界各地复杂场景的图像,使用边界框进行注释。
  • Labelme:带注释图像的大型数据集。
  • ImageNet:根据WordNet层次结构组织的新算法的真实图像数据集,其中成千上万的图像描绘了层次结构的每个节点。
  • LSUN:场景理解与许多辅助任务(房间布局估计,显着性预测等)
  • MS COCO:通用图像理解和字幕。
  • COIL100 :360度旋转的每个角度拍摄的100个不同物体。
  • Visual Genome:视觉基因组,非常详细的视觉知识库,带有~100K带注释的图像。
  • Google’s Open Images:在知识共享下的900万个图像网站的集合,“已经注释了超过6,000个类别的标签”。
  • Labelled Faces in the Wild:13,000张人脸标记图像,用于开发涉及面部识别(facial recognition)的应用程序。
  • Stanford Dogs Dataset:包含20,580张图像和120种不同的犬种。
  • Indoor Scene Recognition:室内场景识别,一个非常特别的数据集,非常有用,因为大多数场景识别模型都是“在室外”场景下工作的。 包含67个室内类别和15620个图像。

- Sentiment Analysis Datasets(情绪分析数据集)

  • Multidomain sentiment analysis dataset:多域情绪分析数据集,一个稍微较旧的数据集,其中包含来自亚马逊的产品评论。
  • IMDB reviews:一个较旧的,相对较小的数据集,用于二元情绪分类的,包含25,000个电影评论。
  • Stanford Sentiment Treebank:具有情感注释的标准情绪数据集。
  • Sentiment140:一个流行的数据集,包含了160,000条已经删除了表情符号的 tweets 。
  • Twitter US Airline Sentiment:美国航空公司( US airlines)自2015年2月起的Twitter数据,tweets分类为正面,负面和中性。

- Natural Language Processing Datasets(自然语言处理数据集)

  • HotspotQA Dataset:问答数据集,多跳转问题,有助于实现更易于解释的问答系统。由卡内基梅隆大学,斯坦福大学和蒙特利尔大学的NLP研究人员团队收集。
  • Enron Dataset:来自Enron高级管理层的电子邮件数据,组织成文件夹。
  • Amazon Reviews:包含来自亚马逊的大约3500万条评论,跨度18年。 数据包括产品和用户信息,评级和明文审核。
  • Google Books Ngrams:来自Google图书的一系列文字。
  • Blogger Corpus:从blogger.com收集的681,288篇博客文章的集合。 每个博客至少包含200个常用英语单词。
  • Wikipedia Links data:维基百科的全文。 该数据集包含来自400多万篇文章的近19亿个单词。 可以按段落,短语或段落本身的一部分进行搜索。
  • Gutenberg eBooks List:Project Gutenberg的电子书注释列表。
  • Hansards text chunks of Canadian Parliament: 来自第36届加拿大议会(Canadian Parliament)记录的130万对文本。
  • Jeopardy:来自问答节目Jeopardy的超过200,000个问题的归档。
  • Rotten Tomatoes Reviews:存档超过480,000番茄评论(新鲜或腐烂)。
  • SMS Spam Collection in English:由5,574条英文短信垃圾邮件组成的数据集。
  • Yelp Reviews:Yelp发布的一个开放数据集,包含超过500万条评论。
  • UCI’s Spambase:一个大型垃圾邮件数据集,对垃圾邮件过滤非常有用。

- Self-driving (Autonomous Driving) Datasets (自动驾驶数据集)

  • Berkeley DeepDrive BDD100k:是目前AI自动驾驶最大的数据集。包含超过100,000个视频,包括一天中不同时段和天气条件下超过1,100小时的驾驶体验。带注释的图像来自纽约和旧金山地区。
  • Baidu Apolloscapes:大型数据集,定义了26种不同的语义项目,如汽车,自行车,行人,建筑物,路灯等。
  • Comma.ai:超过7小时的高速公路驾驶。细节包括汽车的速度,加速度,转向角和GPS坐标。
  • Oxford’s Robotic Car:牛津的机器人汽车,在一年的时间内,在英国牛津的相同路线重复超过100次。该数据集捕获天气,交通和行人的不同组合,以及建筑和道路工程等长期变化。
  • Cityscape Dataset:城市景观数据,一个大型数据集,记录50个不同城市的城市街景。
  • CSSAD Dataset:此数据集可用于自动驾驶车辆的感知和导航。数据集严重偏向发达国家的道路。
  • KUL Belgium Traffic Sign Dataset:比利时(Belgium)法兰德斯地区数千个物理上不同的交通标志,有超过10000多个交通标志注释(traffic sign annotations)。
  • MIT AGE Lab:麻省理工实验室,在AgeLab收集的1,000多小时多传感器驾驶数据集的样本。
  • LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets:智能和安全汽车实验室,加州大学圣地亚哥分校,该数据集包括交通标志,车辆检测,交通信号灯和轨迹模式。
  • Bosch Small Traffic Light Dataset:用于深度学习的小型交通灯的数据集。
  • LaRa Traffic Light Recognition:交通信号灯的另一个数据集。 在巴黎拍摄。
  • WPI datasets:交通信号灯,行人和车道检测的数据集。

- Clinical Datasets(临床数据集)

  • MIMIC-III:麻省理工学院计算生理学实验室(MIT Lab for Computational Physiology)开发的公开数据集,包括与约40,000名重症监护病人相关的去识别健康数据。 它包括人口统计学,生命体征,实验室测试,药物等。

Source

[1] https://cloud.google.com/public-datasets/
[2] https://guides.library.cmu.edu/c.php?g=844845&p=6191907
[3] https://www.forbes.com/sites/bernardmarr/2018/02/26/big-data-and-ai-30-amazing-and-free-public-data-sources-for-2018/#f3bdeb5f8aec
[4] https://github.com/takeitallsource/awesome-autonomous-vehicles#datasets
[5] https://medium.com/startup-grind/fueling-the-ai-gold-rush-7ae438505bc2
[6] https://www.dataquest.io/blog/free-datasets-for-projects/
[7] https://gengo.ai/datasets/the-best-25-datasets-for-natural-language-processing/
[8] https://github.com/awesomedata/awesome-public-datasets#machinelearning
[9] http://lib.stat.cmu.edu/datasets/
[10] Institutional Research and Analysis | Common Datasets | https://www.cmu.edu/ira/CDS/index.html
[11] Datasets and Project Suggestions | Andrew W. Moore | http://www.cs.cmu.edu/~awm/15781/project/data.html
[12] Datasets | Machine Learning Repository | MIT | https://ocw.mit.edu/courses/sloan-school-of-management/15-097-prediction-machine-learning-and-statistics-spring-2012/datasets/
[13] Datasets | MIT Lincoln Laboratory | https://www.ll.mit.edu/r-d/datasets
[14] Stanford Large Network Dataset Collection | Stanford University | https://snap.stanford.edu/data/
[15] Stanford Common Dataset | Stanford University | https://snap.stanford.edu/data/
[16] Datalab | UC Berkeley | http://www.lib.berkeley.edu/libraries/data-lab
[17] Exploring Datasets | Data Science at Berkeley | https://datascience.berkeley.edu/open-data-sets/
[18] DeepDrive | UC Berkeley | https://bdd-data.berkeley.edu/


Citation:

原文引用方式:

Stanford, et al., “The Best Public Datasets for Machine Learning and Data Science”, Towards AI, 2018

BibTex citation:

@misc{stanford_2018,title={The Best Public Datasets for Machine Learning and Data Science}, url={https://towardsai.net/datasets}, note={https://towardsai.net/datasets},journal={Medium}, publisher={Towards AI}, author={Stanford, Stacy and Iriondo, Roberto}, year={2018}, month={Oct}
}

最后感谢谷歌翻译,
另外还可参考:https://zhuanlan.zhihu.com/p/48691462 最强数据集集合:50个最佳机器学习公共数据集丨资源

Happy machine learning!

  相关解决方案