[数据仓库] 数据挖掘算法之关联规则开掘（一）apriori算法

数据挖掘算法之关联规则挖掘（一）apriori算法关联规则挖掘算法在生活中的应用处处可见，几乎在各个电子商务网站上都可以看到其应用举个简单的例子如当当网，在你浏览一本书的时候，可以在页面中看到一些套餐推荐，本书+有关系的书1+有关系的书2+...+其他物品=多少￥而这...

[数据仓库] 数据仓库课题（6）-数据仓库、主题域、主题概念与定义

数据仓库专题（6）-数据仓库、主题域、主题概念与定义一、数据仓库关于数据仓库概念的标准定义业内认可度比较高的，是由数据仓库之父比尔·恩门（BillInmon）在1991年出版的“BuildingtheDataWarehouse”（《建立数据仓库》）一书中所提出：中文定义：数据仓库是一个面向主题的、集...

[数据仓库] 数据挖掘之决策树算法ID3算法的有关原理

数据挖掘之决策树算法ID3算法的相关原理ID3决策树:针对属性选择问题，是决策树算法中最为典型和最具影响力的决策树算法。ID3决策树算法使用信息增益度作为选择测试属性。其中p(ai)表示ai发生的概率。假设有n个互不相容的事件a1,a2,a3,….,an,它们中有且仅有一个发生，则其平均的信息量可如...

[数据仓库] 数据挖掘报刊、论坛、博客、数据集

数据挖掘期刊、论坛、博客、数据集在数据挖掘：概念、模型、方法和算法这本书中，作者推荐了一些国外的期刊，论坛，博客，数据集，现在把可以进入网页的分享到csdn博客上。一、数据挖掘期刊1、DataMiningandKnowledgeDiscoveryhttp://www.kluweronline.com...

[数据仓库] 机器学习与数据挖掘-logistic回归及手写识别范例的实现

机器学习与数据挖掘-logistic回归及手写识别实例的实现本文主要介绍logistic回归相关知识点和一个手写识别的例子实现一、logistic回归介绍：logistic回归算法很简单，这里简单介绍一下：1、和线性回归做一个简单的对比下图就是一个简单的线性回归实例，简单一点就是一个线性方程表示(就...

[数据仓库] 每天定时导入hive数据仓库的自动化脚本

每日定时导入hive数据仓库的自动化脚本[Author]:kwu每日定时导入hive数据仓库的自动化脚本创建shell脚本，创建临时表，装载数据，转换到正式的分区表中：#!/bin/sh#uploadlogstohdfsyesterday=`date--date='1daysago'...

[数据仓库] 斯坦福数据挖掘（1）

斯坦福数据挖掘（一）斯坦福大学的ppt。

[数据仓库] 数据仓库课题（8）-维度属性选择之维护历史是否应该保留

数据仓库专题（8）-维度属性选择之维护历史是否应该保留一、背景数据仓库建模过程中，针对事务型事实表设计，经常会遇到维度属性选择的问题，比如客户维度，在操作型系统中，为了跟踪客户状态的变化，往往会附加客户记录的四个属性：1.addtime：添加时间；2.adduser：添加用户；3.modtime：修...

[数据仓库] 推荐数据挖掘入门教本《数据挖掘与机器学习 WEKA应用技术与实践》

推荐数据挖掘入门教材《数据挖掘与机器学习WEKA应用技术与实践》该书由于去年刚出比较新，所以很难在网上下载到电子书，本人很幸运找到了前两章的电子版，而第二章又是本书的关键，所以建议大家先看看第二章，如果觉的写的好，可以再买书，或寻求电子版的全书，下载前两章请到：http://download.csd...

[数据仓库] 数据仓库简介-数据集市

数据仓库简介---数据集市一、数据集市定义??数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。独立型数据集市：数据来自于操作型数据库，是为了满足特殊用户而建立的一种分析型环境。这种数据集市开发周期一般较短...

[数据仓库] 数据仓库简介-构成

数据仓库简介---组成??数据仓库的组成部分有：针对数据源的分析、数据的迁移、数据的存储结构、元数据管理等。数据源分析：业务系统的源数据通常来自企业的内部信息和外部信息。内部信息指来自企业的生产数据和历史归档数据；而企业的生产数据有可能来自于不同的业务系统，如何将这些业务数据进行标准化，转换成数据仓...

[数据仓库] 机器学习与数据挖掘-K最比邻(KNN)算法的实现（java和python版）

机器学习与数据挖掘-K最近邻(KNN)算法的实现（java和python版）KNN算法基础思想前面文章可以参考，这里主要讲解java和python的两种简单实现，也主要是理解简单的思想。http://blog.csdn.net/u011067360/article/details/23941577p...

[数据仓库] 数据仓库建设-数据建模

数据仓库建设---数据建模??首先我们先查看三个问题：①什么是数据模型；②为什么需要数据模型；③如何创建数据模型；一、什么是数据模型??数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，来表示现实世界中事务的相互关系的一种映射。在这里，数据模型表现的抽象的实体和实体之...

[数据仓库] hadoop学习（Map、Reduce、日志分析跟数据挖掘、大数据处理）

hadoop学习（Map、Reduce、日志分析和数据挖掘、大数据处理）对于hadoop，我也处于了解学习中，参考大量资料，现在同大家分享下学习内容。Hadoop是Apache下的一个项目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。其中，HDFS和MapRe...

[数据仓库] 数据仓库顺利的评价标准

数据仓库成功的评价标准在北京年会上我曾向Sybase公司的卢总监提问过关于数据仓库项目的失败率太高的问题，来表达数据仓库不仅仅是数据存储问题，而是一整套方案和方法论的问题；卢总监的回答是数据仓库的失败率并非80%都是失败的，很多项目介于成功失败之间；数据仓库项目实施周期比较长，不容易看到成果；其次有...

[数据仓库] 浅谈数据仓库建设中的数据建模步骤

浅谈数据仓库建设中的数据建模方法周三保([email protected])IBM软件部信息技术专家.简介：?本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型，而是将笔者在数据仓库建设项目中的一些经验，在这里分享给大家。希望帮助大家在数据仓库项目建设中总结出一套能够合乎目前业界...

[数据仓库] 使用excel进展数据挖掘（1）

使用excel进行数据挖掘（1）使用excel进行数据挖掘（1）在配置环境后，可以使用excel进行数据挖掘。环境配置问题可参阅：http://blog.csdn.net/xinxing__8185/article/details/46445435样例DMAddins_SampleData.xlsx...

[数据仓库] 使用excel进行数据挖掘（4）- 突出显示错误值

使用excel进行数据挖掘（4）----突出显示异常值使用excel进行数据挖掘（4）----突出显示异常值在配置环境后，可以使用excel进行数据挖掘。环境配置问题可参阅：http://blog.csdn.net/xinxing__8185/article/details/46445...

[数据仓库] 数据挖掘正常过程

数据挖掘一般过程目录1.数据集选取2.数据预处理(1)数据清理(2)数据集成(3)数据归约(4)数据变换和数据离散化3.数据分析算法4.分析总结改进这学期提前选课学习了DataMining，最近提交了论文已经彻底结了。想来想去还是写点东西记一下，假如以后能用上呢？仅供参考哈参考书:《数据挖掘概念与技...

[数据仓库] 《电脑时代》2015年第7期刊登出《基于数据仓库星形模式的广东省高速公路一张网资金结算情况分析系统》

《计算机时代》2015年第7期刊登出《基于数据仓库星形模式的广东省高速公路一张网资金结算情况分析系统》今天收到《计算机时代》编辑部寄来的2015年第7期样刊，在2015年第7期，刊登出了本人的论文------《基于数据仓库星形模式的广东省高速公路一张网资金结算情况分析系统》。《计算机时代》主页：ht...