当前位置： 代码迷 >> 综合 >> 批量 SQL 之 FORALL 语句
  详细解决方案

批量 SQL 之 FORALL 语句

热度：93   发布时间：2023-12-15 00:13:42.0
    对PL/SQL而言，任何的PL/SQL块或者子程序都是PL/SQL引擎来处理，而其中包含的SQL语句则由PL/SQL引擎发送SQL语句转交到SQL引擎来处
理，SQL引擎处理完毕后向PL/SQL引擎返回数据。Pl/SQL与SQL引擎之间的通信则称之为上下文切换。过多的上下文切换将带来过量的性能负载。
因此为减少性能的FORALL与BULK COLLECT的子句应运而生。即仅仅使用一次切换多次执行来降低上下文切换次数。本文主要描述FORALL子句。

一、FORALL语法描述

    FORALL loop_counter IN bounds_clause            -->注意FORALL块内不需要使用loop, end loop
    SQL_STATEMENT [SAVE EXCEPTIONS];
    
    bounds_clause的形式
    lower_limit .. upper_limit                                     -->指明循环计数器的上限和下限，与for循环类似
    INDICES OF collection_name BETWEEN lower_limit .. upper_limit  -->引用特定集合元素的下标(该集合可能为稀疏)
    VALUES OF colletion_name                                       -->引用特定集合元素的值
    
    SQL_STATEMENT部分：SQL_STATEMENT部分必须是一个或者多个集合的静态或者动态的DML(insert,update,delete)语句。
    SAVE EXCEPTIONS部分：对于SQL_STATEMENT部分导致的异常使用SAVE EXCEPTIONS来保证异常存在时语句仍然能够继续执行。

二、使用 FORALL 代替 FOR 循环提高性能
 
-->下面的示例使用了FOR循环与FORALL循环操作进行对比，使用FORALL完成同样的功能，性能明显提高
CREATE TABLE t
(
col_num   NUMBER
,col_var   VARCHAR2( 10 )
);
DECLARE
TYPE col_num_type IS TABLE OF NUMBER            -->声明了两个联合数组
INDEX BY PLS_INTEGER;
TYPE col_var_type IS TABLE OF VARCHAR2( 10 )
INDEX BY PLS_INTEGER;
col_num_tab    col_num_type;
col_var_tab    col_var_type;
v_start_time   INTEGER;
v_end_time     INTEGER;
BEGIN
FOR i IN 1 .. 5000                    -->使用FOR循环向数组填充元素
LOOP
col_num_tab( i ) := i;
col_var_tab( i ) := 'var_' || i;
END LOOP;
v_start_time := DBMS_UTILITY.get_time;  -->获得FOR循环向表t插入数据前的初始时间
FOR i IN 1 .. 5000                   -->使用FOR循环向表t插入数据
LOOP
INSERT INTO t
VALUES ( col_num_tab( i ), col_var_tab( i ) );
END LOOP;
v_end_time  := DBMS_UTILITY.get_time;
DBMS_OUTPUT.put_line( 'Duration of the FOR LOOP: ' || ( v_end_time - v_start_time ) );
v_start_time := DBMS_UTILITY.get_time;
FORALL i IN 1 .. 5000          -->使用FORALL循环向表t插入数据
INSERT INTO t
VALUES ( col_num_tab( i ), col_var_tab( i ) );
v_end_time  := DBMS_UTILITY.get_time;
DBMS_OUTPUT.put_line( 'Duration of the FORALL STATEMENT: ' || ( v_end_time - v_start_time ) );
COMMIT;
END;
Duration of the FOR LOOP: 68           -->此处的计时单位为百分之一秒，即0.68s，下同
Duration of the FORALL STATEMENT: 18
PL/SQL procedure successfully completed.
三、SAVE EXCEPTIONS
         对于任意的SQL语句执行失败，将导致整个语句或整个事务会滚。而使用SAVE EXCEPTIONS可以使得在对应的SQL语句异常的情形下，FORALL
仍然可以继续执行。如果忽略了SAVE EXCEPTIONS时，当异常发生，FORALL语句就会停止执行。因此SAVE EXCEPTIONS使得FORALL子句中的DML下
产生的所有异常都将记录在SQL%BULK_EXCEPTIONS的游标属性中。SQL%BULK_EXCEPTIONS属性是个记录集合，其中的每条记录由两个字段组成，

ERROR_INDEX和ERROR_CODE。ERROR_INDEX字段会存储发生异常的FORALL语句的迭代编号，而ERROR_CODE则存储对应异常的ORACLE错误代码。类似于这样：(2,01400)，(6,1476)和(10,12899)。存放在%BULK_EXCEPTIONS中的值总是与最近一次FORALL语句执行的结果相关，异常的个数存放在%BULK_EXCEPTIONS的COUNT属性中，%BULK_EXCEPTIONS有效的下标索引范围在1到%BULK_EXCEPTIONS.COUNT之间。

1、%BULK_EXCEPTIONS的用法
CREATE TABLE tb_emp AS              -->创建表tb_emp
SELECT empno, ename, hiredate
FROM   emp
WHERE  1 = 2;
ALTER TABLE tb_emp MODIFY(empno NOT NULL);   -->为表添加约束
DECLARE
TYPE col_num_type IS TABLE OF NUMBER            -->一共定义了3个联合数组类型
INDEX BY PLS_INTEGER;
TYPE col_var_type IS TABLE OF VARCHAR2( 100 )
INDEX BY PLS_INTEGER;
TYPE col_date_type IS TABLE OF DATE
INDEX BY PLS_INTEGER;
empno_tab      col_num_type;
ename_tab      col_var_type;
hiredate_tab   col_date_type;
v_counter      PLS_INTEGER := 0;
v_total        INTEGER := 0;
errors         EXCEPTION;                      -->声明异常
PRAGMA EXCEPTION_INIT( errors, -24381 );
BEGIN
FOR rec IN ( SELECT empno, ename, hiredate FROM emp )   -->使用for循环将数据填充到联合数组
LOOP
v_counter   := v_counter + 1;
empno_tab( v_counter ) := rec.empno;
ename_tab( v_counter ) := rec.ename;
hiredate_tab( v_counter ) := rec.hiredate;
END LOOP;
empno_tab( 2 ) := NULL;                                -->对部分数据进行处理以产生异常
ename_tab( 5 ) := RPAD( ename_tab( 5 ), 15, '*' );
empno_tab( 10 ) := NULL;
FORALL i IN 1 .. empno_tab.COUNT                      -->使用forall将联合数组中的数据插入到表tb_emp
SAVE EXCEPTIONS
INSERT INTO tb_emp
VALUES ( empno_tab( i ), ename_tab( i ), hiredate_tab( i ) );
COMMIT;
SELECT COUNT( * ) INTO v_total FROM tb_emp;
DBMS_OUTPUT.put_line( v_total || ' rows were inserted to tb_emp' );
EXCEPTION
WHEN errors THEN
DBMS_OUTPUT.put_line( 'There are ' || SQL%bulk_exceptions.COUNT || ' exceptions' );
FOR i IN 1 .. SQL%bulk_exceptions.COUNT            -->SQL%bulk_exceptions.COUNT记录异常个数来控制迭代
LOOP
DBMS_OUTPUT.
put_line(
'Record '
|| SQL%bulk_exceptions( i ).error_index
|| ' caused error '
|| i
|| ': '
|| SQL%bulk_exceptions( i ).error_code
|| ' '
|| SQLERRM( -SQL%bulk_exceptions( i ).error_code ) );   -->使用SQLERRM根据错误号抛出具体的错误信息
END LOOP;
END;
There are 3 exceptions
Record 2 caused error 1: 1400 ORA-01400: cannot insert NULL into ()
Record 5 caused error 2: 12899 ORA-12899: value too large for column  (actual: , maximum: )
Record 10 caused error 3: 1400 ORA-01400: cannot insert NULL into ()
PL/SQL procedure successfully completed.
2、%BULK_ROWCOUNT
%BULK_ROWCOUNT也是专门为FORALL设计的，用于保存第i个元素第i次insert或update或delete所影响到的行数。如果第i次操作没有行被影
响，则%BULK_ROWCOUNT返回为零值。FORALL语句和%BULK_ROWCOUNT属性使用同样的下标索引。如果FORALL使用下标索引的范围在5到8的话，那么
%BULK_ROWCOUNT的也是5到8。需要注意的是一般情况下，对于insert .. values而言，所影响的行数为1，即%BULK_ROWCOUNT的值为1。而对于
insert .. select方式而言，%BULK_ROWCOUNT的值就有可能大于1。update与delete语句存在0，1，以及大于1的情形。
DECLARE
TYPE dept_tab_type IS TABLE OF NUMBER;
dept_tab   dept_tab_type := dept_tab_type( 10, 20, 50 );    -->声明及初始化嵌套表
BEGIN
FORALL i IN dept_tab.FIRST .. dept_tab.LAST                 -->使用FORALL更新
UPDATE emp
SET    sal          = sal * 1.10
WHERE  deptno = dept_tab( i );
-- COMMIT;
FOR i IN 1 .. dept_tab.COUNT                               -->循环输出每次执行SQL语句影响的行数
LOOP
DBMS_OUTPUT.put_line( 'Dept no ' || dept_tab( i ) || ' has ' || SQL%bulk_rowcount (i) || ' rows been updated' );
END LOOP;
-- Did the 3rd UPDATE statement affect any rows?
IF SQL%bulk_rowcount (3) = 0 THEN
DBMS_OUTPUT.put_line( 'The deptno 50 has not child record' );
END IF;
END;
Dept no 10 has 3 rows been updated
Dept no 20 has 5 rows been updated
Dept no 50 has 0 rows been updated
The deptno 50 has not child record
PL/SQL procedure successfully completed.
四、INDICES OF 选项
    INDICES OF 选项用于处理稀疏集合类型。即当集合(嵌套表或联合数组)中的元素被删除之后，对稀疏集合实现迭代。 
-->下面的脚本同前面的示例基本相似，所不同的是使用了delete方式删除其中的部分记录，导致集合变得稀疏。
-->其次在forall子句处使用indices OF方式来控制循环。		
TRUNCATE TABLE tb_emp;
DECLARE
TYPE col_num_type IS TABLE OF NUMBER
INDEX BY PLS_INTEGER;
TYPE col_var_type IS TABLE OF VARCHAR2( 100 )
INDEX BY PLS_INTEGER;
TYPE col_date_type IS TABLE OF DATE
INDEX BY PLS_INTEGER;
empno_tab      col_num_type;
ename_tab      col_var_type;
hiredate_tab   col_date_type;
v_counter      PLS_INTEGER := 0;
v_total        INTEGER := 0;
BEGIN
FOR rec IN ( SELECT empno, ename, hiredate FROM emp )
LOOP
v_counter   := v_counter + 1;
empno_tab( v_counter ) := rec.empno;
ename_tab( v_counter ) := rec.ename;
hiredate_tab( v_counter ) := rec.hiredate;
END LOOP;
empno_tab.delete( 2 );       -->此处删除了数组中的第二个元素，导致数组变为稀疏型
ename_tab.delete( 2 );
hiredate_tab.delete( 2 );
FORALL i IN indices OF empno_tab   -->此处使用了indices OF empno_tab，则所有未被delete的元素都将进入循环
INSERT INTO tb_emp
VALUES ( empno_tab( i ), ename_tab( i ), hiredate_tab( i ) );
COMMIT;
SELECT COUNT( * ) INTO v_total FROM tb_emp;
DBMS_OUTPUT.put_line( v_total || ' rows were inserted to tb_emp' );
END;
13 rows were inserted to tb_emp
PL/SQL procedure successfully completed.
五、VALUES OF 选项
    VALUES OF选项可以指定FORALL语句中循环计数器的值来自于指定集合中元素的值。
    VALUES OF选项使用时有一些限制
          如果VALUES OF子句中所使用的集合是联合数组，则必须使用PLS_INTEGER和BINARY_INTEGER进行索引
          VALUES OF 子句中所使用的元素必须是PLS_INTEGER或BINARY_INTEGER
          当VALUES OF 子句所引用的集合为空，则FORALL语句会导致异常                
TRUNCATE TABLE tb_emp;
CREATE TABLE tb_emp_ins_log AS                    -->创建一张与tb_emp结构类似的表tb_emp_ins_log
SELECT *
FROM   tb_emp
WHERE  1 = 0;
ALTER TABLE tb_emp_ins_log MODIFY(ename VARCHAR2(50));   -->修改列ename的长度
DECLARE
TYPE col_num_type IS TABLE OF tb_emp.empno%TYPE
INDEX BY PLS_INTEGER;
TYPE col_var_type IS TABLE OF VARCHAR2( 100 )
INDEX BY PLS_INTEGER;
TYPE col_date_type IS TABLE OF tb_emp.hiredate%TYPE
INDEX BY PLS_INTEGER;
TYPE ins_log_type IS TABLE OF PLS_INTEGER         -->此处较之前的示例多声明了一个联合数组
INDEX BY PLS_INTEGER;     -->用于填充异常记录的元素值
empno_tab      col_num_type;
ename_tab      col_var_type;
hiredate_tab   col_date_type;
ins_log_tab    ins_log_type;
v_counter      PLS_INTEGER := 0;
v_total        INTEGER := 0;
errors         EXCEPTION;
PRAGMA EXCEPTION_INIT( errors, -24381 );
BEGIN
FOR rec IN ( SELECT empno, ename, hiredate FROM emp )
LOOP
v_counter   := v_counter + 1;
empno_tab( v_counter ) := rec.empno;
ename_tab( v_counter ) := rec.ename;
hiredate_tab( v_counter ) := rec.hiredate;
END LOOP;
ename_tab( 2 ) := RPAD( ename_tab( 2 ), 15, '*' );    -->使记录2与记录5的ename列长度变长而产生异常
ename_tab( 5 ) := RPAD( ename_tab( 5 ), 15, '*' );
empno_tab( 6 ) := NULL;                          -->使第6条记录的empno为NULL值，由于表tb_emp的empno不允许为NULL而产生异常
FORALL i IN 1 .. empno_tab.COUNT
SAVE EXCEPTIONS
INSERT INTO tb_emp
VALUES ( empno_tab( i ), ename_tab( i ), hiredate_tab( i ) );
COMMIT;
EXCEPTION
WHEN errors THEN
FOR i IN 1 .. SQL%bulk_exceptions.COUNT
LOOP
ins_log_tab( i ) := SQL%bulk_exceptions( i ).error_index;   -->异常记录的索引值将填充ins_log_type联合数组
END LOOP;                                    -->此处的结果是ins_log_tab(1)=2,  ins_log_tab(2)=5,  ins_log_tab(2)=6
FORALL i IN VALUES OF ins_log_tab   -->使用VALUES OF子句为ins_log_type联合数组中的元素值
INSERT INTO tb_emp_ins_log
VALUES ( empno_tab( i ), ename_tab( i ), hiredate_tab( i ) );  -->因此values中的i分别为2和5
COMMIT;
END;
PL/SQL procedure successfully completed.
-->异常的记录被插入到表tb_emp_ins_log
select * from tb_emp_ins_log;
EMPNO ENAME                                              HIREDATE
---------- -------------------------------------------------- ---------
7369 Henry**********                                    17-DEC-80
7566 JONES**********                                    02-APR-81
MARTIN                                             28-SEP-81
六、INDICES OF 与 VALUES OF 的综合运用 
-->下面的例子来自Oracle		http://docs.oracle.com/cd/B19306_01/appdev.102/b14261/tuning.htm
-- Create empty tables to hold order details
CREATE TABLE valid_orders
(
cust_name   VARCHAR2( 32 )
,amount      NUMBER( 10, 2 )
);
CREATE TABLE big_orders AS
SELECT *
FROM   valid_orders
WHERE  1 = 0;
CREATE TABLE rejected_orders AS
SELECT *
FROM   valid_orders
WHERE  1 = 0;
DECLARE
-- Make collections to hold a set of customer names and order amounts.
SUBTYPE cust_name IS valid_orders.cust_name%TYPE;
TYPE cust_typ IS TABLE OF cust_name;
cust_tab             cust_typ;
SUBTYPE order_amount IS valid_orders.amount%TYPE;
TYPE amount_typ IS TABLE OF NUMBER;
amount_tab           amount_typ;
-- Make other collections to point into the CUST_TAB collection.
TYPE index_pointer_t IS TABLE OF PLS_INTEGER;
big_order_tab        index_pointer_t := index_pointer_t( );
rejected_order_tab   index_pointer_t := index_pointer_t( );
PROCEDURE setup_data IS
BEGIN
-- Set up sample order data, including some invalid orders and some 'big' orders.
cust_tab    :=
cust_typ( 'Company1','Company2','Company3','Company4','Company5' );
amount_tab  :=
amount_typ( 5000.01,0,150.25,4000.00,NULL );
END;
BEGIN
setup_data( );
DBMS_OUTPUT.put_line( '--- Original order data ---' );
FOR i IN 1 .. cust_tab.LAST
LOOP
DBMS_OUTPUT.put_line( 'Customer #' || i || ', ' || cust_tab( i ) || ': $' || amount_tab( i ) );
END LOOP;
-- Delete invalid orders (where amount is null or 0).
FOR i IN 1 .. cust_tab.LAST
LOOP
IF amount_tab( i ) IS NULL OR amount_tab( i ) = 0 THEN
cust_tab.delete( i );
amount_tab.delete( i );
END IF;
END LOOP;
DBMS_OUTPUT.put_line( '--- Data with invalid orders deleted ---' );
FOR i IN 1 .. cust_tab.LAST
LOOP
IF cust_tab.EXISTS( i ) THEN
DBMS_OUTPUT.put_line( 'Customer #' || i || ', ' || cust_tab( i ) || ': $' || amount_tab( i ) );
END IF;
END LOOP;
-- Because the subscripts of the collections are not consecutive, use
-- FORALL...INDICES OF to iterate through the actual subscripts,
-- rather than 1..COUNT
FORALL i IN indices OF cust_tab
INSERT INTO valid_orders( cust_name, amount )
VALUES ( cust_tab( i ), amount_tab( i ) );
-- Now process the order data differently
-- Extract 2 subsets and store each subset in a different table
setup_data( );                    -- Initialize the CUST_TAB and AMOUNT_TAB collections again.
FOR i IN cust_tab.FIRST .. cust_tab.LAST
LOOP
IF amount_tab( i ) IS NULL OR amount_tab( i ) = 0 THEN
rejected_order_tab.EXTEND;                          -- Add a new element to this collection
-- Record the subscript from the original collection
rejected_order_tab( rejected_order_tab.LAST ) := i;
END IF;
IF amount_tab( i ) > 2000 THEN
big_order_tab.EXTEND;                            -- Add a new element to this collection
-- Record the subscript from the original collection
big_order_tab( big_order_tab.LAST ) := i;
END IF;
END LOOP;
-- Now it's easy to run one DML statement on one subset of elements,
-- and another DML statement on a different subset.
FORALL i IN VALUES OF rejected_order_tab
INSERT INTO rejected_orders
VALUES ( cust_tab( i ), amount_tab( i ) );
FORALL i IN VALUES OF big_order_tab
INSERT INTO big_orders
VALUES ( cust_tab( i ), amount_tab( i ) );
COMMIT;
END;
--- Original order data ---
Customer #1, Company1: $5000.01
Customer #2, Company2: $0
Customer #3, Company3: $150.25
Customer #4, Company4: $4000
Customer #5, Company5: $
--- Data with invalid orders deleted ---
Customer #1, Company1: $5000.01
Customer #3, Company3: $150.25
Customer #4, Company4: $4000
PL/SQL procedure successfully completed.
SELECT cust_name "Customer", amount "Valid order amount" FROM valid_orders;
Customer                         Valid order amount
-------------------------------- ------------------
Company1                                    5000.01
Company3                                     150.25
Company4                                       4000
SELECT cust_name "Customer", amount "Big order amount" FROM big_orders;
Customer                         Big order amount
-------------------------------- ----------------
Company1                                  5000.01
Company4                                     4000
SELECT cust_name "Customer", amount "Rejected order amount" FROM rejected_orders;
Customer                         Rejected order amount
-------------------------------- ---------------------
Company2                                             0
Company5
--Author: Robinson Cheng
--Blog : http://blog.csdn.net/robinson_0612
--	上面的例子对订单进行分类，并将其保存到三张不同类型的表中。
--	1、首先定义了两个嵌套表cust_tab，amount_tab用于保存原始数据，setup_data( )则用来初始化数据。
--	2、第一个for循环用于输出所有的订单，第二个for循环则用来将删除amount_tab中为NULL或0值的记录。
--	3、第三个for循环则用来输出经过删除之后剩余的记录，使用exists方法判断。
--	4、使用forall子句将所有有效的记录插入到valid_orders，注意此时使用了indices of，因此此时的两个嵌套表已为稀疏表。
--	5、在这之后，使用setup_data( )重新初始化数据。
--	6、将无效订单的下标记录到rejected_order_tab嵌套表，将amount > 2000订单的下标记录到big_order_tab。
--	7、使用VALUES OF 子句将两个嵌套表中对应下表的记录插入到对应的表中。
七、更多参考

批量 SQL 之 BULK COLLECT 子句

PL/SQL 集合的初始化与赋值
PL/SQL 联合数组与嵌套表
PL/SQL 变长数组
PL/SQL --> PL/SQL记录

SQL tuning 步骤

高效SQL语句必杀技

父游标、子游标及共享游标

绑定变量及其优缺点

dbms_xplan之display_cursor函数的使用

dbms_xplan之display函数的使用

执行计划中各字段各模块描述

使用 EXPLAIN PLAN 获取SQL语句执行计划

启用 AUTOTRACE 功能

函数使得索引列失效

Oracle 绑定变量窥探

Oracle 自适应共享游标                      
  相关解决方案

代码迷 - 您身边的软件异常，代码异常，编程异常助手（发现，解决，分享）
Copyright © 2009-2013 DAIMAMI.COM. All rights reserved.