2011年9月24日土曜日

[GI]2ノード目以降のノードでroot.shが失敗する

root.shネタをもう一つ。

問題:
Grid Infrastructureのインストール時に、
2ノード目以降のノードでroot.shが失敗する

発生環境(実際はOSの種類より、OS/ネットワーク周りの設定に依存):
OS:SUSE Linux Enterprise Server 11 SP1 (11.1.1-1.152) 64bit
Oracle: 11.2.0.2.0 64bit
構成:2ノードRAC

エラー:
Failed to start Oracle Clusterware stack
Failed to start Cluster Synchorinisation Service in clustered mode at /opt/app/11.2.0/grid/crs/install/crsconfig_lib.pm line 1016.
/opt/app/11.2.0/grid/perl/bin/perl -I/opt/app/11.2.0/grid/perl/lib -I/opt/app/11.2.0/grid/crs/install /opt/app/11.2.0/grid/crs/install/rootcrs.pl execution failed


root.sh実行時のログ(どちらのノードでも発生):
----------------------------------------
geeko2:/opt/app/11.2.0/grid # ./root.sh
Running Oracle 11g root script...

The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /opt/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /opt/app/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
OLR initialization - successful
Adding daemon to inittab
ACFS-9459: ADVM/ACFS is not supported on this OS version: 'sles-release-11.1-1.152
'
ACFS-9201: Not Supported
ACFS-9459: ADVM/ACFS is not supported on this OS version: 'sles-release-11.1-1.152
'
CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node geeko1, number 1, and is terminating
An active cluster was found during exclusive startup, restarting to join the cluster
Failed to start Oracle Clusterware stack
Failed to start Cluster Synchorinisation Service in clustered mode at /opt/app/11.2.0/grid/crs/install/crsconfig_lib.pm line 1016.
/opt/app/11.2.0/grid/perl/bin/perl -I/opt/app/11.2.0/grid/perl/lib -I/opt/app/11.2.0/grid/crs/install /opt/app/11.2.0/grid/crs/install/rootcrs.pl execution failed

----------------------------------------

原因:
(1)インターコネクトに使用しているネットワークにおいてマルチキャスト通信が有効になっていない
   or
(2)製品の不具合
   11.2.0.2.0のインターコネクト内で使用するチェック対象のポートが
   アドレス 230.0.1.0(ポート 42424)※ の 1つのみとなっていることが不具合。
   アドレス 230.0.1.0(ポート 42424) を既に使用してる、またはどこかで閉じられているため
   チェック時にポートの競合が発生している、
   またはそれ以外の理由で230.0.1.0(ポート 42424)で通信ができない
   ※HAIPとはまた別で使っている。


対応策:
(1)インターコネクトに使用してるネットワーク(ネットワークデバイスや通信)において、
  マルチキャスト通信を有効化する。
   or
(2)Patch 9974223 を適用する
   Patch 9974223は、11.2.0.2.3 Grid Infrastructure Patch Set Update(GI PSU)
   であるp12419353_112020_Linux-x86-64.zipに入っているのだが、
   いかんせん適用前のインストール段階でこのエラーが発生してしまう。。。
   対応手順としては、oraInstroot.shを両ノード実行後に、両ノードにPatch 9974223を適用
   root.shを両ノードで実行。
   ※1.なお、11.2.0.2.3適用時にもちろんコンフリクトするので、rollbackしてから11.2.0.2.3を
     当てる必要がある。
   ※2.11.2.0.3.0でFIXされているかは現時点で不明
     (List of Bugs Fixedがまだ公開されてない)


問題切り分け方法:
Doc:1212703.1に記載があるがocssdのログに同じメッセージがループするのでチェック
Doc:1212703.1KROWN#152943どちらにも記載があるが、
ポートチェックモジュールが用意されており、事象に合致しているかの確認が可能


モジュールインストール後、root.sh前にパッチ当てたり、
なんかリンク張ったりとか昔もあったような?
root.shこけると精神的ダメージでかいですよね・・・

[GI]root.sh実行時にACFS-9459、ACFS-9459が発生

くだらないけど。メモメモ。

問題:
Grid Infrastructureインストール後、
root.sh実行時にACFS-9459、ACFS-9459発生

環境
OS:SUSE Linux Enterprise Server 11 SP1 (11.1.1-1.152) 64bit
Oracle: 11.2.0.2.0 64bit
構成:2ノードRAC

エラー:
ACFS-9459: ADVM/ACFS is not supported on this OS version: 'sles-release-11.1-1.152'
ACFS-9201: Not Supported
ACFS-9459: ADVM/ACFS is not supported on this OS version: 'sles-release-11.1-1.152'

root.sh実行時のログ(どちらのノードでも発生):
----------------------------------------
geeko2:/opt/app/11.2.0/grid # ./root.sh
Running Oracle 11g root script...

The following environment variables are set as:
ORACLE_OWNER= grid
ORACLE_HOME= /opt/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]:
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /opt/app/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
OLR initialization - successful
Adding daemon to inittab
ACFS-9459: ADVM/ACFS is not supported on this OS version: 'sles-release-11.1-1.152'
ACFS-9201: Not Supported
ACFS-9459: ADVM/ACFS is not supported on this OS version: 'sles-release-11.1-1.152'
---------------------------

原因:サポートしてないもんはサポートしてない!!

以下、
Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2(11.2)for Linux 
B56271-03
より

--------------------------
注意:
Oracle ASM 11gリリース2(11.2)for Linux以上では、Oracle ACFSおよび
Oracle ASM動的ボリューム・マネージャ(Oracle ADVM)は、
次の環境でのみサポートされます。

・Red Hat and Oracle Linux 5、32-bit
・Red Hat and Oracle Linux 5、64-bit

Oracle Virtualization(OVM)環境には、
Red HatまたはOracle Linux 5 Update 4以上が必要です。

Oracle ASM 11gリリース2(11.2.0.2)for Linux以上では、
次のプラットフォームでもOracle ACFSおよびADVMがサポートされます。

・SUSE Enterprise Linux 10 Service Pack 3(x86_64)以上
・SUSE Enterprise Linux 11は現時点ではサポートされていません。
・IBM: Linux on System zでは、Oracle ACFSはサポートされていません。



てなわけで、対応は無視ということで。

SUSE LinuxでACFSを使いたい人は、
SUSE Enterprise Linux 10 Service Pack 3(x86_64)にしましょうね(笑)

2011年9月23日金曜日

Oracle PSR11.2.0.3.0がダウンロード可能になりましたよっ♪

x86系なんて儲かんないから、やってらんねーやっぱ、ハイエンドっしょ。
Exadataより下のランクで、拡張可能なDatabase Applianceも出しちゃうぜ。
つーか、SPARC T4まじ速いからwww

とまぁ、相変わらずの帝王発言で騒然な昨今ですが、地味ネタをひとつ。

------

@wmo6hashさんが21日にでるんじゃない?と呟いていたので、
MOSを見てみたら、、、

おおぉぉーー、出とる。出とる。

11.2.0.3.0出とる。
最終更新が2011年9月24日(明日)とかなってる(笑)

Linux x86とx86_64はダウンロードできるなぁ。
Windows版はまだ出てないみたい。。
Solaris SPAC版もw

ダウンロードモジュールの復習をしとくと、、
■Oracle Database
 (includes Oracle Database and Oracle RAC)
・p10404530_112030_platform_1of7.zip
・p10404530_112030_platform_2of7.zip

■Oracle Grid Infrastructure
 (includes Oracle ASM, Oracle Clusterware, and Oracle Restart)
・p10404530_112030_platform_3of7.zip

■Oracle Database Client
・p10404530_112030_platform_4of7.zip

■Oracle Gateways
・p10404530_112030_platform_5of7.zip

■Oracle Examples
・p10404530_112030_platform_6of7.zip

■Deinstall
・p10404530_112030_platform_7of7.zip


まぁ、1、2、3があればいっしょ。

Readmeを軽く流し読みすると、
新規で11.2.0.3.0からインストール出来まっせ。(11.2.0.2.0からそうですが)
おススメしないけど、既存のOracleモジュールに適用もできるし、
既存と別の場所に新規でインストールもできるぜ。(別ORACLE_HOMEっすな)と。


今回は、11.2.0.2.0の時の様な、めちゃくちゃな新機能の追加はないのかしら?

詳しくは
"Oracle Database 11g Release 2 (11.2.0.3) New Features" in Oracle Database New Features Guide
を読め。

って書いてあるけど、ドキュメントどこにあるかしら・・・?


追記
---------
wmo6hashさんのコメントを受けて追記
> wmo6hashさん
ありがとうございま~す。

結論から言うと11.2.0.3.0は11.2.0.2.0の様な、
PSRレベルを大幅に超えた(笑)新機能追加はない。
(と個人的には思う)

ざっくり記載すると、以下3点。

1)ACFS関連の強化
2)XML関連の強化/変更
3)Oracle Warehouse Builder関連の強化

出典:Oracle® Database New Features Guide 11g Release 2 (11.2) Part Number E22487-02

2011年9月4日日曜日

[ASMLIB]EMC PowerPathの場合のお作法

ASMLIBの設定は、基本は前回のやり方だが、
EMC PowerPathの場合はお作法があるので書き留めておく。

前回の方法でやってみると、、

# /etc/init.d/oracleasm createdisk CRS /dev/emcpowera1
Marking disk "/dev/emcpowera1" as an ASM disk: asmtool: Device "/dev/emcpowera1" is not a partition [FAILED]

えっ・・・!!

とかなる。

EMC PowerPath version 5.0.1-5.3はoracleasmコマンドのi/o callを
サポートしていないのが原因だそうです。。。


対応方法は以下の通り。

1.以下のasmtoolコマンドを実行します。
/usr/sbin/asmtool -C -l /dev/oracleasm -n <volumename> -s /dev/<emc device> -a force=yes

例)
/usr/sbin/asmtool -C -l /dev/oracleasm -n CRS -s /dev/emcpowera1 -a force=yes

実行結果は、、、

asmtool: Device "/dev/emcpowera1" is not a partition
asmtool: Continuing anyway

なんだよ。。結局エラーみたいな結果返してきやがる(-_-")
まぁ、正しいと信じるしかない。


2./dev/oracleasm/disks配下のファイルの権限が"root: root"と
なっていることを確認する

# /sbin/service oracleasm restart
も一応実行

それでも権限が変わらないなら、リブートを実行

3.残りのノードでマーキング情報を読み込み
# /etc/init.d/oracleasm scandisks
Scanning the system for Oracle ASMLib disks:
[ OK ]

上記2を一応実施

以上、なんだかなぁ・・

参考資料:Doc#469163.1 (My Oracle Support見れる場合はこっち)
Dell™ PowerEdge™ Systems Oracle® Database on Enterprise Linux® x86_64 Troubleshooting Guide Version 4.3 (p14ページ)

いまさら(?)だけどASMLIB導入方法

ASMLIB:ASMLIBは、オラクル社が開発したApplication Program Interface(API)であり、
オペレーティング・システムとデータベースの間のインタフェースを簡素化し、
Linuxベースのシステム上でベンダーのストレージ・アレイの機能を活用する。
(Oracle Databaseストレージ管理者ガイド 11gリリース2(11.2)用語集より)

大まかに言うと、ストレージ管理の簡略化とI/O処理がいい感じになる。らしい。
実際どうなのよというのは、インサイトテクノロジーさんの「ASMLibに関する検証」を
見てみるのがいいかと。

でもまぁ、こんな話もあるからどうなのよって感じなんですけどね。
OracleがRed Hat Enterprise Linuxのサポート中止を計画?

・・・

というのは置いといて、気を取り直してメモメモ


■ASMLib 2.0は、3つのLinuxパッケージとして構成されている。
・oracleasmlib-2.0: Oracle ASMライブラリ
・oracleasm-support-2.0: ASMLibの管理に必要なユーティリティ
・oracleasm: Oracle ASMライブラリ用のカーネル・モジュール


■ダウンロード元
http://www.oracle.com/technetwork/topics/linux/asmlib/index-101839.html?ssSourceSiteId=otnjp


■インストール方法
1.カーネルのバージョンを調べる。
# uname -rm
2.6.18-238.el5xen x86_64

2.ダウンロード
ダウンロードサイトからOS種別やバージョンから選び、
上記、ASMライブラリとユーリティ、
1.で調べたカーネルに該当するカーネルモジュールをダウンロード

なお、SuSE Linux Enterprise Server 11のカーネルモジュールは、
SuSE Linux Enterprise Server 11のインストールメディアに入っている。

3.インストール
# rpm -ivh oracleasmlib-2.0.4-1.el5.x86_64.rpm oracleasm-2.6.18-238.el5xen-2.0.5-1.el5.x86_64.rpm oracleasm-support-2.1.7-1.el5.x86_64.rpm
準備中... ########################################### [100%]
1:oracleasm-support ########################################### [ 33%]
2:oracleasm-2.6.18-238.el########################################### [ 67%]
3:oracleasmlib ########################################### [100%]


■ASMLIBのセットアップとDiskマーキング
1.ASMLIBのセットアップ
# oracleasm configure -i
Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library
driver. The following questions will determine whether the driver is
loaded on boot and what permissions it will have. The current values
will be shown in brackets ('[]'). Hitting without typing an
answer will keep that current value. Ctrl-C will abort.

Default user to own the driver interface []: grid  ←←←←環境に合わせて
Default group to own the driver interface []: asmadmin ←←環境に合わせて
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done

2.Oracle ASMの候補ディスク・パーティションのマーキング
# /etc/init.d/oracleasm createdisk  ASMマーキング用の名前  ディスク・デバイス名

例)
# /etc/init.d/oracleasm createdisk CRS /dev/sdb
Marking disk "CRS" as an ASM disk: [ OK ]

/etc/init.d/oracleasm listdisks
CRS

3.残りのノードでマーキング情報を読み込み

# /etc/init.d/oracleasm scandisks
Scanning the system for Oracle ASMLib disks:
[ OK ]


マーキングしたディスクは ORCL:ASMディスク・グループ名という形で
v$asm_diskのPATH名やasmcaなどに表示される。

例) ORCL:CRS


以上、ここまで。

参考資料:Oracle® Grid Infrastructureインストレーション・ガイド11gリリース2(11.2)for Linux


いつまで使われるのやら・・・。